今天为大家推荐的论文是来自UC Riverside的Nael Abu-Ghazaleh研究组投稿的最新研究It's all in your head(set): Side-channel attacks on AR/VR systems，目前该工作已发表于USENIX Security 2023。

研究背景 

随着增强现实/虚拟现实技术（AR/VR）的日益普及，其中的安全和隐私问题已经引起了学术界和工业界的广泛关注。而AR/VR的相关应用程序空间面临着许多独特的挑战，因为它位于物理世界和数字世界的交叉点。最近，之前的工作已经展示了，某些恶意的程序可以暴露有关用户自身的身份的敏感信息，甚至他们与系统或环境的交互信息。这些应用程序很轻易地从程序商店下载，并在AR/VR设备上运行。 

在本文中，作者证明了大部分AR/VR 系统容易受到由软件发起的侧信道攻击（side-channel attack）：一个没有任何特殊权限的恶意应用程序，可以推测出用户交互、其他应用程序甚至周围真实世界的隐私信息。首先，作者对AR/VR设备可能存在的，基于软件的侧信道攻击的潜在目标和泄漏源进行了分类。之后，作者演示了五种端到端的侧信道攻击，包括了三种类型的目标：推断 (1) 用户交互（手势或语音命令作为输入，以及虚拟键盘输入）；（2）并发应用信息（识别新启动的应用）；(3) 旁观者的距离估计。最后，作者讨论了具体的防御措施并进行了相关的实验。 

研究方法

攻击模型： 

如图1所示，渲染性能计数器（Rendering Performance Counters）由High-level SDK提供，可以帮助开发人员跟踪和优化其正在运行的AR/VR应用程序的性能。正常的用户，不需要特别的权限，即可访问和获取这些计数器的数值。实际上，有上百种通用的渲染性能计数器可供开发者获取，表1列举了常见的渲染性能计数器。

图1：通用的AR/VR设备软硬件架构

表1：部分Unity和Unreal Engine提供的渲染性能计数器。

图2展示了作者的攻击模型。作者假设有一恶意程序正在后台运行，并定期收集硬件或软件上可用的渲染性能计数器，通过分析收集到的渲染性能计数器数值，可以进行以下三种类型的攻击：（1）分析并推断其他用户的交互活动（例如手势和语音输入），（2）其他并发应用程序的启动和识别，（3）周围真实世界的信息（例如旁观者的距离推测）。

图2：本文考虑的三种攻击类型，从左至右依次是用户交互，并发程序和真实世界

实验配置和攻击流程：

作者在两个设备上演示了攻击：Microsoft Hololens 2 （基于 Windows 的 AR 设备）和 Meta Quest 2（基于 Android 的 VR 设备）。模拟的恶意程序由Unity和Unreal Engine开发。十名来自UCR校园的志愿者参与数据采集。攻击流程如图4所示，下面作者对每个阶段进行阐述。作者分别将采集到的数据分成 80/20% 的训练/测试集，其中80% 的数据用于进行特征工程和训练，其余 20% 用于评估所有攻击。

图3：攻击流程

实验评估：

Attack 1：用户的手势识别

用户可以直接与数字全息图进行交互直接或通过手势来感知环境。本文推测了Hololens 2 和Quest 2上一共10种不同的手势。图4展示了三种常见的交互手势的性能计数器轨迹。

图4：Hololens 2 上不同手势的性能计数器轨迹：(a) 开始菜单；(b) 触摸；(c) 远程轻触。

通过收集到的侧信道数据进行特征工程的处理，作者从时序数据中提取了有效的特征，并对这些特征训练了一系列基于机器学习的分类器。实验结果如表2所示。

表2：手势推理性能：Hololens 和 Quest 上的 F1 (%)、精度 (%) 和召回率 (%)

Attack 2：用户的语音输入识别

用户也可以直接与AR/VR设备进行语音交互。作者推测了Hololens 2 和Quest 2上一共10种不同的语音输入。图5展示了三种常见的语音输入的性能计数器轨迹。

图5：当用户说出不同的语音命令时，性能计数器的数值：(a) 开始；(b) 拍照；(c) 开始视频和停止录制。

类似于Attack 1的处理流程，本次攻击实验结果如表3所示。

表3：语音命令推理性能：F1（%），Hololens 和 Quest 的准确率 (%) 和召回率 (%)。

Attack 3：用户的按键监控

本次攻击的目标是虚拟键盘上的按键监控键盘。 作者注意到，当用户输入按键于虚拟键盘时，用户必须以不同的方式移动他的手和手指去碰触按键位置。这种运动模式会被侧通道信息所泄露。如图6所示，三种不同的按键有不同的计数器轨迹。

图6：当用户在虚拟键盘上输入不同数字时，性能计数器进行跟踪：(a) 0、(b) 2 和 (c) 9

类似于Attack 1的处理流程，本次攻击实验结果如表4所示。

表4：按键监控性能：Hololens 和 Quest 上的 F1 (%)、精度 (%) 和召回率 (%)

Attack 4：并发应用程序识别

其他并发应用程序的信息可能是敏感的：它公开了有关用户活动的信息，并可用于为网络钓鱼攻击等其他攻击提供上下文。图7展示了三种常见的语音输入的性能计数器轨迹。

图7：启动应用程序时的性能计数器跟踪：(a) Microsoft Edge；(b) OneDrive；(c) Mail

类似于Attack 1的处理流程，本次攻击实验结果如表5所示。

表5：并发应用程序推理性能 Hololens 2：F1 (%)、精度 (%) 和召回率 (%)

Attack 5：旁观者距离估计

在这次攻击中，一个恶意程序运行在后台不断分析渲染性能计数器。 作者考虑一个场景，当一个旁观者走进Hololens 2的视野。该恶意程序配备了Mixed Reality Toolkit Scene Understanding，这迫使 Hololens 生成空间现实世界环境的网格表示。从结果上来看，该恶意程序使得Hololens 变成一个监控设备，不断感知周围的空间。在 Hololens 上，空间表面被三角形网格覆盖，如下所示。

类似于之前攻击的处理流程，本次攻击实验结果如下图表所示。

图8：旁观者以不同距离进入视野的侧信道数值：(a) 距离 = 0.5m；(b) 2m；（c）4m

随着旁观者越近，CPU 帧速率下降得越多。

表6：旁观者测距平均绝对误差（米）

结论

本文探讨了 AR/VR 设备上的侧信道攻击。作者对可能的攻击类型进行了分类，确定了三类一般目标：通过推断用户的交互来推断用户的行为、其他应用程序的信息，或有关可见环境的信息。 文章展示了许多成功的端到端来自这三类的攻击。 

https://www.usenix.org/system/files/usenixsecurity23-zhang-yicheng.pdf

个人主页: https://yichez.site/

Nael Abu-Ghazaleh主页：https://www.cs.ucr.edu/~nael/