基于深度学习的声波攻击可破解键盘输入，准确率达95%

来自英国的研究人员将深度学习方法应用于键盘输入数据识别，准确率高达95%。

研究的第一步是收集目标键盘输入数据，这对于深度学习算法的训练至关重要。数据的收集可以通过键盘附近的麦克风或目标手机中安装的具有麦克风访问权限的应用来获取。此外，还可以通过Zoom视频会议的录屏方式来记录参与者的键盘输入。研究人员对MacBook Pro的36个按键分别按25次，并对每个按键操作进行录音。

图 键盘输入音频信息示例

然后，对音频信息进行处理，识别每个键按压的差异，并进行特殊的数据处理对数据进行放大处理以识别键盘输入。

图 生成的频谱

研究中研究人员使用了 CoAtNet 图像分类器，然后用生成的频谱图像训练CoAtNet。在训练过程中需要实验不同的epoch、学习速率、数据分割参数，以获得最佳的模型准确率。

图 训练CoAtNet使用的参数

在实验中，研究人员使用的是一款使用两年的苹果笔记本电脑键盘、位于目标键盘17cm的iPhone 13 mini设备和zoom会议。

图 测试设置

经过训练，CoANet分类器在智能手机录音和zoom会议录音中可以分别达到95%和93%的准确率。Skype录音的准确率为91.7%。

研究中Zoom录音被用于模型训练，预测准确率达到了93%。而zoom应用在工作生活中是非常常用的，因此此类攻击会严重影响目标的数据安全，比如泄露用户密码、讨论的内容、以及其他敏感信息。

与其他对数据率、距离等有特殊攻击限制的侧信道攻击不同，声波攻击利用设备自带的麦克风就可以完成，因此容易收集数据。随着机器学习算法的发展，当机器学习与声波攻击融合时，使得基于声音的侧信道攻击会带来更大的威胁。

研究人员建议用户可以改变键盘输入风格或使用随机密码的方式来缓解此类基于声音的侧信道攻击。其他缓解措施包括使用软件来重新生成键盘输入声音、白噪声、或其他基于软件的键盘输入音频过滤。

研究论文参见：https://arxiv.org/abs/2308.01074

参考及来源：https://www.bleepingcomputer.com/news/security/new-acoustic-attack-steals-data-from-keystrokes-with-95-percent-accuracy/