研究人员将恶意软件藏在人工智能的“神经元”里效果还好得吓人

发表于 3年以前 | 总阅读数：587 次

![`X68}4~]5STH7%XE~@Y(KD.png

来自中国科学院大学的作者写道："随着神经网络的使用越来越广泛，这种方法在未来将普遍用于传递恶意软件。"

他们的实验发现，使用真实的恶意软件样本，用恶意软件替换AlexNet模型中高达50%左右的神经元，仍能保持模型的准确率在93.1%以上。作者总结说，一个178MB的AlexNet模型可以在其结构中嵌入多达36.9MB的恶意软件而不被使用一种叫做隐写术的技术检测出来，一些模型针对58种常见的防病毒系统进行了测试，恶意软件也没有被发现系统被破坏的迹象。

其他入侵企业或组织的方法，如将恶意软件附在文件或文档上，往往不能在不被发现的情况下大规模地提供恶意软件。另一方面，新的研究设想了这样一个未来：一个组织可以为任何特定的任务（例如，聊天机器人，或图像检测）引入一个现成的机器学习模型，该模型可以装载恶意软件，同时很好地执行其任务，不会引起安全系统的怀疑。

根据这项研究，这是因为AlexNet（像许多机器学习模型）是由数百万个参数和许多复杂的神经元层组成的，包括所谓的全连接 "隐藏"层。通过保持AlexNet中巨大的隐藏层完全不变，研究人员发现，改变其他一些神经元对性能没有什么影响。

在这篇论文中，作者为黑客如何设计一个带有恶意软件的机器学习模型并让它在外部传播列出了一个游戏规则。

"首先，攻击者需要设计神经网络。为了确保更多的恶意软件可以被嵌入，攻击者可以引入更多的神经元。然后，攻击者需要用准备好的数据集训练网络，以获得一个表现良好的模型。如果有合适的训练有素的模型，攻击者可以选择使用现有模型。之后，攻击者选择最佳层并嵌入恶意软件。嵌入恶意软件后，攻击者需要评估模型的性能，以确保损失可以接受。如果模型的损失超出可接受的范围，攻击者需要用数据集重新训练模型，以获得更高的性能。一旦模型准备好了，攻击者可以利用供应链污染等方法将其发布在公共资源库或其他地方"。

根据该论文，在这种方法中，恶意软件在嵌入到网络的神经元中时被"分解"，并由一个恶意的接收程序组装成可运行的恶意软件，该程序也可以通过更新下载中毒的模型。如果目标设备在启动模型之前验证了该模型，那么该恶意软件仍然可以被阻止。它也可以用静态和动态分析等 "传统方法"来检测。

网络安全研究员和顾问Lukasz Olejnik博士告诉Motherboard："今天，用杀毒软件检测它并不简单，但这只是因为没有人刻意在这里面寻找。该过程中的恶意软件提取步骤也有可能被发现。一旦隐藏在模型中的恶意软件被编译成，恶意软件，那么它就可能被发现。"

"但这也是一个问题，因为从深度神经网络模型中提取恶意软件的定制方法意味着目标系统可能已经在攻击者的控制之下，"他说，"但如果目标主机已经在攻击者的控制之下，隐藏额外恶意软件的需求就会减少。"

"虽然这是合法的、有意义的研究，但我不认为在DNN模型中隐藏整个恶意软件能给攻击者带来什么，"他补充说。

研究人员在研究中指出，他们希望这可以 "为神经网络辅助攻击的防御提供一个可参考的方案"。

这并不是研究人员第一次研究神经网络如何被恶意行为者利用，比如通过设计图像来迷惑他们，或者通过嵌入后门来导致模型行为不当。如果神经网络真的是黑客的未来，随着恶意软件活动的增加，这可能成为对大公司的一个新威胁。"随着人工智能的普及，人工智能辅助的攻击将出现，给计算机安全带来新的挑战。网络攻击和防御是相互依存的，"该论文指出。"我们希望所提出的方案能对未来的保护工作有所帮助"。

访问文献了解更多：

https://arxiv.org/abs/2107.08590