人工智能的恶意应用预测、预防和缓解报告

ang010ela 新闻 2018年5月2日发布
Favorite收藏

导语:牛津大学人类未来研究所、剑桥大学现存风险研究中心、人工智能组织Open AI等14个机构的26位专家联合撰写,与2018年2月20日发布了人工智能的恶意应用:预测,预防和缓解报告。

本报告研究了恶意使用AI技术可能带来的安全威胁,并提出了预测、预防和缓解这些威胁的建议。

人工智能(AI)和机器学习能力正在以前所未有的速度增长。这些技术有许多广泛的应用,从机器翻译到医学图像分析,更多的此类应用正在开发之中。AI技术是一柄双刃剑,恶意使用AI技术也将带来安全威胁。

引发安全格局的变化

随着AI的功能日益强大,应用日益广泛,AI系统的使用预计将导致安全格局的变化:

(1)扩大现有的安全威胁。原来需要人力、智力和专业知识的任务,现如今可利用AI系统来完成,攻击成本将大大降低。其结果是攻击者数量更多,攻击速度更快,能攻击更多的潜在目标。

(2)引入新的安全威胁。使用AI系统可以完成人类攻击者做不到的攻击任务。并且,AI系统的安全漏洞也会被恶意攻击者所利用。

(3)改变安全威胁的典型特征。可以预见,随着AI应用越来越多,安全攻击将效率更高,针对性更强,难以归因,针对AI系统漏洞的攻击也会成为典型安全威胁。

对不同场景安全威胁的影响

从数字安全、物理安全和政治安全三个方面来看,AI的发展将对安全威胁产生以下影响:

(1)数字安全:传统网络攻击中,攻击规模和攻击效率难以兼顾,而使用AI自动执行网络攻击在很大程度上可以兼顾这两个方面,这将使劳动密集型网络攻击(如鱼叉式网络钓鱼)带来更大的威胁。另外还会出现新型攻击方式,如利用人类弱点(如利用语音合成冒充本人),利用现有软件漏洞(如自动黑客攻击),或利用AI系统漏洞(如对抗样本和数据投毒)。

(2)物理安全:利用AI自动操作无人机和其他物理系统(如自主武器系统)进行攻击,由此带来更大的威胁。另外还会出现新型攻击方式,如破坏网络物理系统(如导致自动驾驶车辆崩溃)或利用无法远程控制的物理系统(如使用成千上万的微型无人驾驶飞机)进行攻击。

(3)政治安全:使用AI来进行自动监测(如分析大量收集到的数据)、说服(如开展有针对性的宣传)和欺骗(如篡改视频),可使涉及隐私入侵和社交操纵的威胁增大。另外还会出现新型攻击方式,如利用AI分析人类的行为、情绪和信仰等。

应对安全威胁的建议

面对不断变化的威胁环境,报告提出了4项顶层建议:

(1)决策者应与技术研究人员密切合作,对AI潜在的恶意用途进行调查,并寻求措施预防和减轻其带来的损失。

(2)AI领域的研究人员和工程师要意识到其工作成果有遭到滥用的可能性,要在确定研究重点和规范时将技术滥用问题纳入考虑,并在预见到可能发生有害应用时找到相关行为者。

(3)借鉴计算机安全等较为成熟领域的经验,更好地解决双刃剑问题。

(4)让更多的利益相关者和领域专家参与到对安全挑战的讨论之中。

优先探索领域

报告建议优先在四个领域进行探索研究,寻求潜在干预措施:

(1)向网络安全社区学习。在网络安全和AI攻击的交叉领域进行探索,组建网络红队(read teaming),开展形式验证,负责任的披露AI漏洞,开发安全工具及安全硬件。

(2)探索不同的开放模式。AI和机器学习的双刃剑作用越来越明显,有必要针对研究工作的开放性重新设计规范和制度,首先是在重要技术领域成果发布前进行风险评估,建立中央许可访问模式,与其他双刃剑技术交流借鉴有利于安全和保障的制度和做法。

(3)促进责任文化。AI研究人员和其所属机构对于塑造AI世界安全格局具有独特意义,需要重视教育、道德声明,以及标准、框架设计、规范和预期。

(4)制定技术和政策解决方案。报告对一系列有前景的技术以及政策干预措施进行了分析,这些技术可以帮助AI建立更安全的未来。进一步研究的领域包括保护隐私,协调使用用于公共安全的AI,AI相关资源的监测,以及其他立法和监管措施。

应对安全威胁不仅需要AI研究人员和企业的关注和行动,还需要立法机构、政府部门、监管机构、安全研究人员和教育工作者的关注和行动。这将是一个艰巨的挑战。

报告原题:The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation

报告链接:https://arxiv.org/ftp/arxiv/papers/1802/1802.07228.pdf

如若转载,请注明原文地址: http://www.4hou.com/info/news/11263.html
点赞 4
  • 分享至
取消

感谢您的支持,我会继续努力的!

扫码支持

打开微信扫一扫后点击右上角即可分享哟

发表评论