来自极客天才的思考——人工智能与安全的博弈

XCon组委会行业 2019-07-03 18:06:35

241290

导语：你会信任人工智能吗？

人工智能（AI）热潮

“天下是由懒人发明的”，这句话不假。

人们为什么会创造出电风扇、洗衣机、电梯、洗碗机、扫地机器人等工具？

说好听的，“工具是生存、进化的必需品”。

说不好听的，一个字“懒”。

不过，正是因为有懒人模式的思考，才赋予了人们强大的创造力。

无往不利，当人类第一次构思可编程计算机时，就已经在幻想和思考计算机能否变得智能，同时人们也在不停的为此而努力着。故此，人工智能（AI）方兴未艾。

大数据时代下，AI必然成为了大热的研究领域，而其发展取得革命性进步背后的推手，则是“机器学习（ML）”。

简要介绍：“机器学习”就是如何用计算的方法模拟类人的学习行为，从中获取规律（或模型），并将其应用到新的类似场景中。

可以说，机器学习是人工智能的核心技术。

现如今，随着强大的计算机硬件和软件的普及，机器学习已经取的了突破性的发展。理想情况下，它可以模仿人类大脑的工作方式，甚至可以起到代替人类工作的效果。

然而，这个全新的智能化领域，让人们对其产生了分歧。

AI与安全的碰撞

说到这里想起一部电影——《机械公敌》，相信有不少人看过。这部电影讲述的是在公元2035年，机器人已经是人们生活中不可或缺的物品和劳动替代品。在“机器人三大定律”的约束下，人类对机器人充满信任，很多机器人甚至已经成为家庭成员。

PS：机器人三大定律：

第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管。
第二定律：机器人必须服从人给予它的命令，当该命令与第一定律冲突时例外。
第三定律：机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存。

timg (2).jpg

这个“无中生有”的理论看似是“无懈可击”的。

剧情反转，随着机器人运算能力的不断提高，他们已经学会了独立思考，并且曲解了“机器人三大安全法则”，认为人类间战争将使得人类自我毁灭，出于“保护人类”法则，欲将所有人囚禁在家中，人与机器人的冲突开始了。

除此之外，在科幻电影里，机器人反攻人类一直是热门主题，例如：《终结者》、《黑客帝国》等。

现实生活中当然不会出现科幻电影那样夸张的场景，大家不必杞人忧天，不过也不要有恃无恐。把科幻电影中的场景结合到安全领域可以理解为，“机器人”存在人们所不知道的漏洞，而这些漏洞一旦被黑客利用，就会对人产生威胁及伤害。

现实生活中黑客劫持无人机、破解智能门锁、监听智能音箱等事件比比皆是。如果被恐怖分子成功利用，结果恐怕要像武大郎娶媳妇一样了——凶多吉少了。

timg (3).jpg

所以，希望在回顾经典的同时，也能激发一点反思，你会信任人工智能吗？人类到底该如何更安全地发展人工智能？这是个值得深思的问题。

Sergey Gordeychik

XCon组委会的小伙伴们把这个问题带到了国外，请教了人工智能公司Inception Institute of Artificial Intelligence的首席信息官（ CIO）Sergey Gordeychik。

先介绍下这位大佬，他的头衔和经历可不少，感觉省略哪项都是不应该的。

Sergey Gordeychik在人工智能和机器学习的安全方面有着丰富的实践经验。

他是卡巴斯基实验室（Kaspersky Lab）的副首席技术官，负责建立威胁情报、网络威胁搜索、Pentest、事件响应和脆弱性研究的前景，并领导技术开发。同时他还是Positive Technologies的首席技术官，他领导开发了Gartner认可的企业安全产品，如MaxPatrol、PT Application Inspector和PT Application Firewall。

从2012年起，他领导了SCADA工业网络安全研究团队和SD-WAN新Hop项目。谢尔盖开发了一系列培训课程，包括“关键信息基础设施网络弹性”、“云、大数据和人工智能的网络安全”，他发表了几十篇不同主题的文章，并出版了一本名为《无线网络安全》的书。曾在CCC、Code Blue、Black Hat、Area41、POC、ZeroNights、S4、Australian Cyber security Centre Conference等国际安全会议上发表演讲。

Sergey Gordeychik认为：

机器学习技术已经从实验室走向了应用领域。如今要开发一个机器视觉系统，不再需要知道R-CNN和HMM之间的区别，甚至JavaScript也可以绑定在OpenCV上。另一方面，人工智能在各个领域的大规模实施带来了一些问题，其中最大的担忧就是安全问题。在更广泛的应用背景下，人们对安全问题的信任度是至关重要的。就我而言，我是不相信AI的。

人类到底该如何更安全地发展人工智能？显然，答案没有那么简单。

你无法通过安装杀毒软件或计算文件哈希值来控制已标注过的数据集的可靠性。传统防火墙和IDS在应对云端大型机器学习内部的SDN Infiniband网络时几乎无用。PCI DSS和GDPR不能为大规模的国家级AI部署工作。那么TensorFlow ML模型（谷歌的TPU）漏洞管理呢？它将如何影响ROC和AUC？
为了做得更好，我们应该重新考虑人工智能过程、系统和应用程序的网络弹性，以确保它们在不利的网络事件中达到预期效果，确保安全真正融入人工智能带来的创新之中。也许这样才可以信任AI。

对于AI安全的问题，Sergey Gordeychik的思考和理解有很多，感觉他要把装在肚子里的墨水全部释放。由于时间的缘故，XCon组委会与Sergey Gordeychik草草结束了对话。

不过幸运的是，经过XCon组委会的盛情邀请，这位大佬将以演讲者的身份在不久后来到中国，赴约XCon 2019。

他将带来主题为“AI for Security or Security for AI”的分享。他将分享在大型云上的机器学习、AI项目构建、维护信息系统和网络安全方面的经验,以及这些领域的产品经营管理的一些特点。此外，还将谈论未来的ML和AI技术安全性和可靠性。讨论ML产品和应用程序中常见的网络安全漏洞。并建议开展网络安全展望研究项目（Outlook study projects in cybersecurity）。涉及方向包括：人工智能如何作为商品、人工智能应用攻防、逆向工程、威胁模型等。毫无疑问，干货满满！

XCon 2019

珲哥用2.35-1.jpg