提出智能扰动方法！字节跳动隐私保护论文入选NeurIPS 2020联邦学习Workshop

第三十四届神经信息处理系统大会（Conference and Workshop on Neural Information Processing Systems，以下将简称NeurIPS 2020），于2020年12月中旬在线上举行。在本届会议上，字节跳动联邦学习隐私保护最新研究论文被 NeurIPS 2020 的联邦学习 Workshop 接收，并进行了线上分享。

NeurIPS 作为机器学习和计算神经科学领域的国际顶级会议，由 NeurIPS 基金会主办，每年固定在12月举行。NeurIPS旨在促进有关神经信息处理系统的研究交流，在同行会议上介绍和讨论新颖的研究。在中国计算机学会的国际学术会议排名中，NeurIPS 为人工智能领域的A类会议 。 

自欧盟2018年出台《通用数据保护条例》（GDPR）以及国内涉及数据隐私的法律法规逐步开始建立后，联邦学习逐渐成为保护数据隐私的一个利器。它可以在双方不公开各自隐私数据的情况下，实现机器学习模型的协同训练，因此受到了越来越多企业的关注，产生了很多落地应用。在这个背景下，NeurIPS 2020 设置了联邦学习的Workshop，邀请全球联邦学习行业专家探讨联邦学习的扩展性、隐私性和安全性。

由于拥有海量的用户数据，字节跳动深知用户数据安全保护的重要性，为提升用户的信任度，寻求建立开放透明的平台，字节跳动一直在联邦学习领域持续投入资源进行研究和探索，先后在电商、金融、教育等多个行业场景进行了落地应用，并于2020年初开源了自研的联邦学习平台Fedlearner（项目地址：https://github.com/bytedance/fedlearner）。

NeurIPS 2020联邦学习Workshop上，字节跳动应用机器学习团队分享了在用户标签数据安全上的最新研究论文《Label Leakage and Protection in Two-party Split learning》。

 《Label Leakage and Protection in Two-party Split learning》论文海报

论文分享了纵向联邦学习中隐私标签数据保护的新方案——通过理论分析，对所添加的扰动进行约束优化，帮助联邦学习在效用和隐私间取得更好的平衡。具体则是对联邦学习过程中双方所交互的梯度进行分析，提出了一种基于梯度范数的推测标签信息的高效攻击方法，随后创新性地提出了在所交互的梯度上添加扰动的保护方法。

字节跳动应用机器学习团队研究员孙建凯称，大量的实验表明，在梯度范数攻击中，论文所提的标签数据保护算法，能够将标签泄露的AUC从接近于1.0 （1.0属于完全泄漏）降低至0.5-0.6之间（0.5是属于完全保护），而模型的预测效果受到的影响相对较小。

孙建凯指出，虽然存在他们目前没有想到的其它攻击方法来窃取用户标签数据，但是通过论文中提到的方法，即使在面对未知的攻击方法时，也能最大程度保护标签数据，防止数据泄露。 

由于联邦学习能够有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，挖掘数据价值，因此国内外众多一线互联网公司纷纷投入研究和应用。标签作为价值很高的一类数据类型，吸引了众多行业人士不断思考和探索如何在联邦学习的框架下对其进行最大程度地保护。字节跳动在交互梯度上提出添加智能扰动的方法，则在一定程度上解决了标签数据安全性的问题，消除了大家的担忧，有利于进一步推动联邦学习应用，让数据发挥更大的价值。

为了让更多企业和开发者受益，目前字节跳动在隐私保护上的最新理论研究已经落地，相应算法（https://github.com/bytedance/fedlearner/tree/master/example/privacy/label_protection）已经合并到字节跳动开源的联邦学习框架Fedlearner中。

字节跳动联邦学习技术负责人吴迪在接受采访时表示 ：“希望我们的最新研究，能为企业在应用联邦学习保护用户数据安全上提供更多的选择，同时也希望为联邦学习进一步规模化应用尽一份力，共同推动隐私计算的发展。”