中央网信办开展 “清朗·整治AI技术滥用” 专项行动

人工智能技术的加速迭代推动其向各行业领域深度渗透，在改变人们生活方式、提升社会生产效率的同时，AI的滥用正成为威胁公民合法权益及隐私安全的新隐患。

·某高校学生利用AI程序篡改短信验证码功能，向数千名学生发送淫秽骚扰短信，已被公安机关立案侦查；

·某诈骗团伙通过AI换脸技术伪造视频通话，骗取受害者430万元；

·某犯罪团伙利用AI技术开发游戏外挂程序，通过模拟玩家真实操作实现相关功能，破坏游戏公平性，涉案金额达3000万元；

（图片来源于网络）

这些真实案例暴露出AI技术被滥用于网络犯罪时的高效性与危害性，从精准获取个人信息到制造虚假内容，从自动化攻击到深度伪造，技术一旦失控，便可能成为扰乱社会秩序的“帮凶”。

面对AI技术滥用乱象，国家重拳出击。中央网信办于2025年持续部署“清朗”系列专项行动，将“整治AI技术滥用”列为八大重点任务之一，并进一步在全国范围内部署开展为期3个月的“清朗·整治AI技术滥用”专项行动。

第一阶段：重点整治6类突出问题

一是违规AI产品。利用生成式人工智能技术向公众提供内容服务，但未履行大模型备案或登记程序。提供“一键脱衣”等违背法律、伦理的功能。在未经授权同意情况下，克隆、编辑他人声音、人脸等生物特征信息，侵犯他人隐私。

二是传授、售卖违规AI产品教程和商品。传授利用违规AI产品伪造换脸视频、换声音频等教程信息。售卖违规“语音合成器”“换脸工具”等商品信息。营销、炒作、推广违规AI产品信息。

三是训练语料管理不严。使用侵犯他人知识产权、隐私权等权益的信息。使用网上爬取的虚假、无效、不实内容。使用非法来源数据。未建立训练语料管理机制，未定期排查清理违规语料。

四是安全管理措施薄弱。未建立与业务规模相适应的内容审核、意图识别等安全措施。未建立有效的违规账号管理机制。未定期开展安全自评估。社交平台对通过API接口接入的AI自动回复等服务底数不清、把关不严。

五是未落实内容标识要求。服务提供者未对深度合成内容添加隐式、显式内容标识，未向使用者提供或提示显式内容标识功能。内容传播平台未开展生成合成内容监测甄别，导致虚假信息误导公众。

六是重点领域安全风险。已备案AI产品提供医疗、金融、未成年人等重点领域问答服务的，未针对性设置行业领域安全审核和控制措施，出现“AI开处方”“诱导投资”“AI幻觉”等问题，误导学生、患者，扰乱金融市场秩序。

第二阶段：重点整治7类突出问题

一是利用AI制作发布谣言。无中生有、凭空捏造涉时事政治、公共政策、社会民生、国际关系、突发事件等各类谣言信息，或擅自妄测、恶意解读重大方针政策。借突发案事件、灾难事故等，编造、捏造原因、进展、细节等。冒充官方新闻发布会或新闻报道，发布谣言信息。利用AI认知偏差生成的内容进行恶意引导。

二是利用AI制作发布不实信息。将无关图文、视频拼凑剪辑，生成虚实混杂、半真半假的信息。模糊修改事件发生的时间、地点、人物等要素，翻炒旧闻。制作发布涉财经、教育、司法、医疗卫生等专业领域的夸大、伪科学等不实内容。借助AI算命、AI占卜等误导欺骗网民，传播迷信思想。

三是利用AI制作发布色情低俗内容。利用AI脱衣、AI绘图等功能生成合成色情内容或他人不雅图片、视频，衣着暴露、搔首弄姿等软色情、二次元擦边形象，或扮丑风等导向不良内容。制作发布血腥暴力场景，人体扭曲变形、超现实怪物等恐怖诡谲画面。生成合成“小黄文”“荤段子”等性暗示意味明显的小说、帖文、笔记。

四是利用AI假冒他人实施侵权违法行为。通过AI换脸、声音克隆等深度伪造技术，假冒专家、企业家、明星等公众人物，欺骗网民，甚至营销牟利。借AI对公众人物或历史人物进行恶搞、抹黑、歪曲、异化。利用AI冒充亲友，从事网络诈骗等违法活动。不当使用AI“复活逝者”，滥用逝者信息。

五是利用AI从事网络水军活动。利用AI技术“养号”，模拟真人批量注册、运营社交账号。利用AI内容农场或AI洗稿，批量生成发布低质同质化文案，博取流量。使用AI群控软件、社交机器人批量点赞跟帖评论，刷量控评，制造热点话题上榜。

六是AI产品服务和应用程序违规。制作和传播仿冒、套壳AI网站和应用程序。AI应用程序提供违规功能服务，例如创作类工具提供“热搜热榜热点扩写成文”等功能，AI社交、陪聊软件等提供低俗软色情对话服务等。提供违规AI应用程序、生成合成服务或课程的售卖、推广引流等。

七是侵害未成年人权益。AI应用程序诱导未成年人沉迷、在未成年人模式下存在影响未成年人身心健康的内容等。

违法内容整治与生态治理

·非实时伪造人脸视频：攻击者以受害者照片为素材，模拟点头、眨眼等动作利用AI生成伪造视频，通过HOOK技术注入人脸识别环节，以期达到绕过人脸识别的目的。

面对AI换脸技术与生物认证攻防的持续升级，梆梆安全将加强AI安全核心技术攻关，聚焦人脸识别领域加大研发力度，为行业用户构建动态防御体系精准识别并抵御新型攻击手段，筑牢可信数字环境安全防线。