网信办通报“清朗 · 整治 AI 应用乱象”典型案例：涉 AI 魔改经典、换脸假冒等数字泔水，豆包、元宝、千问、文心一言严格限制违规内容输出

9 月 2 日消息，中央网信办今日公布了“清朗 · 整治 AI 应用乱象”专项行动第二阶段工作的最新进展和相关成果。

此次行动聚焦利用 AI 制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等突出问题，部署各地网信部门深入推进重点整治任务。

据官方通报，截至目前，此次专项行动累计清理违法违规信息 561 万余条，查处账号 4.9 万余个，处置违规网站、应用程序等 2400 余个。同时，各地网信部门因地制宜推出一系列针对性治理措施：

北京网信办指导平台升级审核策略以提升对违规内容新型变体的识别处置能力；

上海网信办督促平台自查自纠并推出 AI 应用“知识普及包”引导公众识别风险；

浙江网信办对属地重点平台开展“一企一策”合规指导并依法查处问题突出的 AI 应用；

广东网信办召开重点平台工作例会对多款应用违规问题开展点对点督促整改。

另外，抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台进一步强化技术赋能，优化多模态识别模型，动态扩充人脸库、声纹库和违规样本库，上线人脸实时治理系统等功能，提升违规内容智能检测和拦截效率，累计发布各类治理公告 46 期。

豆包、元宝、千问、文心一言等平台严把原始语料内容审核关，强化 AI 生成合成内容标识要求落地，从源头防范违法违规信息生成传播。华为、小米、OPPO、vivo 等应用商店制定严格的开发者准入规范和上架要求，对在架 App 进行抽检复测，有效拦截违规应用入库。

网信办还公布了此次专项行动期间查处的多起典型违规案例，汇总如下：

微博、抖音、快手、微信等平台部分账号利用 AI“魔改”《三国演义》《西游记》等经典名著，颠覆重要人物人设，虚构低质猎奇剧情博取流量；

部分账号利用 AI 生成合成虚假灾害现场、救援画面，编造不实社会热点信息，或打造 AI 数字人进行虚假宣传带货，误导老年人；

抖音、快手、小红书、微信等平台部分账号利用 AI“换脸”“换声”技术，假冒仿冒公众人物形象，生成低俗舞蹈、拥抱接吻等图片视频借机营销牟利；

哔哩哔哩、抖音、快手、微信等平台部分账号批量发布 AI 生成的恐怖诡异、暴力低俗内容；

小红书、微信、抖音、快手等平台部分账号发布 AI 生成的未成年人怀孕、打架等与其年龄特点不符的内容，批量制作传播“毒动画”、儿童“虐向”“邪典”视频，伤害、恶搞未成年人形象；

微信、微博、抖音等平台部分账号为 AI“托管”软件引流，模拟真人运营账号、评论互动，生成大量低质同质文案从事网络水军活动。

此外，“Nt”“穿元”“甜 * 圈”“芋 **o”等网站平台多个智能体的封面、简介和生成对话中含有淫秽色情及其他危害未成年人身心健康的信息，相关部门对拒不改正的依法予以查处，按程序采取警告、罚款、下架或关闭等措施。

其中，“魔改”原指对经典影视作品进行二次创作，但部分创作者利用 AI 技术对名著进行无底线改编，生成低俗、猎奇内容以博取流量，网信办将此类内容称为“数字泔水”。

“毒动画”则指表面为儿童动画形式，实则包含暴力、恐怖或软色情等不良元素的 AI 生成视频，对未成年人身心健康构成潜在危害。

此次专项行动针对 AI 生成合成内容乱象进行系统治理，有效遏制了相关违法违规行为的蔓延。下一步，网信部门将在总结治理成效的基础上，密切关注 AI 生成合成内容新情况新风险，及时采取措施防范 AI 技术滥用恶用。

参考资料：

《中央网信办深入开展“清朗 · 整治 AI 应用乱象”专项行动第二阶段工作_中央网络安全和信息化委员会办公室》