网警守护网络安全,系列提醒之“AI生成内容安全”篇
云东海发布 2026-05-16 00:57
人工智能生成合成内容是指利用人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等信息。
当下生成式AI快速普及,
给创作生活带来诸多便利,
但AI造谣虚假合成等隐患丛生,
请大家提高防范意识守住法律底线,
依法安全文明使用AI工具,共护清朗网络。
2026年2月,上海罗某为吸粉引流,利用AI生成“施工区地面塌陷”的虚假视频,在短视频平台传播,扰乱公共秩序。
网警通过细节违和、逻辑漏洞识破AI伪造内容,罗某最终被依法行政拘留。
免费AI作图、视频生成工具普及,导致虚假内容生产成本降低,且生成的虚假内容传播速度快、影响范围广。
AI换脸、声音克隆技术等生成的视频内容相当逼真,导致虚假灾情、虚假事故等类型谣言难以分辨,易误导公众、带偏舆论。
服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的,应当按照下列要求对生成合成内容添加显式标识:
(一)在文本的起始、末尾或者中间适当位置添加文字提示或者通用符号提示等标识,或者在交互场景界面、文字周边添加显著的提示标识;
(二)在音频的起始、末尾或者中间适当位置添加语音提示或者音频节奏提示等标识,或者在交互场景界面中添加显著的提示标识;
(三)在图片的适当位置添加显著的提示标识;
(四)在视频起始画面和视频播放周边的适当位置添加显著的提示标识,可以在视频末尾和中间适当位置添加显著的提示标识;
(五)呈现虚拟场景时,在起始画面的适当位置添加显著的提示标识,可以在虚拟场景持续服务过程中的适当位置添加显著的提示标识;
(六)其他生成合成服务场景根据自身应用特点添加显著的提示标识。
服务提供者提供生成合成内容下载、复制、导出等功能时,应当确保文件中含有满足要求的显式标识。
为了促进人工智能健康发展,规范人工智能生成合成内容标识,保护公民、法人和其他组织合法权益,维护社会公共利益,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局制定了《人工智能生成合成内容标识办法》。同时,我们也要学会识别AI造假,既能避免误导,也能防止自己无意中传播违法违规内容,守住法律底线。
用户使用网络信息内容传播服务发布生成合成内容的,应当主动声明并使用服务提供者提供的标识功能进行标识。
任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识,不得为他人实施上述恶意行为提供工具或者服务,不得通过不正当标识手段损害他人合法权益。
不随意在陌生AI平台上传照片、原声视频,防止被不法分子用于换脸、仿声。
涉及灾害、事故等事件,以官方通报为准,不轻信、不转发来源不明的AI视频。
遇到AI谣言等违法违规内容,立即向平台或网警举报,共同抵制网络乱象。
愿大家都能明辨虚实、文明用网,
共建安全、有序的数字家园!
校对:冯晓碧
一审:徐艳芬
二审:刘静思
终审:林国明
