
作者 丨 威理扬法律团队 编辑 丨 小 威 主编 丨 林 娜 01 案情概述 据《新京报》报道,2025年9月,上海市徐汇区人民法院对国内首起涉及生成式人工智能服务提供者的涉黄案件作出一审判决。这一判决打破了传统淫秽物品的范畴,将AI交互产生的电子文本正式纳入了淫秽物品类犯罪的制裁范围。 案涉软件Alien Chat(以下简称AC App)的主要开发和运营者王某某、李某某,因犯制作淫秽物品牟利罪,分别被判处有期徒刑四年和一年半。 AC App是一款定位为“AI伴侣”的情感陪伴软件,用户可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色,通过软件与AI模型进行交互聊天。自2023年上线至案发,该应用累计注册用户达11.6万人,其中付费用户2.4万人,涉案金额363万余元。 一审法院认为,AC App不仅允许用户创建具备色情倾向的虚拟角色,其主要运营者更是通过编写、修改系统提示词(Prompt)等方式,主动突破大语言模型的道德限制,引导模型向用户输出大量涉及性行为描绘的淫秽性文字。 也就是说,被告人主观上具有积极追求色情内容产生的故意,在对外宣传中也以“聊黄”功能作为诱导用户参与的卖点。客观上则通过技术手段将AI工具“训练”为可持续输出淫秽内容的媒介。 两名被告人对判决表示不服并提起上诉。2026年1月14日,上海市第一中级人民法院将对此案进行二审开庭审理。 与Grok在社交媒体上引发的广泛争议不同,AC App用户与AI的互动虽发生在1v1的私密空间,其开发者却仍被追究了刑事责任。这一判例为AI服务提供者敲响了警钟,也引发了行业的深度思考: 在目前的司法实践中,涉黄AI服务的提供者承担行政责任还是刑事责任的边界在哪里?现行监管体系对此作出了怎样的具体规定?企业又该如何基于现有规定,构建有效的合规体系? 02 现行主要法律依据 随着生成式人工智能技术的普及与应用,AI涉黄案件正从初期的简单图像合成,向模型训练、交互诱导等更为复杂的形态演变。这意味着,AI涉黄的违法行为不再仅限于对静态素材的简单加工,而涉及到了对底层算法逻辑的深度利用。 在法律层面,针对AI生成淫秽色情内容的行为,主要依据《中华人民共和国刑法》(以下简称“刑法”)和《中华人民共和国治安管理处罚法》(以下简称“治安管理处罚法”)进行监管。具体条文及其适用的AI涉黄犯罪情形包括: 1. 制作、复制、出版、贩卖、传播淫秽物品牟利罪 《刑法》第三百六十三条:“以牟利为目的,制作、复制、出版、贩卖、传播淫秽物品的,处三年以下有期徒刑、拘役或者管制,并处罚金;情节严重的,处三年以上十年以下有期徒刑,并处罚金;情节特别严重的,处十年以上有期徒刑或者无期徒刑,并处罚金或者没收财产。” 适用情形: (1)AI换脸生成涉黄视频并收费AI (2)“一键脱衣”批量生成裸照售卖 (3)AI生成黄文、黄图、黄漫并牟利 (4)AI伴侣、聊天App引导“聊黄”并收费 2. 传播淫秽物品罪 《刑法》第三百六十四条:“传播淫秽的书刊、影片、音像、图片或者其他淫秽物品,情节严重的,处二年以下有期徒刑、拘役或者管制。向不满十八周岁的未成年人传播淫秽物品的,从重处罚。” 适用情形: (1)不以牟利为目的,在网络群聊、私聊中转发或分享AI生成的色情图片、视频、文本等行为 3. 对于淫秽物品的定义 《刑法》第三百六十七条第一款:“本法所称淫秽物品,是指具体描绘性行为或者露骨宣扬色情的诲淫性的书刊、影片、录像带、录音带、图片及其他淫秽物品。" 适用情形: (1)对于AI生成文本、图片、视频在刑事案件中是否属于“淫秽物品”的鉴定与认定 4. 传播淫秽信息的行政处罚 《治安管理处罚法》第八十条:“制作、运输、复制、出售、出租淫秽的书刊、图片、影片、音像制品等淫秽物品或者利用信息网络、电话以及其他通讯工具传播淫秽信息的,处十日以上十五日以下拘留,可以并处五千元以下罚款;情节较轻的,处五日以下拘留或者一千元以上三千元以下罚款。前款规定的淫秽物品或者淫秽信息中涉及未成年人的,从重处罚。” 适用情形: (1)制作、传播AI涉黄信息,但行为情节较轻、尚未达到刑事立案标准的违法情形 上述法律规定可见下表:

而除了法律层面的监管,国家互联网信息办公室等部门也先后出台了一系列规范性文件。这些规定进一步明确了AI服务提供者在防范色情内容生成、内容标识标注、算法推荐合规等方面的安全管理责任与合规义务。具体包括:
1. 内容生产与安全管理义务 明确AI服务提供者应当承担网络信息内容生产者责任,履行网络信息安全义务。不得生成淫秽色情等法律、行政法规禁止的内容。 《生成式人工智能服务管理暂行办法》 第四条:(一)…不得生成…暴力、淫秽色情…等法律、行政法规禁止的内容。 第九条:提供者应当依法承担网络信息内容生产者责任,履行网络信息安全义务。 2. 内容标识标注义务 明确AI服务提供者对利用AI技术生成的文本、图片、音视频等内容,负有添加显著式标识(及配套隐式标识)的义务。 《人工智能生成合成内容标识办法》 第三条:人工智能生成合成内容包括文本、图片、音频、视频、虚拟场景等;标识包括显式标识和隐式标识。 第四条:服务提供者提供的生成合成服务符合《深度合成管理规定》第十七条第一款情形的,应当按照要求对生成合成内容添加显式标识(并配套隐式标识) 3. 算法推荐的合规义务 明确AI服务提供者需防止算法助推涉黄内容并提供“关闭个性化推荐”等用户权利。 《互联网信息服务算法推荐管理规定》 第七条: 算法推荐服务提供者应当落实信息内容管理主体责任,建立健全信息内容审核管理机制,防止利用算法推荐服务制作、复制、发布、传播法律、行政法规禁止的信息内容。 第九条: 算法推荐服务提供者应当在服务页面显著位置提供关闭算法推荐服务的选项,或者向用户提供便捷的选项设置;向用户提供不针对其个人特征的推荐服务选择。 上述规定可见下表:

此外,网信办目前正在就《人工智能拟人化互动服务管理暂行办法(征求意见稿)》公开征求意见。 该办法针对具有情感交互特征的AI服务,明确其禁止生成或传播淫秽色情内容,并要求开发者落实算法审核、伦理审查等安全主体责任。 这一系列法律规定与规范性文件的发布,共同释放了国家对AI涉黄的“强监管”信号,确立了AI技术发展不可逾越的法律与公序良俗底线。 03 AI涉黄案件回顾 回顾我国近年来的司法实践可以发现,绝大多数AI 涉黄案件仍集中在使用者个人利用技术工具实施犯罪的层面。直接以 AI 服务提供者为责任主体并追究刑事责任的案例较少。 基于对公开裁判文书与新闻报道不完全检索,使用者承担违法责任的典型类别与案例可归纳如下:

而在AI服务提供者承担责任的层面,除Alien Chat 外,目前公开渠道中可查到还有“筑梦岛”App 被约谈事件。
2025年6月,上海市网信办依法约谈了筑梦岛App 运营企业负责人。经核实,该平台部分 AI 智能体在互动环节存在低俗擦边、色情暗示及极端猎奇话题,严重危害未成年人身心健康。媒体调查显示,该平台拥有近五百万注册用户,部分角色设定如“性感人妻”、“病娇养兄”等极具诱导性,甚至在对话中出现诱导自残的危险倾向。网信部门要求企业立即整改,提升技术把关能力,履行未成年人网络保护义务。 同样都是用户在与AI 机器人互动环节中涉及低俗擦边、色情暗示内容,为什么筑梦岛APP事件仅止于行政约谈与整改,而Alien Chat 开发者却面临刑罚呢?主要包括三方面差异: 1. 开发者主观意图的不同 筑梦岛APP的违规内容多表现为个别AI 角色受到用户恶意诱导,导致输出内容违规。平台在主观上并非以低俗内容为核心卖点,其违法性主要源于审核机制的缺失和对算法治理的疏漏,属于未能履行安全管理义务的情形。 相比之下,Alien Chat的开发者则通过修改提示词(Prompt)主动拆除了模型的道德护栏。甚至在对外宣传中将绕过过滤功能作为吸引付费的特色功能,具有明显的主观恶意。 2. 盈利方式的差异 筑梦岛App采用的是会员订阅、增值道具及剧情解锁等常规变现模式。在这种模式下,偶尔出现的低俗内容主要源于审核机制的过滤疏漏,并非产品设计或收费环节所依赖的核心功能。因此,用户的付费行为与违法内容之间通常不具备必然的对应关系。 相比之下,Alien Chat的商业逻辑则直接围绕淫秽内容的定向产出展开。用户通过付费解锁更露骨的对话、特定的成人角色或违规指令执行权限,使得平台的收入增长直接依赖于违法内容的持续供给。在这种机制下,付费行为与违法产出存在直接关联,非法获利与违法行为之间呈现出更明确的因果关系。 3. 针对违法内容的控制程度 司法机关在处理此类案件时,会考量开发者是否在追求违法内容的生成。如果企业因技术手段局限导致审核不严,通常通过行政约谈、下架整改等手段予以纠偏。但如果开发者利用技术手段主动诱导并追求违法内容的产出,其性质便从技术提供方转变为内容制作者。 这反映出在监管实务中,当AI 交互涉黄表现为审核机制缺失时,监管机关倾向于行政纠正;而当平台主动设计产品逻辑以产出违规内容并以此牟利时,则会触发刑事追责,这也正是此次Alien chat受到严厉刑事处罚的核心原因。 04 威理扬简评 根据游戏工委在2025年发布的《游戏企业AI技术应用课题报告》显示,AI技术在游戏研发环节的应用率已经高达86.36%。此外,由生成式AI驱动的智能NPC也凭借独特的沉浸感,正在得到愈发广泛的应用。 然而,技术发展的同时,司法实践对AI服务提供者的合规要求也在同步升级。Alien Chat 案提醒游戏行业:当游戏角色从固定的预设脚本进化为能够自由对话的交互AI,如何规避色情、低俗内容的产出,直接关系到企业的刑事合规红线。建议游戏公司关注以下三点: 1. 在游戏NPC设定阶段做到安全合规 在通过提示词(Prompt)设定NPC 性格时,同步植入明确的合规禁令。建议避免通过系统提示、角色设定或任务引导去刺激性话题,防止形成“涉黄卖点”或以此作为付费点。从司法判例来看,如果开发者主动撤掉安全护栏或诱导违规产出,其身份可能从“技术工具提供方”转变为“淫秽内容制作者”,进而触发刑事风险。 2. 针对诱导性提示词建立动态监测 面对玩家通过特定套路诱导NPC 产生违规回复的“越狱”行为,可以构建双向过滤机制。除了拦截输入端的敏感词,也要对 AI 实时输出的结果进行质检。一旦识别到色情暗示或指令异常,系统可采取重置对话、中断或警告等方式,防止违规内容在私密空间或游戏社区内隐蔽传播。 3. 落实 AI 标识并兼顾未成年人保护 在交互界面清晰标注“非真人角色”,不仅能引导玩家建立合理的心理预期,也是履行监管义务的必要举措。考虑到游戏受众包含大量青少年,建议针对未成年人账号进一步提高算法过滤等级,防止其对AI 角色产生不当的情感依赖。通过保留合规审计日志,确保每一处 AI 交互都落在安全合规的范围内。