作者 丨 威理扬法律团队

编辑 丨 小  威

主编 丨 林  娜

01 事件概述

2025年 12 月 28 日，埃隆·马斯克旗下 xAI 公司推出的 AI 模型 Grok 因根据用户指令，生成并传播了一张涉及两名未成年女孩的深度伪造色情图像而引发大面积争议。尽管 Grok 官方随后发布致歉声明，承认这是“安全防护机制的一次失效”，但该事件仍迅速引起了多国监管机构的行动。

（Grok针对未成年女孩色情图像的的道歉声明，发布于12.31日）

02

各国监管措施

面对此次Grok 生成色情深度伪造图像而引发的合规危机，欧盟、英国、马来西亚、印度及美国加州等多地监管机构已迅速介入。

目前的监管措施主要包括行政命令、直接封禁、立法与展开刑事调查三种方式。

（一）行政命令

美国加州、印度及日本的监管机构主要通过发布正式行政函件的方式，要求Grok及xAI平台限期整改，否则将面临法律诉讼或失去免责保护的后果。

1.美国加州

（1）监管措施

1月 17 日，加州总检察长正式向 xAI 发出“停止侵权通知函”，明确指出 Grok 已涉嫌违反加州关于深度伪造色情、儿童性虐待影像（CSAM）以及非法录制等多项法律法规。为此，责令 xAI 必须在 1 月 20 日下午 5 点前完成整改，采取有效措施阻断违规图像的生成，并向司法部提交整改详情。

（2）法律依据

在加州现行法律体系下，AI生成色情内容将面临着民事侵权、刑事犯罪与不正当竞争三类法律责任。

首先，根据加州《民法典》明确规定：只要是利用数字化手段制作性露骨材料，且未经当事人同意，即构成侵权。该意味着企业将无法以“ AI 生成而非真人拍摄”作为免责理由。

加州《民法典》第1708.86 条：

任何人利用数字化图像或计算机生成图像，制作并故意传播描绘可识别个人的性露骨材料，且未经被描绘者同意的，应承担损害赔偿责任。

其次，在刑事责任方面，一旦违规内容被传播并可能造成精神伤害，行为性质即上升为刑事犯罪。《刑法典》强调：只要图像指向可识别的个人，且未经同意被传播，即便是AI 合成图像，也可能触发刑事责任。

加州《刑法典》第647(j)(4))：

任何人未经被描绘者同意，故意传播另一可识别个人的私密身体部位图像，或该人从事性交行为的图像，且意图造成严重精神痛苦的……

而在未成年人保护方面。加州法律明确，无论通过何种手段制作，只要描绘了未成年人的性行为或模拟性行为，即属于儿童色情材料（CSAM）。这意味着 AI 生成的 CSAM 在法律定性上与真实拍摄的 CSAM 具有同等的违法性。

加州《刑法典》第 311.1 条：

任何通过电子、机械或其他手段制作的，描绘未成年人从事或模拟性行为的内容。

最后，依据《商业和职业法典》，如果企业提供易被滥用的生成能力并从中获利，例如Grok 的付费订阅。且缺乏足够的防护措施，这种商业模式本身即可被认定为“非法或不公平的商业行为”。这使得监管机构无需逐条审查内容，可直接要求企业停止服务或进行整改。

加州《商业和职业法典》第17200 条：

不正当竞争是指并包括任何违法、不公平或欺诈性的商业行为或惯例。

侵权通知函原文见下图：

（3）过往执法案例：旧金山“AI 脱衣”案

Grok事件并非加州监管部门首次对涉黄网络服务进行执法。2024 年 8 月，旧金山就曾针对 16 个提供“一键脱衣”服务的网站提起民事诉讼。指控这些网站通过提供生成非自愿色情内容的功能来获取订阅利润，违反了《不正当竞争法》。

这一诉讼取得了实质性成果。截至2025 年 6 月，部分被告（如 Briver LLC）已签署和解协议，接受永久禁令并支付民事罚款，另有 10 个相关网站被迫下线或停止在加州的服务。

这执法行动向所有提供生成式人工智能服务的企业传递了明确信号：提供生成色情内容的能力本身，就是一种高风险的商业模式。

2.印度

（1）监管措施

MeitY依据《信息技术法》向 X 平台发出正式通告，命令其必须在 72 小时内采取技术手段，限制 Grok 生成“淫秽、色情及恋童癖相关”的内容。

如果不能遵守该命令，X 平台将失去根据印度法律享有的“避风港”责任豁免。这意味着，平台将不再被视为中立的第三方，而是需要直接为用户利用Grok 生成的违规内容承担法律责任。

（2）法律依据

印度法下的“避风港”原则源自《2000年信息技术法》（Information Technology Act, 2000）第 79 条。该条款确立了中介机构的免责权，但也设定了严格的触发熔断机制。

第79 条规定，只要中介机构仅提供传输服务，不对信息进行选择或修改，就不对第三方信息承担责任。

但是，一旦未履行尽职义务，保护即刻失效。如果中介机构在收到政府或相关机构的通知后，未能迅速移除或屏蔽非法内容，该豁免权将自动剥夺。

《信息技术法》第79 条：

中介机构不对其提供或托管的任何第三方信息、数据或通信链接承担责任。如果……中介机构在实际知情或接到有关政府及其机构通知后，未能迅速移除或禁止访问该材料，则不适用（免责）条款……

3.日本

（1）监管措施

日本政府在要求 X 平台改进之外，明确表示，若Grok整改不力，将考虑首次依据2025年 9 月起施行的《人工智能技术研究开发与利用促进法》(下称“《人工智能利用促进法》”)对企业实施“行政指导”。

（2）法律依据

根据《人工智能利用促进法》，大规模基础模型提供者负有防止技术滥用的法定风险管理义务。法律要求企业必须建立风险评估体系与技术护栏，防止生成色情深度伪造等违法内容。若措施不足，监管机构有权发出“行政指导”。

（二）技术措施

不同于行政施压，亚洲部分国家选择了更直接、强硬的监管手段，也即直接切断用户对Grok 的访问。

印度尼西亚率先于1 月 10 日宣布暂时屏蔽 Grok，成为全球首个对其采取正式封禁措施的国家，并明确指出未经同意的深度伪造内容构成了对人权及数字安全的严重侵犯。

随后，马来西亚宣布限制国内用户访问直至工具整改完毕。菲律宾也下令在24 小时内全面封禁 Grok，严厉谴责其导致女性和未成年人遭遇“数字脱衣”的风险违反了该国互联网使用政策。

（三）推进立法与刑事调查

欧洲地区的监管行动则已深入到刑事司法与立法层面。欧盟与法国主要依据《数字服务法》及刑法启动了合规调查，而英国通过加速推进新法的实施案，将制作深度伪造图像的行为定性为刑事犯罪，针对Grok事件同步强化了监管力度。

1.欧盟

针对Grok 违规生成 CSAM 内容，欧盟委员会依据《数字服务法》（DSA）采取了证据保全措施。欧盟委员会发言人托马斯・勒尼耶证实，已正式下令 X 平台保存与 Grok 相关的所有内部文档及数据至 2026 年底。此举旨在防止关键证据灭失，为后续调查及潜在处罚做准备。

同时，欧盟方面指出，Grok的“火辣模式”生成包含儿童形象的性内容，涉嫌违反 DSA 的核心合规义务。作为被欧盟指定的“超大型在线平台”（VLOP），X 平台必须承担比普通企业更严格的合规责任。

首先，是涉嫌违反风险评估与缓解义务。

依据DSA 第 34 条与第 35 条，VLOP 必须每年对“非法内容传播”及“对未成年人的负面影响”进行系统性风险评估，并实施有效的缓解措施。由于Grok 被滥用于生成 CSAM，显示出 X 在推出新功能前未能有效识别并化解此类风险。

DSA第34条、第35条：

超大型在线平台必须识别、分析并评估任何系统性风险……包括非法内容的传播……以及与未成年人保护相关的任何实际或可预见的负面影响。

其次，则是涉嫌违反未成年人保护特别条款。

DSA第 28 条明确要求，面向未成年人的平台必须确保高水平的隐私、安全与安保。而Grok 因未能建立有效的年龄验证或内容护栏，导致未成年人面临安全风险，明显违反了该条款的要求。

DSA第28条：

面向未成年人的在线平台提供者应采取适当且相称的措施，以确保未成年人的隐私、安全和安保达到高水平。

事实上，这并非X 平台首次面临欧盟监管。早在 2023 年 12 月，欧盟委员会就因 X 在处理非法内容与虚假信息方面的失职，正式对其启动了侵权程序。作为 X 平台长期未能履行 DSA 合规义务的延续，此次Grok事件也将增加其面临高额罚款（最高可达全球年营业额 6%）的风险。

2.法国

独立于欧盟层面的统一监管，法国国内也采取了更为具体的执法行动。巴黎检察院已向媒体证实，针对X 平台上色情深度伪造内容泛滥的问题，已正式启动调查。此前，已有三名政府部长向执法机构举报了相关违法内容，要求立即下架。

3.英国

英国的监管行动主要聚焦于刑事司法层面与平台合规义务。随着新法案的生效，英国政府不仅强化了对平台的监管调查，更直接将利用AI 制作或请求制作私密图像的行为纳入刑事犯罪范畴。

（1）监管措施

1月 12 日，英国科学、创新和技术大臣莉兹·肯德尔宣布，随着《数据法案》相关条款生效，未经同意制作或请求制作私密图像的行为已被正式认定为刑事犯罪。这一界定填补了“AI 生成”在传统性犯罪法律中的空白。

在此背景下，英国通信管理局（Ofcom）随即宣布对X平台及 Grok 展开正式合规调查。肯德尔特别敦促 Ofcom 须尽快制定时间表，防止调查拖延。一旦认定 X 平台违规，其将面临最高 1800 万英镑或全球年收入 10%（取较高者）的巨额罚款。

（2）法律依据

英国的监管框架清晰区分了针对个人用户的刑事责任与针对平台企业的安全义务。

首先，针对个人用户，修订后的《性犯罪法》将“制作”与“请求制作”均列为犯罪。依据经《数据（使用与访问）法》修订的《性犯罪法》，不仅是制作深度伪造图像属于犯罪，向 AI 发送生成指令的行为，只要未经当事人同意，同样构成犯罪。这意味着，用户向 Grok 发送生成违规图像请求的行为本身，已触犯刑法。

《性犯罪法》第66E 条及第 66F 条：

s.66E(1):任何人(A) 如故意制作另一人 (B) 的疑似私密图像，且 B 未同意……即构成犯罪。

s.66F(1):任何人 (A) 如故意请求制作另一人 (B) 的疑似私密图像……即构成犯罪。

其次，针对平台方，《在线安全法》确立了系统性预防义务。Grok生成的内容属于《在线安全法》定义的“优先非法内容”。法律要求平台必须在产品设计和运营机制上采取主动措施，从源头预防用户接触到此类内容，而不能仅依赖于接收投诉后的处理机制。

《在线安全法》第10(2)(a) 条： 

有义务防止个人通过该服务接触到优先非法内容。

03

Grok回应

面对全球范围内愈演愈烈的监管压力与舆论指控，马斯克将问题归咎于用户对提示词的恶意攻击。尽管马斯克并不承认Grok的平台责任，但X 平台的安全账号（@Safety）在1月15日发表声明，将采取更加严格的技术手段与限制措施。包括：

1.重点治理儿童色情内容并限制图像功能

 X在声明中首先强调，对儿童剥削行为采取零容忍立场，并将持续清理包括儿童性虐待材料和未经同意裸露内容在内的高优先级违规信息。

同时，禁止Grok 对现实人物的图像进行编辑，特别是涉及比基尼等暴露服装的内容。这一限制覆盖所有用户，不区分是否为付费订阅者。

（Grok于2026年1月15日更新相关限制措施，中文部分为机翻，下同）

2.设置付费门槛

将Grok 的图像生成功能全面纳入付费订阅体系，非付费用户不再具备生成图像的权限，以此提高滥用门槛。

3.屏蔽部分地区

在法律明确禁止的地区，将直接从技术上封锁用户通过Grok 生成现实人物身穿内衣等服装图像的能力。

04

威理扬简评

Grok此次面临的监管危机，标志着全球对 AI 生成内容的监管已经进入了实质性执法阶段。当游戏产品引入智能NPC、AI 绘图或 UGC 编辑工具时，企业实际上已经承担起了内容生成与管理的双重责任。结合本次事件与游戏业务的实际场景，提供以下合规建议：

1.完善用户协议

游戏厂商可以通过修订《用户服务协议》及相关功能使用规则，更加细致地界定用户的违规行为。相较于仅笼统地禁止色情或擦边内容，可在相关条款中具体列明，禁止利用AI 生成未成年人色情材料、深度伪造他人肖像以及诱导 NPC 进行非伦理角色扮演等特定行为。通过明确违规账号的处置依据，可以在法律层面更好地隔离因玩家恶意滥用而带来的平台责任风险。

2.建立双重过滤机制

Grok的案例提醒着游戏厂商，在调用第三方AI 接口时，除了依托上游的安全防御外，也可以考虑在游戏端建立独立的输入加输出双重过滤层。比如在输入端拦截具有诱导性的提示词，并在输出端接入针对性的图片或文本识别系统。这样即使上游模型出现漏洞，也能确保有害内容无法最终呈现在游戏终端。

3.儿童保护优先

由于用户群体的特殊性，游戏行业往往面临比通用AI 工具更严苛的未成年人保护要求。参考主流 AI 模型的合规策略，游戏服务提供商可针对未成年人账号实施更严格的分级管理。例如，在涉及AI 捏脸、对话或图像生成的功能模块中，对未成年人用户默认关闭自定义输入权限，或者仅提供经过筛选的预设选项，从源头上阻断未成年人接触或生成不良内容的可能性。