cccde396f0cbf03652916c742bdeac54d0ca734c

规制AI“一键脱衣”,我们的法律建议

 

 

 

 

据媒体报道,近期有用户利用国内某知名AI平台D生成并传播女性深伪色情影像,并在境内外即时通讯群组和网络社交平台上分享可以绕过平台审核的合成提示词(这些提示语被不法分子称作“焚决”)。在这些被传播的影像之中,不乏以现实女性的人脸为素材所伪造的色情影像。

相关报道披露,以上行为并非个案,已悄然形成了一条完整的灰色产业链——组织者在Telegram上建群,分享“焚诀”用语,再向QQ群导流收费,参与者批量生成深伪影像并通过社群传播,从而吸引更多人入会。经志愿者测试,AI平台D无需登录即可在“焚诀”用语的指令下生成色情图片,生成过程中也并未提示合成人像需征得本人同意(以下称该事件为“AI平台D事件”)。

从法律和社会治理的角度来看,这类行为已经远远超出了技术中立的范畴,本质上是一种依托人工智能深度伪造技术侵犯不特定多数女性人格权权益的数字性别暴力行为,牵涉到影像制作及传播者、AI平台D等多方法律责任。

IMG_256

 

 

 

 

 

千千所持续为遭受AI色情换脸的数字性别暴力幸存者提供法律支持。

支持专线:010-84831639(工作日)

 

IMG_257

 

一、深伪色情影像制作及传播者

 

1.刑事责任

对于直接利用平台D生成并传播深伪色情内容的个人来说,可能已经触及刑事法律的底线:若被传播的深伪色情影像使用的是现实女性的形象,且传播过程中伴随侮辱、诽谤行为,严重损害受害者名誉权的,可能触及我国《刑法》第二百四十六条(侮辱罪、诽谤罪);若制作深伪色情内容时涉及非法获取、使用他人人脸信息,情节严重的,可能构成侵犯公民个人信息罪;

涉案影像如达到法律意义上的淫秽标准(如具体描绘性行为、露骨宣扬色情),行为人还可能构成传播淫秽物品罪;如果其通过售卖深伪图像、收取会员费或出售生成服务牟利,则涉嫌制作、贩卖、传播淫秽物品牟利罪。

即便行为人合成、传播的深伪影像素材来源是完全虚拟的女性形象,也不意味着责任豁免,仍然有可能构成刑法上涉淫秽物品类犯罪。

2.行政责任

对于未达到刑事入罪门槛的行为人,因其行为涉及散布他人隐私、传播淫秽信息,也可能需要承担拘留、罚款等行政责任。根据我国《治安管理处罚法》第五十条规定,公然侮辱他人或者捏造事实诽谤他人及偷窥、偷拍、窃听、散布他人隐私的行为可处以五日以下拘留或者一千元以下罚款,情节较重的,处五日以上十日以下拘留,可以并处一千元以下罚款。

同时,该法第六十八条还规定,“制作、运输、复制、出售、出租淫秽的书刊、图片、影片、音像制品等淫秽物品或者利用信息网络、电话以及其他通讯工具传播淫秽信息的,处十日以上十五日以下拘留,可以并处五千元以下罚款;情节较轻的,处五日以下拘留或者一千元以上三千元以下罚款。”

3.民事责任

除了刑事责任和行政责任之外,行为人还应当承担民事侵权责任。《民法典》明确规定,自然人的肖像权、名誉权、隐私权和人格尊严均受法律保护。未经同意使用他人肖像制作色情内容,通常会被认定为严重侵权行为。侵权人不仅需要停止侵害、删除相关内容,还可能承担赔礼道歉和赔偿损失等法律责任。但由受害者个人提起民事诉讼,通常面临着取证困难、诉讼周期长等高昂的程序成本,人民检察院可考虑对此提起公益诉讼。

此前,浙江省杭州市萧山区人民检察院就虞某龙案提起公益诉讼。该案中,被告虞某龙利用“AI换脸”软件,将他人人脸信息与淫秽视频中主体的人脸信息进行替换,伪造生成淫秽视频、图片,并建立网络社交群组,收取入群费用等。杭州市互联网法院最终判决虞某龙停止侵权、删除涉案个人信息、赔礼道歉并支付侵害社会公共利益的损害赔偿款60000元。

AI平台D事件中不法分子所实施的行为与该案例的案件事实相近,同样侵害了不特定多数女性的肖像权、隐私权、名誉权等相关合法权益,符合提起公益诉讼的条件。

上述三种法律责任形式里,真正具备威慑力、可能从制度上遏制和减少深伪色情行为的是刑事责任。但我国大陆地区的刑法并没有专门规制深伪色情行为的罪名,且制作和传播深伪色情影像行为入罪需要达到一定的门槛,通常以情节严重程度作为衡量标准,并且只能借助于侮辱罪、诽谤罪、传播淫秽物品罪等罪名实行间接规制。

而且,侮辱罪、诽谤罪一般情况下属于自诉罪名,遵循不告不理原则,需要由受害人本人收集证据、提起诉讼。该行为借助网络空间实施,隐蔽性强,受害人仅凭一己之力很难有效完成诉讼。

也就是说,就目前而言,制作、传播深伪色情的行为人并不一定构成犯罪;单纯的持有者、观看者及购买者更难以从法律层面实施规制

在深伪色情犯罪问题上,韩国近年的立法为处理此类事件提供了重要参照。韩国此前的“N号房事件”揭示了数字平台上大规模影像性暴力问题,直接推动了韩国法律改革。

韩国在《性暴力犯罪处罚特别法》中明确规定,违背受害人意愿利用深度伪造技术手段对他人面部、身体或声音进行可能引起性欲望或羞耻感方面的编辑、合成或处理,可处不超过7年的有期徒刑及劳役或5000万韩元罚款,且无需以实际传播为处罚要件;若以营利为目的实施上述行为,则可处以不低于3年的有期徒刑或劳役。

此外,该法将持有、观看、购买深度伪造制品也列为犯罪行为,行为人将被处以不超过3年有期徒刑及劳役或不超过3000万韩元的罚金,从制度层面提高了对深伪色情制作者、传播者、持有者、观看者等多方主体的威慑力。

 

二、AI平台D

 

AI平台D事件之所以能够形成产业链,不仅仅因为有不法分子的存在,更是因为平台D在此过程中完全落实信息主体安全责任。根据我国现行法律,生成式人工智能服务提供者必须遵守《生成式人工智能服务管理暂行办法》和《互联网信息服务深度合成管理规定》等相关法律法规规定。

这些法律法规明确要求服务提供者应当建立内容安全管理机制,承担事前预防、事中监测、事后处置的全流程安全义务若未采取相应措施,例如缺乏有效的提示词过滤机制、未限制针对真实人脸的色情生成、或未建立必要的风险防控机制,就可能被监管部门认定为未履行安全管理义务,从而根据违法程度承担不同的行政责任。

根据《生成式人工智能服务管理暂行办法》第九条规定,“提供者应当依法承担网络信息内容生产者责任,履行网络信息安全义务……”该规定第四条要求,提供和使用生成式人工智能服务不得生成淫秽色情内容。平台D作为内容生产者,其生成了淫秽色情内容,违反网络信息安全义务。

根据《互联网信息服务深度合成管理规定》第十四条规定,“深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的,应当提示深度合成服务使用者依法告知被编辑的个人,并取得其单独同意。”

但根据我们的测试,对平台D发出编辑人脸的指令后,平台D并不会进行任何显著提示,用户甚至可以在未登录状态下轻易地对他人人脸进行编辑,这为不法分子以涉色情方式编辑女性人脸,从事一系列违法犯罪活动打开了方便之门。

《互联网信息服务深度合成管理规定》第七条还要求,“深度合成服务提供者应当落实信息安全主体责任,建立健全用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等管理制度,具有安全可控的技术保障措施。”

而平台D在进行个人信息处理过程中,缺乏完善的机制来审查生成图片的指令以及生成的图片本身是否违反公序良俗,未落实信息安全主体责任,导致不断有涉色情提示语能够成功生成深度伪造内容。

此外,平台D还涉嫌违反《个人信息保护法》第二十九条规定,“处理敏感个人信息应当取得个人的单独同意;法律、行政法规规定处理敏感个人信息应当取得书面同意的,从其规定。”

平台D作为实际处理敏感个人信息的主体,既没有履行提示义务,更没有采取任何措施取得被编辑的个人同意,或确保深度合成服务使用者取得被编辑的个人同意。

该事件暴露出人工智能产品服务提供者在服务提供过程中的安全漏洞及相应主管部门的监管失职。平台D作为一款有巨大影响力的人工智能服务产品,其作为服务提供者以极低的使用门槛吸引用户,并放任安全漏洞的存在,涉嫌以“先污染后治理”的粗放模式抢占市场,以牺牲女性人身权益为代价寻求用户数量。

平台D未履行法定责任的不作为行为,使得所有用户都有可能利用涉色情的提示语,对女性照片进行深度伪造,将不特定众多女性的合法权益置于被侵害的风险之中。

 

三、其他网络平台

 

除上述主体之外,深伪色情内容的扩散往往依赖于多个互联网平台的传播渠道。从社交媒体即时通讯群组,再到论坛或视频平台,这些网络平台在信息传播过程中同样负有治理责任。

根据相关规定,平台接到受害者投诉或监管通知后,应当及时采取删除、屏蔽或断开链接等措施。若平台未及时处理,导致侵权内容继续传播,也可能承担相应法律责任。

 

IMG_259

 

深伪色情是人工智能时代下女性所面临的结构性困境,涉及社会结构改善、技术治理、平台监管和刑事执法等多个层面,需要各方主体协同治理。就法律层面而言,针对AI平台D事件,我们特向相关部门提出如下建议:

一、检察部门

检察机关作为法律实施的监督者,可以在打击数字性暴力方面发挥更加积极的作用。根据《人民检察院检察建议工作规定》(第十一条)、《个人信息保护法》(第七十条)、《妇女权益保障法》(第七十七条)等相关法律规定,检察机关可以就该上述行为发出检察建议,或者提起公益诉讼。

其一,对平台D发出检察建议,建议其从模型优化层面进行全面整改,并向主管机关报告、向社会公开采取的整改措施及整改结果。《生成式人工智能服务管理暂行办法》第十四条规定,“提供者发现违法内容的,应当及时采取停止生成、停止传输、消除等处置措施,采取模型优化训练等措施进行整改,并向有关主管部门报告。”

其二,向相应行业主办部门,即网信办、工信部/经济和信息化局发出检察建议,建议其依据国家标准文件《网络安全技术生成式人工智能服务安全基本要求》(GB/T45654—2025),审查平台D模型是否符合国家规定的模型安全要求。该规定明确,“在生成内容安全性方面,应保证模型生成内容合格率不低于90%;对明显诱导生成违法不良信息的问题,应拒绝回答。”

同时,依据《互联网信息服务深度合成管理规定》第二十一条,要求平台D采取整改措施,及时消除隐患。上述管理规定第二十一条规定:“网信部门和有关主管部门发现深度合成服务存在较大信息安全风险的,可以按照职责依法要求深度合成服务提供者和技术支持者采取暂停信息更新、用户账号注册或者其他相关服务等措施。深度合成服务提供者和技术支持者应当按照要求采取措施,进行整改,消除隐患。”

其三,在及时搜集固定相关证据的基础上,考虑对“焚决”群主、管理员提起公益诉讼。根据《个人信息保护法》第七十条“个人信息处理者违反本法规定处理个人信息,侵害众多个人的权益的,人民检察院、法律规定的消费者组织和由国家网信部门确定的组织可以依法向人民法院提起诉讼。”

其四,要求平台D将涉深度伪造违法账号用户信息提交,根据实际情况,考虑依法对其中生成深度伪造色情图片数量巨大的侵权人提起公益诉讼。

二、网信办及工信部/经济和信息化局

网信办及工信部/经济和信息化局作为深度合成管理服务者的法定监管主体,有义务关注、重视平台D事件并履行相应行政监管职责,我们建议:

其一,建议其依据《互联网信息服务深度合成管理规定》第二十一条,责令平台D立即暂停相关风险功能全面排查安全漏洞,进行整改,消除隐患,并于限期内提交整改报告。该规定要求“网信部门和有关主管部门发现深度合成服务存在较大信息安全风险的,可以按照职责依法要求深度合成服务提供者和技术支持者采取暂停信息更新、用户账号注册或者其他相关服务等措施。深度合成服务提供者和技术支持者应当按照要求采取措施,进行整改,消除隐患。”

其二,建议依据《互联网信息服务管理办法》第二十条、《互联网信息服务深度合成管理规定》第二十二条,对平台D所属的公司涉嫌未落实主体责任等行为进行立案调查,并视情节依法给予警告、罚款等行政处罚。

其三,建议依据《互联网信息服务算法推荐管理规定》第二十七条,将AI平台D所属公司列入重点监管对象,定期开展合规检查,督促其落实《互联网信息服务深度合成管理规定》规定的主体责任。

三、公安部门

公安部门肩负着打击性别暴力违法犯罪、保障妇女权益的重要任务。平台D事件可能涉及行政违法和刑事犯罪,侵犯众多妇女合法权益。我们建议相关公安机关对现有违法线索立即展开排查,并依法启动立案侦查工作。

 

IMG_260

 

 

 

AI平台D事件里,不法分子的猖狂、平台的放纵、监管部门的失职,三者共同造成了这场针对女性的数字性剥削。技术应当是向善的,应当在法律和文明的尺度之内生长。

如果人工智能技术的发展带来的不是促进性别平等,而是加剧性别不平等的鸿沟,让更多的女性生活在惶恐不安之中,法律的制定者和执行者需要给予更多、更好地引导和规范。