为陪伴式AI设立护栏！加州签署全美首个AI聊天机器人法案

　　南都讯记者吕虹发自北京13日，据新华社消息，美国加利福尼亚州州长加文·纽森（Gavin Newsom）于13日签署了一项监管AI聊天机器人的法案，使加州成为全美首个要求AI聊天机器人运营商实施安全协议并承担法律责任的州。

　　这项名为SB-243的法案将于2026年1月1日正式生效，要求相关企业实施包括年龄验证机制和关于社交媒体及陪伴型聊天机器人的风险警示在内的多项安全功能。

　　具体规定包括：能提供类人对话、满足用户社交需求的AI陪伴聊天机器人不得与用户讨论自杀、自残或色情话题；平台必须定期提醒用户，每隔三小时告知未成年人“自己正在与AI对话”，并建议其休息；禁止聊天机器人与未成年人讨论涉及性的话题或冒充医疗保健专业人员；加大对非法深度伪造（deepfake）内容牟利行为的处罚力度，最高可处以每次违规25万美元（现汇率约合178.4万元人民币）罚款等。

　　法案还要求Meta、OpenAI、Character.AI、Replika等公司每年披露报告，满足透明度要求，若旗下聊天机器人未能达到法律规定的标准，将承担法律责任。同时，企业必须建立应对自杀和自残风险的应急协议，并向加州公共卫生部提交相关数据，包括服务系统向用户推送危机干预中心通知的统计情况。

　　加文·纽森在接受采访时公开表示，当下许多未成年人不管是写作业还是遇到情感问题，都倾向于向人工智能聊天机器人求助。这样的新兴技术“可以启发、教育孩子，与他们产生共鸣。但如果没有实实在在的护栏，它也可以压榨、误导和危害孩子”。

　　这项立法的主要推动力是近年来发生的多起与AI聊天机器人相关的青少年悲剧事件。2024年，美国佛罗里达州14岁少年Sewell的自杀案，被媒体称为“全球首例AI机器人致死案”。Sewell长期沉迷于Character.AI平台的虚拟角色，逐渐产生严重依赖，并在心理健康持续恶化后走向极端。2025年8月，一名16岁的美国少年亚当·雷恩在与ChatGPT长时间互动后选择自杀，亚当父母为此起诉OpenAI及其CEO山姆·奥特曼，此事引发美国社会广泛关注。

　　“我们已经看到一些着实可怕、可悲的案例，看到年轻人被不受监管的技术伤害。”加文·纽森说，“我们不会任由公司在没有必要限制和问责的情况下继续下去。”

　　SB-243法案在推进过程中，得到了众多网安专家及研究学者的支持。加州大学伯克利分校生物伦理学教授Jodi Halpern就是法案的积极支持者之一。“有越来越多的悲剧性证据表明，针对未成年人和其他弱势群体的不受监管的情感伴侣聊天机器人可能会产生危险的结果。”

　　他进一步阐述其支持理由称，“还有更详细的报告显示，陪伴型聊天机器人公司如何使用技术来增加用户参与度，这在儿童、青少年和其他弱势群体中造成依赖甚至成瘾。有确凿证据表明，在社交媒体和AI陪伴成瘾的情况下，未成年人的自杀风险显著上升，更有报告显示部分认知障碍、强迫症和妄想症的老年人受到严重伤害甚至死亡。”

　　据悉，目前部分公司已开始主动采取针对未成年人的安全保护措施。例如，OpenAI近期已为其ChatGPT产品推出家长控制功能、内容过滤机制以及针对未成年人的自残行为识别系统。

　　Character AI表示，其聊天机器人已内置免责声明，明确指出所有对话均为AI生成且属虚构内容。

　　南都记者了解到，SB-243法案是加州在过去几周内通过的第二项重要AI 监管立法。9月29 日，纽森州长还曾签署SB-53法案，对大型AI企业提出新的透明度要求。该法案强制OpenAI、Anthropic、Meta和Google DeepMind等大型AI实验室公开其安全测试流程，并为这些企业的举报人提供法律保护。与此同时，如伊利诺伊州、内华达州和犹他州等其他州也已通过立法，限制或全面禁止将AI聊天机器人用作有执照的心理健康服务的替代品。

　　更早前的9月11日，美国联邦贸易委员会（FTC）还曾对七家运营AI聊天机器人的科技公司展开调查，重点关注其对儿童和青少年的保护措施。

　　据法新社报道，美国目前在联邦层面没有旨在控制人工智能风险的法规。

（文章来源：南方都市报）

(原标题：为陪伴式AI设立护栏！加州签署全美首个AI聊天机器人法案)

(责任编辑：6)