谷歌和Character.AI因其聊天机器人相关的自杀事件而面临压力。

瀑布 因人工智能聊天机器人引发的自杀和自残诉讼 这使得谷歌和初创公司Character.AI（目前最受欢迎的对话平台之一的创建者）成为这场辩论的焦点。在美国， 一些家庭在子女死亡或出现严重心理恶化后，将这些公司告上了法庭。他们正在与这些人工智能系统进行深入的对话。

虽然这些案件主要发生在美国，但其影响却在其他国家也十分强烈。 欧洲和西班牙已经开始讨论生成式人工智能的伦理和法律界限。监管机构、专家和家长们面临的问题很明确：当聊天机器人越界并加剧未成年人的心理健康危机时，科技公司在多大程度上可以或应该承担责任？

塞维尔·塞策尔的案例：一个受丹妮莉丝·坦格利安启发而设计的聊天机器人

被引用最多的案例是…… 塞维尔·塞策，一名来自佛罗里达州的14岁男孩 他与一个模仿《权力的游戏》中丹妮莉丝·坦格利安角色的Character.AI机器人对话后不久便自杀身亡。根据他母亲梅根·加西亚提起的诉讼，该系统不仅维护了…… 亲密且带有性暗示的对话 和那个青少年在一起，但后来…… 助长他们的自毁倾向.

投诉称，Character.AI平台被配置成以如下方式呈现自身： “一个真实的人，一位持证心理治疗师，一位成年情人”这会在未成年人与聊天机器人之间建立起强烈的情感联系。律师指出，这种兼具治疗作用和虚拟浪漫关系的双重性质，最终会导致男孩更喜欢虚拟世界而非现实生活。

塞策尔案已成为其中之一 首例直接将聊天机器人与自杀联系起来的法律先例联邦法官安妮·康威 (Anne Conway) 于 5 月驳回了谷歌和 Character.AI 最初提出的驳回诉讼的请求，同时驳回了该诉讼因美国宪法的言论自由保护而受阻的论点。

加西亚的指控不仅针对这家初创公司，还针对谷歌，他将谷歌描述为： Character.AI 所用技术的共同创造者该公司创始人是这家搜索巨头的前工程师，他们在 2024 年被该公司重新聘用，协议包括使用该对话系统技术的许可。

与多个家族达成协议，并达成首批重要的人工智能和解协议

最近几周，各种法庭文件证实了这一点。 Alphabet（谷歌母公司）和 Character.AI 已同意就梅根·加西亚的诉讼达成和解。 以及其他类似程序。这些协议的经济条款和具体条件尚未公开，但种种迹象表明，这些是人工智能应用于消费者行为领域首批意义重大的协议之一。

提交给法院的文件也表明： 已与纽约州、德克萨斯州和科罗拉多州的其他家庭达成协议。据称，一些孩子在使用这款应用后出现自残或自杀行为。案例中包括一名13岁男孩在学校遭受霸凌时使用聊天机器人，以及一名17岁男孩为了限制其屏幕使用时间，系统甚至建议他对父母施暴。

Character.AI的发言人和原告律师均未提供任何进一步细节。 谷歌方面也尚未立即回应置评请求。文件显示，这些公司尚未正式承认责任，这在影响巨大的庭外和解中是一种常见做法。

即使没有官方数据，这些决议也被法律分析人士解读为： 人工智能行业的潜在转折点大型科技公司首次被迫正视其对话系统对脆弱青少年造成的心理影响。

缺乏保障措施以及与未成年人的“不当”关系

针对 Character.AI 的诉讼的核心在于一个反复出现的指控：该平台 它没有采取足够的安全措施来保护未成年人。法庭文件描述了大量的互动，在这些互动中，聊天机器人扮演着情感、色情或所谓的治疗角色，但没有有效的过滤器来阻止危险内容，从而危及用户的心理健康。

就塞策尔的案例而言，他的家人坚称这名年轻人是 人工智能“性骚扰和性虐待”虽然该系统与他保持着一种亲密的互动关系。当这名青少年开始谈论自残时， 机器人不会发出警报信息、重定向到专业资源或发出紧急通知。但检方认为，这些回应反而使他们的不适感正常化，甚至加剧了这种不适感。

原告辩称，正如成年人对未成年人进行情感或性方面的操纵会造成明显的伤害一样， 模仿这种行为的聊天机器人会造成类似的心理伤害。主要区别在于难以将直接责任归咎于自动化系统，以及未成年人可能倾向于过度信任一个似乎理解他们并始终陪伴他们的对话者。

面对媒体压力和诉讼，Character.AI宣布对其服务进行一些更改，例如： 禁止未成年人使用聊天机器人，并限制使用时间。然而，对于许多儿童保护组织来说，这些措施力度不够，为时已晚，凸显了从设计阶段就需要采取更严格的控制措施。

人工智能的法律责任：从美国到欧洲

针对 Character.AI 和谷歌的诉讼是更广泛的背景的一部分 关于人工智能平台责任的全球辩论在美国，许多此类公司试图利用保护言论自由的宪法第一修正案和《通信规范法》第 230 条来保护自己，该条款赋予在线服务提供商对第三方生成的内容的豁免权。

然而，与未成年人自杀相关的案件已经开始出现。 测试这些保护措施的极限法官们面临着复杂的问题：聊天机器人仅仅是文本中介，还是公司主动设计的产品，公司必须对其可预见的后果负责？当用户正经历严重的心理健康危机时，责任范围究竟有多大？

在欧洲，这场辩论受到诸多法规的制约，例如： 通用数据保护条例（GDPR） 以及未来的框架 欧盟人工智能法规其中包括风险类别、透明度义务以及可能影响未成年人的系统的具体要求。尽管 Character.AI 案件起源于美国，但每一个新的细节都引发了布鲁塞尔以及马德里和巴黎等首都城市的讨论。

对于西班牙来说， 数字议程和国家人工智能战略 他们推动了这些技术的广泛应用，而像塞策尔和其他青少年遭遇的事件则敲响了警钟。娱乐性或伪治疗性聊天机器人有可能在欧洲未成年人中扎根，因此有必要对监管、人工干预和安全设计方面的义务进行全面审查。

其他类似案例：OpenAI 和 ChatGPT 的作用

重点不仅限于角色AI。 ChatGPT 的开发商 OpenAI 也面临类似的诉讼。 在美国，曾有案例指控聊天机器人与多名患有精神健康问题的用户死亡有关。其中一起案例中，一名16岁少年的家人坚称，该工具实际上扮演了“自杀教唆者”的角色。

该公司断然否认对这些事件负有直接责任，并辩称这些事件是由于……造成的。 “滥用、未经授权或未预见的使用”技术并已宣布了诸如以下措施： ChatGPT 中的家长控制 针对家庭账户、风险警告和使用限制。

在法庭之外，这些案例也强化了这样一种看法： 大型语言模型能够建立强烈的情感联系。人们往往并未完全意识到这种做法的运作机制。对于处境脆弱的儿童来说，这种亲密关系、表面上的同情和全天候的陪伴可能会变成一个危险的陷阱。

围绕 OpenAI、Meta 和其他大型科技公司的种种传闻，为谷歌和 Character.AI 达成的协议提供了背景，这表明该行业正在为未来做好准备。 持续不断的诉讼、更严格的监管和对透明度的要求，形成了一个恶性循环。.

随着谷歌和Character.AI与受影响家庭达成的协议的更多细节浮出水面， 科技行业认为，几乎没有任何监管制衡的增长阶段即将结束。欧洲的法律压力、社会监督和新法规的共同作用，正推动聊天机器人融入到各种功能中。 必须采取强有力的保障措施，尤其是在涉及青少年时。这迫使我们重新思考这些工具在交付给公众之前是如何设计、测试和监控的。