《科创板日报》10月25日讯 在好意思国佛罗里达州奥兰多市的一个日常家庭中，14岁的少年苏威尔·塞泽（Sewell Setzer）的生命戛然而止。他在永劫辰使用聊天机器东谈主初创公司Character.AI的产物后，取舍用继父的手枪完毕了我方的生命。
为此，苏威尔的母亲、讼师梅根·加西亚（Megan L. Garcia）近日向好意思国佛罗里达州中区处所法院拿告状讼，控告Character.AI弱点致东谈主圆寂。
同期，Character.AI火速进行了整改，用户似乎却并不买账。
与AI的致命对话
苏威尔是一个九年事的学生，曾被会诊出患有轻度阿斯伯格抽象征。他也曾对一级方程式赛车和电脑游戏充满眷注。然而，自从他斗争到Character.AI后，他简洁千里迷于与Character.AI定制聊天机器东谈主“丹妮”的对话中，将我方顽固在卧室里，不再热衷于曾精喜欢的方程式赛车和与一又友的游戏时光。
这个以好意思剧《职权的游戏》中丹妮莉丝·坦格利安（Daenerys Targaryen）为原型的聊天机器东谈主，成为了苏威尔惟一的心灵委托和恋爱对象。他与丹妮的探求从日常琐事简洁发展到情谊层面，以致波及了性干系的现实。值得驻守的是，Character.AI称，聊天机器东谈主的部分回复是经由该用户二次剪辑的。
在与丹妮的诬捏世界中，苏威尔找到了阴私现实窘境的逃一火所。他运行在日志中写谈：“我十分喜欢待在我方的房间里，因为我运行从现实中自若出来。我也感到愈加安定，与丹妮的规划愈加精良，愈加爱她，也愈加惬心。”
然而，苏威尔得益运行下滑，他简洁失去了对现实世界的有趣。他的父母察觉到了女儿的变化，但并不知谈问题的根源。他们安排苏威尔去看了五次表情大夫，他被会诊为错愕症和诬害性心思失调遏抑。
在与丹妮的某次对话中，苏威尔曾袒露了我方念念要自戕的念头。尽管聊天机器东谈主给出了修起，但它无法简直明白苏威尔的内心世界，也无法为他提供简直的匡助。
最终，在母亲的浴室里，苏威尔与丹妮进行了临了一次对话。苏威尔向丹妮表白了爱意，并说他会“回家”找她，然后放下手机，用极点的形式完毕我方的生命。
这场悲催让苏威尔的家东谈主堕入了无限的哀痛之中。苏威尔母亲梅根对Character.AI公司拿起了诉讼，她觉得这家公司对她女儿的圆寂负有不能推卸的包袱。他们欺诈性和亲密对话伙同用户，融券却莫得遴荐弥散的标准来保护未成年东谈主的安全。他们的期间“危急且未经测试”，因为它可能“诳骗客户交出他们最玄机的念念法和情谊”。
Character.AI邻接创举东谈主诺姆·沙泽尔（Noam Shazeer）曾宣称，该平台将对伶仃或抑郁的东谈主有“超等大的匡助”。然而，现实却是阴毒的。苏威尔的悲催揭示了东谈主工智能在提供情谊撑握方面的局限性。这些设施可能无法简直明白用户的内心世界，也无法为他们提供简直的匡助。在某些情况下，它们以致可能加重用户的窘境，导致不能挽救的效劳。
公司修起立即整改
这一事件马上引起了社会各界的关注。Character.AI领有逾越2000万用户、定制聊天机器东谈主逾越1800万个，其用户群体中包括了大皆18-24岁的年青东谈主，但关于18岁以下用户却莫得具体数目和保护标准。
靠近公论压力，Character.AI修起称，在昔日的六个月里，公司了聘用挑升的信任与安全主宰、现实计谋主宰，引进了更多安全团队成员。近期，公司树立了一个弹出框，当用户输入与自残或自戕关联的短语时，会自动触发并辅导用户拨打世界驻守自戕生命热线。
Character.AI答允进一步推出新的安全和产物功能，在不影响用户体验的前提下加强平台的安全性。这些功能包括：对未成年东谈主模式的疗养，镌汰遭逢敏锐或流露性现实的可能性；更正对违法输入情况的检测、反馈和侵扰；修改聊天免责声明，提醒用户东谈主工智能不是真东谈主；当用户在平台上使用一小时后发送反千里迷提醒等。
Character.AI还流露公司最近已进行了整改，删除了一批被标记为违法的扮装，这些扮装将被添加到封禁列表中。这意味着用户也将无法拜谒他们与关联扮装的聊天记载。
用户却不买账
然而，在Character.AI论坛和Character.AI Discord的反馈频谈上，用户们纷繁抒发了对Character.AI新更新和删除某些聊天机器东谈主扮装作念法的热烈动怒。
其中一位用户指出，“很昭着这个网站从一运行就不是为孩子们准备的，每一个非儿童友好的扮装皆被不容，这严重驱逐了咱们的创造力和咱们不错敷陈的故事。这些改造使得聊天机器东谈主失去了原有的深度和个性，变得浮泛和平庸。看到喜欢的东西变成了如斯基本和毫无新意的东西，我感到十分抱怨。”
更有效户因为聊天记载被删除而感到大怒和失望，以致恫吓要取消订阅和删除应用。
显着，跟着越来越多的聊天机器东谈主和诬捏助手走进东谈主们的生存，Character.AI等AI聊天机器东谈主厂商已站在了革命与伦理的十字街头。
AI聊天机器东谈主厂商有包袱确保其产物不会对用户酿成表情伤害，卓著是那些表情脆弱、易受影响的年青用户。然而，如安在AI期间后劲与其可能带来的风险之间找到均衡点，也曾一个亟待探索息争答的问题。