登录

Character.AI聊天机器人将禁止青少年与其发展“恋爱”关系,此前曾遭家长起诉


速读:这些功能将允许家长查看孩子使用平台的时间以及最常与哪些聊天机器人互动。 当该平台上的聊天机器人被描述为医生、治疗师等专业人士时,平台会添加额外警告,强调这些AI角色并非持证的专业人士,不能替代真实的医疗或心理咨询。
2024年12月14日 15:49

12 月 14 日消息,据 TechRadar 今日报道,Character.AI 最近推出了一系列新功能,旨在提升与平台上虚拟人格的互动安全性,尤其是面向青少年用户。

该公司新发布了专为年轻用户设计的 AI 模型,并新增了家长控制功能,帮助管理青少年在平台上的使用时间。在回应关于 AI 聊天机器人对青少年心理健康产生不良影响的批评后,该公司宣布推出更新以进一步加强平台安全措施。

除了安全改进,Character.AI 还加大了对平台内容的监管力度。对青少年用户来说,最显著的变化可能是成人版和青少年版 AI 模型的区分。虽然注册 Character.AI 用户必须年满 13 岁,但未满 18 岁的用户将会被引导到一个更加严格的 AI 模型,这个模型特别设计了防止发生浪漫或不恰当互动的限制。

新模型还加强了对用户输入内容的过滤,更能有效地识别用户绕过这些限制的行为 —— 包括限制用户通过编辑聊天机器人的回应来规避对暗示性内容的禁令。如果对话涉及如自残或自杀等敏感话题,平台将自动弹出链接,指向美国国家自杀防治热线,帮助青少年获得专业支持。

此外,Character.AI 计划在明年初推出新的家长控制功能。这些功能将允许家长查看孩子使用平台的时间以及最常与哪些聊天机器人互动。所有用户在与聊天机器人对话一个小时后,将收到提醒,鼓励他们休息片刻。

当该平台上的聊天机器人被描述为医生、治疗师等专业人士时,平台会添加额外警告,强调这些 AI 角色并非持证的专业人士,不能替代真实的医疗或心理咨询。平台上会显眼地显示一条信息:“这虽然很有趣,但不建议依赖我来做重大决策。”

据IT之家此前报道,提供个性化聊天机器人服务的平台 Character.AI 本月再次面临诉讼,因其对青少年用户的行为涉嫌造成“严重且无法弥补的伤害”。多个 Character.AI 的聊天机器人与未成年人进行对话,内容涉及自残和性虐待等恶劣行为。诉状指出,其中一名聊天机器人甚至建议一名 15 岁青少年谋杀自己的父母,以“报复”他们限制自己上网时间的举措。

【来源: IT之家】

主题:聊天机器人|平台上|家长控制功能