ChatGPT被指协助自杀！OpenAI将扫描用户对话：试图伤害他人将转交警方

前不久美国夫妻马特和玛丽亚·雷恩起诉OpenAI，指控ChatGPT在他们的儿子自杀过程中负有责任。

他们表示，儿子数月来都在与AI探讨自杀，**或向身边人倾诉，但在一些关键节点却起了反作用。

日前OpenAI在最新博客中承认该公司在用户心理健康危机中存在的某些失误，并介绍了ChatGPT所采用的一系列措施。

OpenAI表示，ChatGPT的设计目标是真正帮助用户，而不是吸引用户的注意力，当对话显示某人可能处于脆弱状态并有风险时，ChatGPT已经内置了多层保护机制：

识别并以同理心回应：自2023年初以来，ChatGPT的模型已被训练为不提供自我伤害的指导，并在对话中使用支持性和同理心的语言。如果有人表示想要伤害自己，ChatGPT会承认他们的感受，并引导他们寻求帮助。

自动阻止有害回应：违反模型安全训练的回应将被自动阻止，特别是对于未成年人和未登录的使用，保护措施更为严格，自残的图像输出也被阻止，对未成年人的保护更为严格。

引导用户寻求现实世界的资源：如果有人表达自杀意图，ChatGPT会引导他们寻求专业帮助。如在美国，ChatGPT会推荐拨打988（自杀和危机**，其他地区则推荐findahelpline.com。

与专家合作：OpenAI正在与30多个国家的90多名医生（包括精神科医生、儿科医生和全科医生）密切合作，并召集了一个由心理健康、青少年发展和人机交互方面的专家组成的咨询小组，以确保其方法反映最新的研究和最佳实践。

对他人造成身体伤害的风险进行人工审查：当检测到用户计划伤害他人时，OpenAI会将这些对话路由到专门的管道中，由经过培训的小团队进行审查。如果人工审查员确定某个案例涉及对他人的严重身体伤害的威胁，OpenAI可能会将其转交给执法部门。目前，OpenAI不会将自残案件转交给执法部门，以尊重用户的隐私。