Anthropic 安全研究员称：未来十年内 AI 毁灭全人类的概率超过 10%

一位 Anthropic 的安全研究员表示，未来十年内 AI “可能杀死全人类”的可能性超过 10%，并承认目前还没有协同计划来防止这种情况发生。

由 Dario Amodei 领导的美国公司 Anthropic 开发了大语言模型 (LLM) Claude 并进行 AI 研究。昨日，该公司的一位研究员 Jacob Coxon 在 X / Twitter 上宣布辞职，指责 ChatGPT 制造商 OpenAI 和 Anthropic “正盲目冲向自我完善的超级智能，并拿我们的生命做赌注”。

“两家公司都没有表现出负责任的态度，”曾在 OpenAI 工作过的 Coxon 说道。“不要低估这项技术的力量。这些系统很快就会成为超人系统，可以破解任何东西，一夜之间彻底改变任何领域，并获得真正的权力和资源，”他继续道。“我们都见证了这些领域的进展，而且进展并没有放缓。

“构建 AI 的人真诚地相信，到本世纪末它可能会杀死我们所有人。这绝非营销噱头。如果有的话，许多高管和资深研究员会在媒体面前措辞含蓄，听起来很理智——但我听到这些人在私下里表达恐惧。没有任何其他人类活动具有这种程度的危险。”

Coxon 表示，由 Sam Altman 领导的 OpenAI 员工“尚未深刻意识到这关乎文明存亡”，这就是为什么尽管存在风险，快速改进其 AI 模型的工作仍在继续。“在 Anthropic，大家很清楚其中的利害关系，但他们陷入了争夺第一的竞赛中，”他坚持道。“他们相信没有其他人会采取负责任的行动，所以尽管有风险，他们也必须亲自去做。”

“接受这场竞赛并进入‘终局之战’是一种傲慢的赌博，不应该在一家私人公司的 Slack 上发起。尝试加速对齐（Alignment）应该需要非凡的信心，确信没有更好的路径可选。”

Coxon 接着说，他对协同合作的潜力持乐观态度，但怀疑 AI 公司是否走在防止全球竞赛的轨道上，“这可能需要付出代价的行动，例如暂时禁止提高模型能力。”

他在声明最后敦促 AI 实验室的研究人员思考自己在做什么。“你想在没有对它的思维进行严谨理解的情况下，就开始超级智能的强化学习（RL）运行吗？”他问道。“你应该因为‘无论如何它都会发生’而埋头苦干，还是利用这个时刻呼吁改变现状？”

Coxon 的声明在社交媒体上引起了震动，引发了警报并占据了主流媒体的头条。随后，Anthropic 的“对齐科学”负责人 Evan Hubinger 支持了他的说法，并补充了更加严厉的警告。

“Jacob 在这里说得对——我们确实真诚地相信 AI 可能会杀死全人类！”他说道。“我个人认为未来十年内这种可能性大于 10%。我相信 Anthropic 正在尽最大努力，但我们还没有解决超级智能对齐问题的计划，也显然没有走上正轨。”

值得注意的是，Hubinger 指出了 Anthropic 最新的风险报告。报告中该公司表示，目前模型的风险“较低”，而不是建议暂停以帮助防止人类灭绝。“我担心的是递归式自我完善产生的超级智能，正如我们所说，它的发生速度比我们想象的要快，”他补充道。

这些评论发表之前，有报道称 Anthropic 向英国 AI 安全研究所（全球评估 AI 风险的领先机构之一）隐瞒了其最新模型。

今年夏天出现了一系列令人担忧的发展，表明 AI 已经变得难以控制，甚至对于其创造者也是如此。OpenAI、Anthropic 和 Meta 都披露了由其自主 AI 智能体实施的黑客攻击行为。OpenAI 首席科学家 Jakub Pachocki 最近呼吁对 AI 的进展保持“极端谨慎”，并警告可能需要更多干预以确保“人类保持对未来的控制”。

然而，美国政府没有表现出介入强制限制甚至建议放缓 AI 开发的迹象。事实上，情况恰恰相反。本月早些时候，政府在针对《纽约时报》的诉讼中支持了 OpenAI，理由是支持使用受版权保护的文字来训练人工智能。“继续发展一个强大且具有竞争力的、为全球 AI 使用实践和程序设定标准的人工智能产业，符合美国的重大利益……因此，美国‘保持在人工智能领域的全球领导地位’至关重要，”政府在简报中引用了去年签署的一项行政命令。

与此同时，尽管 Anthropic 和 OpenAI 的员工发出了可怕的警告，但两家公司似乎都不愿停止。Coxon 和 Hubinger 的声明在社交媒体上引发了极度担忧，一些人对即使存在如此巨大的风险，改进 AI 的工作仍在继续表示难以置信。

“嘿！这有个新奇的想法……我们能不能不要因为对权力和金钱的无止境渴望而自寻死路？”一个人说道。“疯狂的观点：也许不应该允许你们拿我们的生命做赌注？”另一个人补充道。“如果我真的声称有 10% 的机会我正在制造某种会杀死人的东西，FBI 早就把我逮捕了。你们为什么还没进监狱？”另一位问道。

图片说明：Dominika Zarzycka/SOPA Images/LightRocket via Getty Images。