OpenAI宣称已破解"幻觉"难题:现有方式在鼓励AI瞎蒙

据《商业内幕》今日报道，OpenAI研究人员宣称已经破解大语言模型性能最大的障碍之一——幻觉问题。

据介绍，所谓幻觉，是指大语言模型把不准确的信息当作事实输出，几乎所有主流模型都深受其困扰。

OpenAI在周四发布的一篇论文中指出，幻觉的根源在于训练方式更偏向奖励“猜测”，而不是承认不确定性。换句话说，模型被训练成“装作知道”，而不是坦率地说“我不确定”。

不过，不同模型的表现差别明显。OpenAI在上个月的博文中提到，Claude在面对不确定时往往更谨慎，常常避免给出错误回答。但OpenAI也提醒，Claude拒答率偏高，可能削弱了使用价值。

研究人员在论文中写道：“幻觉之所以难以消除，是因为现有的评估标准奖励猜测。模型被优化成‘考试型选手’，在不确定时猜一猜反而能提高分数。”

结果是，大语言模型几乎一直处于“考试模式”，把世界看成非黑即白的是非题。但现实远比考试复杂，不确定性往往多于确定性，绝对的准确并不常见。

研究人员指出：“人类会在现实生活的挫折中学会表达不确定性的价值，而大语言模型的评估主要依赖考试，这些考试却惩罚了不确定的回答。”

其认为，解决方法在于重新设计评估标准。“问题的根源是评估指标没有对齐，必须调整主要的评分方式，避免在模型不确定时因拒答而被扣分。”

OpenAI在介绍论文的博文中进一步解释说：“目前广泛使用的基于准确率的评估需要更新，打分方式应当抑制‘乱猜’行为。如果排行榜继续奖励侥幸的回答，模型就会不断被训练成靠猜测过关。”