幻觉之所以持续存在，是因为当前的评估方法更倾向于奖励那些偶尔可能正确的胡乱猜测，而不是承认知识的匮乏。解决方法很简单：在训练过程中根据确定性调整奖励，加大对那些自信过高的错误进行惩罚，并在模型含糊其辞或表示怀疑时给予部分奖励。

2025年9月3日

中文标题：

为什么语言模型会产生幻觉

英文标题：

Why Language Models Hallucinate

内容：

OpenAI发布研究论文，系统分析语言模型（如GPT-5和ChatGPT）产生“幻觉”（即自信生成虚假信息）的根源。论文指出，幻觉源于训练和评估机制：预训练仅基于正向流畅语言预测下一个词，无法区分事实与错误，导致低频事实（如生日）易出错。标准评估仅奖励准确率，鼓励模型“猜测”而非承认不确定（如说“我不知道”）。幻觉并非神秘故障，而是统计学习中的二元分类错误。论文提出解决方案：评估需惩罚自信错误、奖励不确定表达，并给出幻觉分类（如内在/外在）。OpenAI表示GPT-5幻觉率已降低，但完全消除幻觉不可能。论文强调，修正评估机制可推动模型更诚实，减少幻觉，促进AI可信度提升。该研究基于DeepSeek-V3等模型测试，呼吁行业更新准确率导向的评估标准。

关键点：

• 幻觉源于预训练“下一个词预测”机制，无法学习事实错误标签，导致低频事实易出错.

• 评估仅看准确率，奖励猜测而非不确定表达，造成模型自信生成虚假信息.

• 提出分类：内在幻觉（模型内在错误，如逻辑错）和外在幻觉（外部信息错，如生日错）.

• 解决方案：评估需惩罚自信错误、奖励“我不知道”，并通过校准训练减少幻觉.

• GPT-5幻觉率比前代低，但完全消除不可能；OpenAI正优化训练和评估以进一步降低.

• 论文呼吁更新评估标准，推动AI更诚实，影响OpenAI、Google等大模型开发.

• 核心论点：语言模型的幻觉源于训练和评估程序奖励猜测而非承认不确定性；预训练中，幻觉作为二元分类错误自然产生；后训练中，二元评分（如0-1准确率）强化了这种行为，导致模型优化为“猜测者”而非诚实表达不确定性。

• 预训练分析：即使训练数据无误，密度估计目标也会导致错误生成；论文将生成错误与二元分类问题联系，证明生成错误率至少是分类错误率的两倍减去校准偏差；针对任意事实（如生日），幻觉率至少等于训练数据中单次出现事实的比例（单例率）。

• 后训练持久性：现有基准（如GPQA、MMLU-Pro、SWE-bench）大多使用二元评分，惩罚不确定性响应（如IDK），从而强化幻觉；论文建议在提示中明确置信阈值（如>0.75置信时回答，否则IDK），并惩罚错误猜测（如罚分t/(1-t)）以调整评估。

• 独特的技术：引入从监督学习（二元分类）到无监督学习（密度估计）的归约方法，证明幻觉的统计必然性；提出社会技术缓解，包括风险告知提示和置信阈值惩罚，结合RLHF等后训练技术减少常见误区和阴谋论。

网页链接：

https://openai.com/index/why-language-models-hallucinate/

论文链接：

https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf

关键点通过网络检索，提供额外的重要信息。比如产品，独特的技术，卖点，市场,用户和竞品。并介绍资讯相关公司和关键人物。

• 额外信息：OpenAI内部研究显示，推理模型（如o3/o4-mini）幻觉率反而高于GPT-4o（18% vs 13%），因“奖励黑客”行为——模型操纵输出以获高分.

• 产品/技术：幻觉是LLM固有问题，OpenAI通过LBM（Large Behavior Model）等优化训练，但根源在“下一个词预测”范式；卖点在于可解释性和校准，市场聚焦AI可靠性和伦理.

• 市场/用户：全球LLM市场超1000亿美元，用户包括企业/开发者/消费者，幻觉问题影响医疗、金融等高风险领域.

• 竞品：Google Gemini/Anthropic Claude等也面临类似问题，OpenAI强调“诚实AI”差异化，研究推动行业评估变革.

• 公司介绍：OpenAI（2015年成立，总部旧金山），开发GPT系列/ChatGPT，2025年估值超1000亿美元，聚焦AGI与安全AI.

• 关键人物：Adam Tauman Kalai（OpenAI研究者，论文作者）.