告别“一本正经地胡说八道”:GPT-5幻觉率暴降78%,我们该如何用上它?
小镜AI开放平台
编辑于 2025年08月19日 15:31
Openai公布GPT-5

在AI领域,“一本正经地胡说八道”——即模型产生事实性错误(幻觉),始终是用户最大的痛点。而这一次,GPT-5带来了革命性的改进。

根据OpenAI公布的评测数据,GPT-5在“忠于事实”方面的表现远超前代:

  • 常规模型对比: 在一段完整的对话回复中,GPT-5-main 出现重大幻觉的概率比 GPT-4o 降低了44%

  • 推理模型巅峰对决: 在同为旗舰推理模型的比较中,GPT-5-thinking 在一段回复中出现重大幻觉的概率,更是比公认的顶尖模型 Claude 3 Opus 惊人地降低了78%

这意味着什么?一位Claude 3 Opus的重度用户在看到数据后直言:“我马上决定,捏着鼻子也要换用GPT-5-thinking了。”

他的理由非常充分。数据显示,Claude 3 Opus在一段回复中出现重大错误的概率超过20%——相当于每5段长回复,就有1段可能包含误导性的严重错误。而GPT-5-thinking将这个概率降至约5%,即约20段话里才可能出现1个重大错误

尽管GPT-5-thinking的响应速度可能比Opus稍慢,但为了获得如此巨大的可靠性提升,短暂的等待是完全值得的。

有趣的是,评测还包含了“每段回复中正确断言的数量”这一指标。数据显示,GPT-5-thinking(约7.2个)和Opus(约7.7个)几乎持平。这揭示了一个更深层的信息:Opus之所以能给出相似数量的正确信息,是因为它更“话痨”,输出的内容更多。相比之下,GPT-5-thinking则更像一个“谨言慎行”的专家,在保证信息量的同时,极大地提升了准确度。

行业警钟:真实世界的幻觉率,远比测试集残酷

更具深远意义的是,OpenAI此次不仅发布了结果,还公开了其创新的评测方法,这无疑给整个AI行业敲响了警钟。

他们是如何做到精准评估的?

  1. 打造“AI裁判”:使用一个具备联网功能的强大语言模型作为自动“打分器”,对被测模型的输出进行评估,精准识别“重大错误”、“轻微错误”和观点总数。

  2. 验证“裁判”水平:让人类专家与AI打分器做同样的评估工作。结果显示,两者吻合度高达75%。而在那25%不一致的案例中,经过复核发现,AI打分器甚至比人类专家发现了更多的、被忽略的事实性错误。这证明了AI裁判的可靠性与高标准。

  3. 使用“真实世界”考题:最关键的一步,是放弃了业界常用的“干净”测试集(如LongFact),转而使用从海量真实用户与GPT对话中采集、构建的全新测试集

这一对比,得出了一个惊人结论:在LongFact等标准测试集上,模型的幻觉率仅为千分之几。但在OpenAI的“真实世界”测试集上,幻觉率飙升至20%的量级。

这有力地证明了:现有的大部分行业标准测试集已经失效。 真实世界的用户提问、时效性信息、多语言混合、复杂的转述等情况,形成了一个“粗大而长尾”的难题分布,这是传统、干净的测试集根本无法覆盖的。OpenAI此举,无疑为行业设立了幻觉测试的新标杆。

国内如何第一时间用上更可靠的GPT-5?

面对GPT-5如此显著的性能提升,尤其是可靠性的飞跃,无论是开发者还是普通用户,都渴望第一时间体验。对于国内用户而言,一个高效、便捷的通道已经敞开。

在此,我们推荐小镜AI开放平台,它已在第一时间全面接入并支持GPT-5。

作为国内领先的多模型中继与管理平台,小镜AI为用户提供了“即插即用、智能调度、高性价比”的一站式体验:

  • ✅ 无需折腾:彻底免去复杂的API申请、不稳定的网络环境配置和繁琐的海外支付流程,即开即用。

  • ✅ 一站式体验:一个账号,即可在统一的界面中无缝体验、切换和对比GPT-5、Claude 3.5/Opus、Gemini 2.5等全球所有顶尖模型,找到最适合您业务的那一款。

  • ✅ 高性价比:平台提供比官方更灵活、更具成本效益的计费方案,无论是个人尝鲜还是企业级应用,都能找到最合适的部署方式,低门槛享受技术红利。

  • 地址:https://open.xiaojingai.com/register?aff=xeu4