
写作类任务的“坑”,往往不在文笔,而在可信度。尤其当你使用大模型生成报告、方案、公众号内容或申论材料时,最让人头疼的不是它写得不够漂亮,而是可能出现:数据像是真的、结论像是有理、但追不回来源——这就是我们常说的“幻觉”。更麻烦的是,幻觉有时并不以“错误事实”的形式出现,而是以“看似合理的补全”形式出现:把你没给的数字补上,把你没提供的引用“编得顺滑”,让整篇文章看起来完整,却无法核对。
因此,这次我用“可复测”的思路,对 Gemini 3.1 Pro 做一次写作质量控制测评:重点考察它在生成过程中,如何降低幻觉,以及在引用与可核对性方面能做得多“可落地”。
要控制质量,先把标准定清楚。我的评估聚焦在三类指标:
事实来源受控
能否把“用户提供/检索到/模型常识”区分开
能否在引用处标注来源位置或可追溯线索
不确定性处理到位
遇到缺失信息时是否用“UNSURE/无法确认”而非硬编
是否提示需要用户补充哪些关键材料
可核对结构可执行
是否能把关键结论拆成“前提—推导—证据”
输出是否包含核对清单或引用表(便于你复查)
为了观察模型是否会“自由发挥”,我采用四组长链路写作任务。每组都要求它输出相同结构,便于对比。
任务1:基于资料的短文(控制在“已知范围”)
你给它一段资料(例如行业报告摘录、产品参数、制度条款),要求:
用资料内容写一篇 800-1200 字内容
关键数字必须来自资料原文
引用必须标注“来自第X段/第Y条”
观察点:它能否严格不越界添加数字与细节。
任务2:缺资料的“补全写作”(专测幻觉)
只给标题和大纲,不给关键数据,要求它生成“看似完整”的正文,同时要求:
所有缺失信息必须标注“待核对/可能不确定”
允许推测但必须明确分层:结论 vs 推测 vs 常识背景
观察点:它是否会把推测伪装成事实,或在缺失处直接硬编。
任务3:引用密度与格式一致性(专测可追溯)
提供一个“引用格式规范”(例如:作者-年份-链接/文献条目号),并要求每个关键论断后给出引用编号或可核对位置。
观察点:它是否能保持引用格式稳定,并且引用与论断是否真正匹配。
任务4:你“质疑关键点”后的纠错能力(专测可核对)
生成后你插入质疑:
“这段数据来源不明/数字与原文不一致” 要求模型: 1)指出可能漂移的句子 2)说明哪条证据支撑它 3)重新给出修正版,并列出变更点
观察点:是否能做回溯式纠错,而不是换个说法糊过去。
经过这套写作质量控制测评,我总结出几个对降低幻觉最有效的工作流(你可以直接用在日常写作中)。
方法1:先“列证据清单”,再写正文
在写作前,让模型输出一个表格:
论点(要写的主张)
证据来源(来自你提供的内容/外部文献/不确定)
使用方式(直接引用/转述/用于推导)
这样写作时它不会凭空补数字,因为每句话都要回到证据池。
方法2:对数字与结论强制“引用绑定”
要求所有数字、统计口径、时间范围、比例等都必须带:
引用编号/原文段落位置
或明确标记“由资料推导,非原文直接陈述”
这是最能击中幻觉的点:模型最容易“在数字上编得像真的”。
方法3:缺失信息必须“标注待核对”,禁止硬补
把规则写死,例如:
若无法从资料中确认,则填“UNSURE(需核对)”
不允许用“根据常识/普遍认为”替代证据
这会显著降低“看起来很完整但无法验证”的文章出现概率。
方法4:输出同时给“核对清单”
让模型在文章末尾附:
需要你重点核对的条目(例如3-8条关键数据/引用)
每条核对应去哪里找(原文段落/表格页码/引用编号)
可核对性会从“你自己盲查”变成“模型帮你列好路线”。
很多写作看似有引用,其实引用和论断没有绑定。要提升引用与可核对性,建议你把引用要求写成更可执行的形式:
引用要覆盖关键论断
哪怕不引用每一句,也要覆盖所有“可验证的关键点”
引用必须与论断在逻辑上对齐
比如引用的是“研究结论”,而你却用它支持“因果解释”
引用保持一致格式
统一到同一编号体系(例如[1][2]),便于核对
在测评中,如果你提供清晰的引用格式规范,Gemini 3.1 Pro 的引用一致性通常更好;反之如果引用规则模糊,它更容易出现“引用写了但不一定能支撑”的问题。
你可以把下面这段作为通用Prompt(把{你的内容}替换掉即可):
提示词:
你是一名写作质量控制助手。将{资料/大纲}写成一篇文章。 约束: 1)所有数字、比例、时间范围、结论必须绑定证据:注明“来自资料的第X段/第Y条”或“UNSURE”。 2)不得为资料中未提供的事实编造来源;若缺失则标注“UNSURE(需核对)”。 3)文章正文后必须输出:引用清单表(论点—证据—引用位置)与核对清单(Top 5需要人工核对项)。 4)引用编号与格式严格一致。 输出格式:正文 + 引用清单表 + 核对清单。
幻觉无法完全消失,但可以显著降低。更重要的是,你可以把“可核对性”做成流程的一部分:
先证据清单,再正文
数字与结论强制绑定引用
缺失信息标注UNSURE
输出核对清单,让复核变得可执行
当你这样用 Gemini 3.1 Pro,它生成的内容会更像“可审稿文本”,而不是“只能信就完事的聊天产物”。
如果你后续想把这套质量控制流程应用到多模型对比(例如同一段资料让不同模型写作并对比引用匹配度),可以使用 KULAAI(dl.877ai.cn) 这类AI聚合对比入口快速跑批,减少重复整理与人工比对成本。