入选理由抽查三条会改变决策的论断,回原文核对人群、日期与数字口径,再按有支持、夸大、不支持、被反驳、无法核实五类标注。
当引用来源确实存在时,你如何核实 AI 给出的引注
How do you verify AI citations when the sources are real?
一个能打开的引用链接只回答一个问题:这个页面存在吗?要核实 AI 给出的答案,你还需要确认来源是否支持那条具体说法,以及它对你做决策来说是不是可靠证据。
举个具体例子。一篇 2026 月的预印本论文(https://arxiv.org/html/2605.06635v1)评测了 14 个模型,并把「链接能打开」和「事实有支撑」分开测量。它发现前沿模型给出能打开的链接的比例超过 94%,但这并不意味着它们的答案准确率超过 94%。这就是一个误导性结论的例子,而不是 AI 回答里的原话。
这项研究用的是经过人工校准的自动评判器。它的结果只适用于这套设置,并不适用于 ChatGPT、Claude 或 Gemini 当前的所有版本。
一个实用的办法,用来核查 AI 给出的研究答案:
- 挑出三条会改变你买什么、推荐什么或做什么的说法。优先看数字、对比,以及声称某件事是必须做还是允许做的说法。
- 打开原始来源。找到支撑该说法的段落,再读它前后的文字。核对统计人群、日期、产品版本,以及这个数字实际衡量的到底是什么。
- 给每条说法打上标签:有来源支持、夸大、该来源不支持、与来源相矛盾,或无法核实。后三种不能混为一谈。来源没有证实某条说法,并不等于它就否定了这条说法。
比如,一项基准测试的结果,并不能说明哪个工具最适合你的工作。一项要求披露的政策,本身也不等于授予了许可。这两种错误都可能带着完全真实的链接。
这条提示词可以把核查工作组织起来:
把这三条说法逐条对照所引来源核查。每一条都要返回原说法、一段简短的支撑段落、该段落的位置,以及核查结论。只使用你实际检索到的文本或我提供的文本。不要凭记忆重构引文,也不要悄悄换成另一个来源。如果你拿不到证据,就标注为无法核实。
然后你自己去打开来源逐一比对。让 AI 去核查另一个 AI,它照样可能重复同一个错误。三项核查只是初步筛查,并不等于把整份报告都核实过了;而对一个薄弱来源做出忠实准确的摘要,那依然是薄弱的证据。
你有没有遇到过 AI 给出的答案引用了一个真实来源,但这个来源其实并不支持它的说法?把那个说法和相关的段落或链接发出来,如果知道的话,也请附上所用工具和日期。你是怎么看出问题的?
披露:AI 协助了本次研究与写作。这是一套提议的核查流程,并非对个人工具测试的报告。