一个能打开的引用链接只回答一个问题:这个页面存在吗?要核实 AI 给出的答案,你还需要确认来源是否支持那条具体说法,以及它对你做决策来说是不是可靠证据。

举个具体例子。一篇 2026 月的预印本论文(https://arxiv.org/html/2605.06635v1)评测了 14 个模型,并把「链接能打开」和「事实有支撑」分开测量。它发现前沿模型给出能打开的链接的比例超过 94%,但这并不意味着它们的答案准确率超过 94%。这就是一个误导性结论的例子,而不是 AI 回答里的原话。

这项研究用的是经过人工校准的自动评判器。它的结果只适用于这套设置,并不适用于 ChatGPT、Claude 或 Gemini 当前的所有版本。

一个实用的办法,用来核查 AI 给出的研究答案:

  1. 挑出三条会改变你买什么、推荐什么或做什么的说法。优先看数字、对比,以及声称某件事是必须做还是允许做的说法。
  2. 打开原始来源。找到支撑该说法的段落,再读它前后的文字。核对统计人群、日期、产品版本,以及这个数字实际衡量的到底是什么。
  3. 给每条说法打上标签:有来源支持、夸大、该来源不支持、与来源相矛盾,或无法核实。后三种不能混为一谈。来源没有证实某条说法,并不等于它就否定了这条说法。

比如,一项基准测试的结果,并不能说明哪个工具最适合你的工作。一项要求披露的政策,本身也不等于授予了许可。这两种错误都可能带着完全真实的链接。

这条提示词可以把核查工作组织起来:

把这三条说法逐条对照所引来源核查。每一条都要返回原说法、一段简短的支撑段落、该段落的位置,以及核查结论。只使用你实际检索到的文本或我提供的文本。不要凭记忆重构引文,也不要悄悄换成另一个来源。如果你拿不到证据,就标注为无法核实。

然后你自己去打开来源逐一比对。让 AI 去核查另一个 AI,它照样可能重复同一个错误。三项核查只是初步筛查,并不等于把整份报告都核实过了;而对一个薄弱来源做出忠实准确的摘要,那依然是薄弱的证据。

牛津现行的指引(https://libguides.bodleian.ox.ac.uk/ai-for-literature-searching/evaluating-ai-references)也做了同样有用的区分:找到真实存在的参考文献是一回事,核实它到底支持什么又是另一回事。

你有没有遇到过 AI 给出的答案引用了一个真实来源,但这个来源其实并不支持它的说法?把那个说法和相关的段落或链接发出来,如果知道的话,也请附上所用工具和日期。你是怎么看出问题的?

披露:AI 协助了本次研究与写作。这是一套提议的核查流程,并非对个人工具测试的报告。