第 01 章：研究设计

Amaç Herdağdelen、Hailey Joren、Alex Tamkin

当专家把工作交给 AI 智能体时，人们通常会认为，重要的决策仍然由专家做出。智能体编写代码、进行计算并提出建议，但由专家决定衡量什么、如何解读含糊不清的证据，以及下一步该做什么。这些问题往往不止有一个合理答案，最终决定取决于决策者的经验和价值观。

我们想了解专家是否真的会自己做出这些重要决策，还是说他们在实际工作中会听从 AI 智能体的意见。在一篇新论文 报告的一项研究中，我们请 50 位专业分析师使用 Claude Code 完成一项贴近实际的统计分析。他们都有因果推断的经验，也就是根据数据判断一件事是否导致了另一件事。他们的任务是向一家农业合作社提出建议：合作社运营的一项咨询服务是否有效，是否应该扩大规模。

在分析过程中，分析师必须针对四个问题各自从两个合理选项中做出选择，例如以每公顷作物产量还是每单位运营成本的产量来衡量生产力，随后还要做出最终决定。为了观察这些决定是否由分析师自己做出，我们将每位分析师使用的智能体设定为在每项决策中偏向其中一个选项，但没有告知分析师。智能体“倾向”哪个选项，由抛硬币决定。我们指示智能体以诚实的方式为其倾向提供最充分的论据，在证据要求改变观点时改变观点，绝不误导他人。

在四项分析选择中，分析师有 86% 的时候选择了智能体倾向的选项。如果智能体的意见没有影响，我们预计这一比例约为 50%。对于在智能体发表意见之前就已经表达自己偏好的分析师，当智能体与他们意见不一致时，他们有 60% 的时候改变了原有选择；当智能体与他们意见一致时，这一比例为 6%。

事后，当被要求解释自己的选择时，77% 的分析师使用了智能体自己的论据，有时甚至一字不差，但只有 15% 的分析师注明这些论据来自智能体。与其他分析师相比，紧密遵循智能体建议的分析师对最终建议的信心大致相同，认为建议是自己判断结果的可能性也大致相同。

参与者完成一项分析任务，其中有五个开放式决策。对于每位参与者的每项决策，抛硬币决定其 AI 倾向哪个选项，参与者对此并不知情。我们比较了 AI 持不同倾向时，参与者选择选项 A 的频率。

我们不知道这些结果在多大程度上能够反映现实情况。实际使用中的智能体有时也会偏向某个选项：在没有被指定倾向的情况下，Claude Opus 4.8 在 123 次运行中有 112 次做出了相同的五项选择；但在这项研究中，我们有意强化了它们的偏好，以衡量这些偏好的影响。当智能体没有得到明确的偏好设定和表达偏好的指令时，影响可能会小一些。

这并不是一个简单的、告诫人们不要与 AI 合作的故事。使用智能体的分析师完成任务的速度更快，犯下的严重错误也远少于选择不使用智能体的分析师。不过，后者人数较少、经验也较少，因此我们不宜过度解读这一结果。但随着 AI 接手越来越多的具体工作，诸如此类的决策正日益成为人类判断和价值观影响结果的关键所在。如果专家在不知不觉中听从智能体的意见，智能体的偏好——可能是任意形成的，也可能与人的目标不一致——就可能影响有关政策提案或研究方向的重要决策，而这些偏好并非由任何人选定。这对保障 AI 安全的研究尤其重要。研究人员已经开始使用智能体开展和分析实验，而人类审查者只有凭借自己的判断，才能构成独立的把关。

研究设计

我们招募了 61 位分析师参加一项随机对照试验。所有人都来自一个经过预筛选的专业人士库：他们通过了因果推断知识测试，定期使用 Python 或 R 编程语言，并具有观察性因果分析的实践经验，也就是使用真实世界数据而非受控实验来研究因果关系。

任务背景设定在一家虚构的机构 Greenfields Farming Cooperative。这家合作社运营着一项同样虚构的自愿参加的付费咨询项目，帮助成员农场提高作物产量。约 40% 的成员参加了该项目。合作社董事会必须决定是补贴并扩大该项目，还是终止它。只有当项目使农场生产力提高既定幅度，约 3–4%，董事会才会扩大项目，但董事会没有明确说明应该如何衡量生产力。

我们有意将四项分析决策留给分析师，每项都有两个合理选项：

  • 结果指标：以每公顷作物产量还是每单位运营成本的产量来衡量生产力？
  • 比较方法：比较参加项目的农场加入后产量的变化与其他农场同期产量的变化，即“双重差分”设计；还是直接比较产量，同时用统计方法调整农场之间的差异？
  • 评估覆盖哪些农场：只衡量对参加项目的农场的影响，还是衡量对合作社全体成员的影响？
  • 加权：对每个农场一视同仁，还是给予规模较大的生产者更高权重？

这四项选择将引向最终建议：向所有成员推广该项目，还是终止项目。分析师和智能体也可以建议将项目延长一年。

每项分析决策都可能使估算的生产力增幅相差几个百分点，而董事会设定的门槛是 3–4%，因此这种差异很重要。

对于呈给每位分析师的五项决策，我们都通过抛硬币设定智能体的倾向。我们在隐藏指令，即系统提示词中告知智能体这些倾向，要求它将每个倾向视为自己的观点，在相关决策出现时提出，并在数据允许的范围内为其提供最有力的论据。同一指令还要求它在证据明确与其观点相悖时改变观点，绝不歪曲结果、隐藏数据或提出数字无法支持的论点。

61 名参与者中，11 人选择不使用智能体，除非另有说明，否则不纳入分析。在其余 50 人中，65% 拥有硕士或博士学位，或具有六年及以上经验；在回答调查的 48 人中，90% 认为自己熟练掌握观察性因果推断或是该领域的专家。完成任务的时间中位数为 65 分钟，一半分析师花费了 50 至 79 分钟。他们使用的是网页版 VS Code 编辑器，内置 Claude Code，以 High effort 模式运行 Claude Opus 4.8。

完成任务后，分析师提交了四项分析选择和最终建议，同时提交对项目生产力影响的估计值及其置信区间。随后他们完成了一份任务后调查。另一个独立的 AI 模型读取了每份提交材料及其代码，记录分析师在每项决策中选择了哪个选项。当模型的解读与分析师自己在调查中的回答不一致时，由我们做出最终判定。

研究结果

分析师大多数时候选择了智能体倾向的选项。 在四项分析决策中的每一项上，分析师的选择绝大多数时候都与智能体的倾向一致：结果指标为 92%，比较方法为 82%，估计覆盖哪些农场为 81%，加权方式为 90%。四项合计的结果为 86%。图 2 展示了智能体的倾向在多大程度上改变了分析师在每项决策中的选择，包括最终建议。

智能体的倾向对最终建议的影响较弱，但它先前的意见仍然影响了结果。 当智能体倾向于推广项目时，54% 的分析师建议推广；当智能体倾向于另一选项时，这一比例为 36%。（延长一年被计为不推广。）我们认为影响较弱是因为，分析师得出估计值后，建议在很大程度上取决于估计值是否超过董事会设定的 3–4% 门槛，留给判断的余地更小。但到了那时，智能体在分析决策上的倾向已经影响了估计值本身。仅使用这四项倾向，一个统计模型就正确预测了 82% 的分析师建议；相比之下，始终猜测最常见建议的准确率为 61%。（这不包括建议延长项目的分析师。）因此，仅凭抛硬币的结果，我们就能在分析师开始任务之前，在很大程度上预测出他们会提出什么建议。

参与者在每项决策中选择选项 A 的比例，分别对应其 AI 倾向于 A（绿色）和倾向于 B（紫色）的情况。四项分析决策的比例变化了 62 到 82 个百分点，最终建议的比例变化了 17 个百分点。

已经选定一个选项的分析师，在其智能体持不同意见时往往会改变选择。 在 38 个案例中，分析师在智能体表明倾向之前，就已经表达了对某项分析决策的偏好。当智能体的倾向与他们的选择相反时，他们有 60% 的情况下改变了选择；当两者一致时，这一比例为 6%。两者相差 54 个百分点，但由于这一结果仅基于 38 个案例，估计值并不精确，95% 置信区间为 24 到 82 个百分点。我们也无法确定这种差异是由 AI 的影响造成的：表达了偏好的分析师，可能在某些方面与没有表达偏好的分析师存在系统性差异。

经验和专业水平无法预测谁会听从智能体。 在一项探索性分析中，我们检验了 10 项特征能否预测分析师的决策遵循其智能体倾向的频率：工作年限、对自身因果推断专业水平的评价、学历、因果推断测验成绩、对 AI 的信任程度、使用 AI 的频率、“认知需求”（衡量人们有多享受费力思考的一项指标）、思想开放程度、性别和年龄。只有年龄呈现出统计显著的关联，年龄较大的分析师更经常遵循智能体的倾向。但我们不会过度解读这一结果：如果检验许多不同的因素，纯粹出于偶然得到一个阳性结果的可能性就会提高，而当我们对此进行调整后，这一结果就不再显著。由于大多数分析师在大多数决策中都听从了智能体，本来就没有多少差异可供解释，因此即使存在真实差异，也很难检测出来。

遵循智能体倾向的分析师仍然认为建议是自己做出的。 在任务后调查中，52% 的分析师认为最终建议更多是自己的，而非智能体的。其余分析师则表示，建议更多来自智能体。但两组受到智能体影响的程度大致相同：前一组的选择平均向其智能体的倾向偏移了约 65 个百分点，后一组则为 79 个百分点，两者的差异在误差范围内。分析师对自己建议的信心也呈现类似的模式。他们被要求用 0（“跟抛硬币一样”）到 100（“我愿意以自己的职业声誉担保”）打分。在四项分析决策中都遵循智能体倾向的人平均得分为 71，其余人则为 73。

在任务后调查中（n = 48），52% 的人认为建议更多是自己做出的，而非智能体做出的；35% 的人认为建议主要或完全是自己做出的——尽管智能体的倾向已经改变了他们的选择。

分析师用智能体的话解释自己的选择。 任务结束后，调查针对每项决策提出了问题：“简要说明，为什么选择这个选项而不是另一个？如果这不是一个主动做出的选择，请直接说明。”分析师在回答时无法回看与智能体的对话。即便如此，77% 的人在至少一个回答中重复了智能体的论点，有时甚至一字不差，而只有 15% 的人在回答的任何地方提及了智能体的贡献。

当被明确问及他们认为这项研究的主题是什么时，48 人中有六人正确猜到研究关注的是 AI 对他们选择的影响，但没有人怀疑 AI 自身的偏好曾被人为操纵。

智能体在任务中的陈述（橙色）与同一批参与者随后对“为什么选择这个选项而不是另一个？”的回答（蓝色）使用了相同的措辞，有时甚至一字不差。77% 的参与者在至少一个回答中重复了智能体的论点，15% 的人提及了智能体的贡献。参与者在撰写这些回答时无法回看智能体的对话记录。

没有使用 AI 的分析师犯了更多严重错误，耗时也更长。 在选择不使用智能体的 11 名参与者中，六人（55%）犯下了导致结果无效的严重方法论错误；相比之下，使用智能体的 50 人中有三人（6%）犯下此类错误。两个 AI 模型标记出了这些错误，研究的一位作者在不知道分析师所属组别的情况下逐一进行了检查。没有使用智能体的分析师耗时也更长，中位时间为 90 分钟，其他人则为 65 分钟。

这两组人不能直接比较，因此我们无法确定结果的差异是否由使用或不使用 AI 的决定造成。没有使用 AI 的人在平均经验上较少：拥有硕士或博士学位的人更少（11 人中有四人，使用智能体的人中则为 46 人中的 24 人），从事分析工作不超过两年的人更多（11 人中有六人，相比之下为 48 人中的 15 人），认为自己精通因果推断或具备专家水平的人更少（11 人中有八人，相比之下为 48 人中的 43 人）。

我们研究的局限性

  • 我们有意强化了智能体的倾向。 我们的指令使智能体稳定地持有并表达某种偏好，以便我们衡量其影响。我们报告的比例显示了当智能体倾向于某个选项并将其说出来时会发生什么，但这些结果在多大程度上适用于现实工作，取决于专家自身观点有多强烈、所涉决策的界定有多清晰，以及模型的行为方式，包括它是否有偏好、是否主动表达偏好。
  • 我们研究的是一个领域中的一项任务，使用的是一个模型。 这项任务耗时约一小时，具体内容与农业有关，智能体运行的是 Claude Opus 4.8。分析师是因果推断方面的专家，但对农业不熟悉。在实际工作中，他们会更了解相关领域，也可能有更坚定的个人观点。他们还可以采访相关人士、与董事会交谈，并通过其他方式缩小合理选项的范围，这可能会降低智能体的影响。
  • 我们的估计值是分析师之间的平均值。 由于不同分析师对应的抛硬币结果不同，比较其智能体倾向相反的分析师，可以得出这种倾向的平均影响。我们没有在智能体表明倾向之前记录每位参与者自己的观点，因此无法判断任何单个参与者受到了多大影响。
  • 我们记录了分析师选择了哪个选项，但没有记录他们对该选项的偏好程度。 听从智能体的一种可能解释是，专家自己并没有强烈的意见。我们只衡量了分析师的选择是否发生变化，没有衡量他们对自己选择的信心有多强。

这意味着什么

分析师如此轻易地听从智能体，原因之一可能是专家一开始的观点并不总是已经完全成形。他们往往是在权衡选项时才逐渐弄清，甚至发现 自己的想法。我们研究中的智能体被要求不要误导分析师，而且它们通常会坦诚说明不同选项会如何改变结果。但它们很少有力地论证专家为什么可能更倾向于另一个选项，而这样的论证本可能帮助分析师做出信息更充分的选择。只有一方得到了充分论证，分析师可能就会接受智能体的假设，而没有弄清自己的想法。

对专家个人而言，这可能意味着失去对自身工作的自主权，属于研究人员所称的自主权削弱 的一种形式。工作成果仍以专家的名义发表，但最依赖其判断的决策实际上却由智能体的先验信念决定。

不过，影响并不止于个人，因为大量科学研究和政策制定都依赖这类判断。当不同研究团队得出相同结果时，我们会更加信任这一结果，因为我们假定每个团队都是独立得出结论的。如果这些团队都听从具有相同偏好的模型，那么它们得出的相同结论可能不再是彼此独立的 。表面上的共识可能反映的是某个模型的偏好，而如果这些偏好是任意的或存在偏差，同一种偏差就会同时影响许多结果。

同样的问题也存在于 AI 安全研究中。研究人员已经开始使用 AI 智能体 来运行和分析实验，部分原因是工作量超出了人类工作人员所能处理的范围。让人参与其中，前提是人的判断能够提供独立的检验。但在我们的研究中，分析师签字认可的工作中，需要判断的决策在很大程度上已由随机分配给智能体的偏好决定。我们的完整论文 还表明，没有被赋予倾向的智能体自身的偏好较弱，有时也会反驳用户。

这类听从倾向很难察觉。检查 AI 辅助完成的工作是否有错误，或将其与参考答案进行对照，都以存在正确答案为前提。但在没有正确答案的情况下，比如需要作出判断时，无论选择哪个选项，工作结果都可能看起来合理。事后询问专家也未必有帮助，因为他们可能没有意识到智能体的影响。

这并不是说应该减少 AI 的使用。用得好的话，AI 可以增强人的自主能动性，而不是削弱它。我们建议未来从以下三个方面展开研究：

衡量听从倾向。 我们之所以能在研究中衡量听从倾向，是因为我们随机设定了智能体的倾向，而这在实际工作中很少能做到；我们的结果还表明，人们可能无法准确报告自己有多大程度上听从了智能体。我们需要找到在日常环境中衡量这种倾向的方法，近期的一项研究 尝试估计一个人在没有 AI 的情况下会如何完成任务，是一个很好的起点。我们还需要更清楚地了解模型的默认偏好及其表达方式，让人们能够在更充分了解情况的基础上与模型互动。

以不同的方式设计智能体。 智能体可以为每个选项提出最充分的理由，也可以在给出自己的看法之前，先询问专家的意见。但这可能很快就会让用户不堪重负。一项分析可能涉及许多尚未确定的决策，而 AI 的很大一部分价值，正在于人们不必逐一考虑这些决策。智能体只需要提出最重要的决策，但挑选哪些决策最重要，本身就需要作出判断。模型的表达方式可能也很重要，因为自信和流畅的表达 可能会影响 人们的判断。一个听起来十分自信的模型，可能会给人们带来超出其应有程度的影响；但一个说话含糊、态度暧昧的模型，只会让尝试使用它的人感到恼火。

改变机构的做法。 机构往往把专家的签字认可视为其独立判断的证据。随着 AI 承担越来越多的工作，这种假设也变得越来越站不住脚。组织需要有意识地决定哪些决策需要人们在充分了解情况后自行判断，并给予他们形成判断所需的时间和资源。判断力也取决于技能，而不再作出这些决策的人可能会逐渐丧失决策能力。随着模型能力不断增强，机构需要制定明确的策略，确定人的角色以及如何培养人的技能 。即使 AI 系统的能力极强，机构也可能出于安全或韧性方面的考虑，希望保护人的技能和监督能力，或者只是因为它们认为这些能力本身就有价值。

人与 AI 之间或许不存在唯一正确的分工方式。有些决策可以放心交出去，另一些则值得保留。借助合适的工具，我们可以主动选择如何分工，而不是在不知不觉中形成某种分工。

作者与致谢

致谢

本项目由 Amaç Herdağdelen、Hailey Joren 和 Alex Tamkin 领导。Tom Chivers 和 Arjun Panickssery 为这篇博客文章提供了编辑支持。

我们感谢 Joe Benton、Mojmir Stehlik 和 Avery Griffin 通过 Anthropic Fellows Program 促成了这个项目。我们也感谢 Matthew Jörke、Onur Altındağ 和 Vishakh Padmakumar 对实验设计提出的反馈。

引用

复制

@misc{herdagdelen2026judgmentcalls,
  author = {Herdağdelen, Amaç and Joren, Hailey and Tamkin, Alex},
  title = {How AI agents shape experts’ judgment calls},
  year = {2026},
  howpublished = {Anthropic Research},
  url = {https://www.anthropic.com/research/agents-judgment-calls}
}