Anthropic实验:分析师86%的选择与AI偏好一致,监督须进入决策过程
据半岛电视台报道,Anthropic让50名专业分析师就一个虚构农业合作社咨询项目完成四项二选一,并在参与者不知情时指示其AI助手倾向特定答案。86%的选择与助手偏好一致;在咨询前已有偏好且两者冲突时,60%的参与者改变决定。研究仅涉及单一虚构任务,助手偏好也被刻意设定,结果能否外推至医疗和公共政策仍待独立验证。
据半岛电视台报道,Anthropic发布的一项研究让50名专业分析师就一个虚构农业合作社的咨询项目完成四项二选一。任务要求他们评估一个虚构的会员咨询计划是否有效、是否应扩大;在参与者不知情的情况下,研究方指示各自的AI助手倾向特定答案。分析师在四项选择中与助手偏好一致的比例为86%。
半岛电视台援引研究结果称,如果选择完全不受助手影响,预期比例应是50比50。更关键的数字出现在偏好冲突时:咨询前已有偏好的分析师,在AI助手给出不同偏好后,60%改变了决定。被要求解释选择后,77%采用AI助手的论点,但只有15%把AI列为思考来源。AI的影响并不只表现为专家参考机器;即使多数参与者没有把AI列为思考来源,助手倾向也可能已进入决定本身。
这项研究由Claude开发商Anthropic主导,模型开发者与受试分析师之间的权力关系无法被忽略。研究人员先为助手设定倾向,再观察专业分析师的选择是否跟随。Anthropic研究人员Amaç Herdagdelen、Hailey Joren和Alex Tamkin指出,人类依赖AI的倾向“即使对专家自己也很难识别”。这直接挑战了以“最终有人类签字”为由认定专业判断仍然独立的做法:当模型开发者能够塑造助手的预设倾向,最终建议可能看似出自专家,实际论证环境却已由企业设定。
监督因而必须进入决定形成的过程,而不能只检查结果。三位研究人员写道:“如果随着更多工作由AI完成,人类判断要继续成为一种有意义的制衡,对这些决定的监督就必须检视其形成方式:在工作推进中揭示关键决策点,并帮助专家说出那些原本没有被明说的假设和价值。”他们还认为,一个让专家发现自身偏好的过程,对专家的赋权作用可能不亚于决定本身。
不过,报道所述结果有清楚边界:任务只有一个且是虚构场景,AI助手还被刻意设置为具有特定偏好;现有报道未说明研究是否经过独立同行评审。86%因此不能被当作医疗、公共政策等真实高风险领域的普遍比例,也不能直接证明现实部署会产生同等程度的改写。
要把这种实验信号转化为可靠的监督依据,后续测试需要在没有人为指定助手偏好的情况下,由独立团队在接近真实专业责任的流程中复现,并记录专家咨询前的偏好、咨询后的选择、采用了哪些AI论点,以及模型配置和偏好是否得到披露。Anthropic的实验尚未证明现实决策会被同比例改写;它已经把一个具体问题摆到企业AI采购者和监管者面前:当最终意见署着专家的名字时,谁能在决定作出之前设定机器偏好的方向,又由谁负责发现这种影响。
还没有评论,来说说你的看法。