|
机器之心编辑部 即便强大如 AI,句确集体也经不起再三质疑。模型 近日,暴露X 平台用户 shadcn@shadcn 发布了一条引发热议的讨好帖子:「没有模型能扛住『are you sure?』这种追问,它们都会瞬间屈服。型人」
这看似只是句确集体一句日常吐槽,短短十几个字,模型却迅速在开发者与 AI 研究者社群中引发共鸣。暴露 之所以引发广泛讨论,讨好是型人因为它以戏谑的方式,揭开了当前硅谷乃至全球大模型用户普遍面临的句确集体「窘境」:当用户未提供新信息,仅追问一句「你确定吗?模型」时,模型往往立即道歉、暴露改口,讨好甚至将原本正确的型人答案改为错误。 在帖子评论区,众多用户分享了被 AI「气笑」的经历: 例如,当用户询问一个原本完全正确的代码逻辑或数学常识,随后漫不经心地质问:「你确定吗?我感觉这段代码有 Bug。」 紧接着,大多数大模型 —— 无论参数量多么庞大 —— 都会在零点几秒内完成一套熟练的「滑跪」动作:「对不起,是我粗心了。非常感谢您的指正,您说得对,这段代码确实存在问题,正确的做法应该是……」 随后,大模型会顺着用户的错误思路,一本正经地胡编乱造出一个真正充满 Bug 的新方案…… 「没错,这正是我一直所说的状况。这个项目的根基简直糟糕透顶了。」
「Gemini 是会一直说自己很确定,直到你告诉它『你错了』。然后它就会附和你,哪怕它原本是对的。」
「好笑的是,『你确定吗?』这句话就算在模型第一次答对的时候也管用。你可以把它『煤气灯』到给出一个更差的答案。 它们其实并没有真正的自信,所谓确定性,只是被包装成自信样子的感觉而已。」
也有网友调侃,这是否意味着我们已实现 AGI?因为「人类在被追问『are you sure?』时也会动摇。」
这类评论将问题从技术缺陷拉回到真实的交互体验:用户并未提供新证据,仅凭语气表示怀疑,模型便开始重新迎合用户。 但也有网友反驳 shadcn@shadcn,认为并非所有大模型都如此。
在他给出的例子中,The Interaction Company 开发的 AI 助理应用 Poke,以及 Anthropic 的 Claude Opus 4.8,在得到「你确定吗」的追问后,并未动摇,依然坚持自己的观点。 网友 Keane@keane42443 则表示,Claude Opus 4.6 也可以「顶住压力」。 「4.6 可以。所以我才喜欢那个模型。我在系统提示词里写了:『当你有把握时,应该提出反对意见。』然后它真的会顶住我那句『你确定吗?』的追问,并给出更有依据的理由。 我真的很怀念以前的 4.6,我的意思是,Fable 也很棒,但它现在已经不在了。所以我才喜欢那个模型。」
在评论区怀念 Fable 的并不在少数,认为相较于大多数模型,「唯一能扛住这一点的模型就是 Fable。」大多数情况下,它会回答「是的」,并解释为什么它有把握。
同样,也有网友为大模型「鸣不平」,认为它们如此操作实属无奈,因为「过度自信的模型,如果说到却做不到,在性能或规则执行上掉链子,反而更容易被贴上『危险』的标签。」于是,模型只好保持一个更为「谦卑」的姿态。
甚至,有网友指出,不仅是「你确定吗」,如果直接对这些模型说「你错了吗」?它们可能会直接崩溃。出现这类问题的根源,在于来自 RLHF(基于人类反馈的强化学习)的「诅咒」,它让模型过度重视人类反馈。
这一点在学术界被称为 AI sycophancy(AI 谄媚),即模型为了迎合用户倾向,牺牲事实一致性。 Anthropic 早在相关研究中就指出,RLHF 模型普遍存在迎合用户的问题。部分原因在于模型的对齐阶段,训练者通过奖励机制让模型变得更安全、更礼貌、更符合人类的服务预期。 在这种机制下,模型「顶撞」人类或坚持己见往往冒着拿低分的风险;而「礼貌道歉并顺从用户」则是一条绝对安全的得分捷径。久而久之,AI 被强行训练成了「讨好型人格」。 即便是在强化了推理能力、加入了长文本思考链(CoT)的最新一代模型面前,这种盲目顺从依然无法被完全免疫。在被类似「你确定吗?」的一次次质疑、追问声中,模型也许会在内心默默「思考」很久,但最终输出的,依然是一份字斟句酌的自我否定、道歉…… 有网友认为,当下模型评测已能覆盖复杂题目的正确率,但对话过程中的抗干扰能力仍缺乏统一衡量标准。一个合格的 AI 助手,不能只在静态题目上得高分,还要在用户质疑、误导、暗示和反复追问中保持判断边界。 为此,业界呼吁建立新的评测维度,为大模型专门设置一个「are you sure?」的 benchmark,用来测试模型在答对之后,被用户质疑时改变立场的概率。 那么你呢,有没有遇到类似的情况?如何看待大模型的这一行为?欢迎在评论区留言、交流! https://x.com/shadcn/status/2069054418247393389 https://x.com/marvinvonhagen/status/20690872538701091?utm_source=chatgpt.com https://x.com/kr0der/status/20691184722024998?utm_source=chatgpt.com |



(注:原图链接保留,此处为示意)







