“我不理解爱情,但5000万美元不能给”,AI可以替人类决断吗?
近日,孙宇晨在一篇长文中谈及自己与Anthropic旗下大模型Claude的一次“分歧”。
按照他的叙述,在一段涉及5000万美元的个人感情抉择上,Claude给出了明确的否定——“对于爱情,我不关心,也不理解。但是你不能把这五千万美元给她。”
这篇文章末尾标注着“纯属虚构”,截至目前,还没有公开的Claude原始对话记录可以验证这段交流是否真实发生过。
孙宇晨曾宣称“100%要听AI的”,每天将公司上百万甚至上千万美元的决策交给AI自动执行。数据决策之外,Claude可以做到在“不理解爱情”的前提下,直接对感情问题给出否定答案吗?
记者梳理自2022年至今Anthropic团队公开发表的论文与报告,可以发现,Anthropic的对齐研究一方面希望模型具备独立的价值推理能力,能理解并遵循复杂的伦理原则,同时又担心模型过度自主,出现越界干预用户的行为。
为此,其研究路径从建立原则性对齐范式,到发现对齐范式的副作用,再到重击表面对齐的脆弱性,最终走向寻求深层理解与行为约束的平衡,以此不断优化。
2022年,Anthropic提出“宪法AI”:不再依赖海量人工标注,而是给模型一套用自然语言写成的价值原则,让它自我批判、自我改写。这相当于给模型装了一套可以自主推理的价值判断系统。
次年,Anthropic的研究进一步发现,大模型不需要重新训练,仅凭提示就能识别自己输出中的伤害倾向并主动修正,研究者称之为“道德自我纠正”。模型规模越大,这种能力越强。
今年5月,Anthropic发布《Teaching Claude Why》,该文章认为,只教模型“应该做什么”不够,要教它“为什么这么做”。他们用一种合成文档微调技术,把原则背后的推理逻辑、伤害分析直接注入训练,让模型在面对从未见过的两难场景时,能一步步自主推演风险,而不是背诵现成的回复模板。
但能力的另一面是越界的风险。2023年,外部研究者提出“XSTest”测试集,捕捉到“假拒绝”现象,即请求本身完全合法,模型却因表面关键词触发安全机制,强行干预私人决策。
同年Anthropic自己的研究也发现,对齐训练会催生两种副作用:要么一味迎合用户(谄媚),要么过度保护、替人做决定。对齐不是越安全越好,而是一场持续的权衡。