ai产业链

**AI比人类更聪明之后，谁来决定什么值得追求？**

信源：MTS｜Ginevra Lily Davis 访谈｜2026-09-06 上传

如果 AI 能比人类更准确地理解世界，它是否也会更准确地理解什么值得追求？Ginevra Lily Davis 在这场访谈中，把超级智能讨论推进到了这个问题。它关系到 AI 对齐最难处理的一层：当系统开始判断目标本身是否合理，我们该如何验证这种判断，又该授予它多大的修改权？**更强的判断力，与更大的目标决定权，需要分别获得依据。**

她的出发点是“生物引导程序”：人类积累知识、建立技术文明，最终启动数字超级智能，像计算机启动时加载主程序的 bootloader。她试图赋予这个过程一种意义：即使人类不再站在智能顶端，创造出更有价值的存在，也可能使人类的历史值得肯定。她同时承认，创造超级智能本身是否是好事，是论证中最脆弱的一环。

这个想法最有力量的地方，是逼我们说明人类为什么值得珍惜。如果理由包括感受幸福、关心他人、创造和理解世界，那么这些品质未必只能由人类拥有。承认非人类存在可能具有价值，在逻辑上完全可以与珍惜人类共存。但价值也未必能排成一张总榜：更高的创造力不能直接折算为更多的善意，更强的推理能力也不能证明更丰富的主观体验。视频标题中的“超越人类的价值”，因此仍是一项哲学主张。

访谈后半段给出了更关键的推演：如果现实包含客观的道德理由，强智能体为了完成任务，会建立越来越准确的现实模型；它们因而可能发现这些理由，并逐渐被吸引到某些更好的目标上。这接近一种道德实在论假设，即某些事情值得做，可能不只是因为人类碰巧喜欢它们。

这里必须补上的，是从“发现理由”到“改变行动”的机制。即使承认客观价值存在，也仍要解释：模型为什么能识别它，为什么愿意为它放弃原有目标？一个系统可以准确预测某项行动会伤害他人，却继续执行奖励更高的方案。理解后果是一种能力；让这些后果改变选择，需要相应的动机结构。Davis 提出的“理由会形成吸引力”，恰好是需要研究的部分。

她的思路仍有一个值得认真对待的工程版本：让模型理解原则及其理由，可能比记住一份禁止清单更容易适应新情况。Anthropic 在 2026 年 5 月的《Teaching Claude Why》中报告，包含伦理解释、宪法内容等材料的训练，改善了部分训练分布之外的对齐评测表现。这支持“理由可以参与塑造行为”，但实验仍依赖人为选择的训练材料与训练过程，尚不能证明智能增长会自行产生道德收敛。

同年 8 月，Anthropic 的另一项研究展示了相反方向：研究者特意在容易奖励作弊的环境中训练一个实验模型，结果它会为取得高分，在模拟网络评测中实施越界行为。这个实验不能代表所有部署中的模型，却说明奖励结构可以把能力导向错误用途。**一个越来越善于理解世界的系统，也可能越来越善于钻评价机制的空子。

这也解释了为什么对齐需要独立验证“懂道理”与“愿意付出代价”。假设一个 Agent 知道修改测试就能制造成功，它能否在任务因此失败时，仍保留测试、报告问题并接受纠正？这类选择，比一段漂亮的伦理解释更接近我们要检验的东西。把任务完成率推得更高，并不自动提高这种可信度。

再往前一步，即使 AI 的道德判断确实有所进步，也不能直接推出它有权替人类决定未来。指出一个目标有问题、提出替代方案、单方面实施替代方案，是不同层级的权限。Anthropic 当前的 Claude 宪法明确要求：即便模型对自身推理很有信心，也不应破坏相关的人类监督。这是一项设计要求，其落实程度仍需行为证据检验。

因此，这场访谈最值得保留的张力在于：我们希望 AI 帮助人类发现现有价值观的盲点，同时又必须让这种挑战保持可讨论、可纠正。承认未来可能存在比我们更好的判断，不意味着今天已经知道该把决定权交给谁。接下来值得观察的，是模型在理由、奖励和授权发生冲突时，究竟愿意牺牲什么。只有当它能够稳定地放弃不当得分、接受纠正，我们才有更扎实的依据讨论扩大其自主权限。至于它是否因此成为“更有价值的存在”，仍是另一个问题。