ai产业链
Vals AI：当智能开始按工作计价，评测就成了基础设施
信源：《Inside the Race to Measure Frontier Intelligence》访谈，2026-09-10
一家 AI 评测公司给工程师开放了一个月的免费高额度模型访问，随后算了一笔账：按 token 使用量折价，约值150万美元，相当于同期员工薪资的十倍。这是 Vals AI 的 Ryan 在访谈中讲述的内部实验。150万美元属于事后估算，并非实际支付的账单；但它暴露的问题很具体：当调用智能几乎没有预算约束，组织很容易扩大使用，却未必知道哪些消耗换来了有效产出。
这也是整场访谈最值得抓住的变化。AI 开始承担完整工作后，企业需要测量的东西从答题正确率扩展到了交付质量、耗时、成本与人工接管。评测因此进入了经营决策：什么工作值得交给 AI，用哪个模型，投入多少计算，何时应该停止尝试。智能供给越丰富，辨认有效产出的能力就越值钱。
过去的公开榜单主要帮助行业识别模型进步。Ryan 回忆，Llama 4 在公开基准上的表现与 Vals 私有测试出现明显落差。这是受访者对其测试结果的描述，不能单凭这种落差认定模型开发者作弊；任务分布、运行设置和数据污染都可能影响结果。但它说明，同一组公开题目被长期用于优化后，分数对陌生任务的解释力需要重新验证。实验室投入巨资训练模型，也需要可信的外部证据，让客户愿意为进步付费。
然而，把公开试卷换成保密试卷，只解决了部分问题。更深的难点是，工作本身经常没有现成的评分标准。Ryan 举了律师事务所的例子：普通律师与合伙人的差异，不能靠一套知识问答完整表达。后者可能更擅长识别客户没有说清的目标、决定哪些问题值得追究，以及在信息不完整时承担判断责任。企业若无法说明什么结果算合格，采购更强模型也很难建立稳定的验收机制。
因此，评测的第一步往往是把组织经验写清楚。哪些要求必须满足，哪些错误可以接受，哪些情形必须升级给人处理，需要从资深员工的判断中提取出来。这会改变 AI 应用的瓶颈：部分工作已经具备自动执行的条件，却仍缺少可操作的验收标准。模型能力进步与企业采用速度之间的落差，有一部分就发生在这里。
Vals Smith 提供了一个具体切口。根据官方方法，它从企业代码库里寻找已经合并、行为清晰且可以测试的代码修改，将其还原成任务描述、修改前的仓库和隐藏测试。测试必须在原始修复前失败、修复后通过；接受评测的模型看不到原始答案，只有完成任务且不破坏既有行为，才算成功。这让企业可以直接检验候选模型对自身项目的适用性。
其中更有潜力的资产，是企业积累的工作历史。代码修改、返工记录和验收意见，既记录了做过什么，也隐含了组织如何判断好坏。经过整理，它们可以成为采购和部署 AI 的依据。向法律、财务等领域延伸时，难度会提高，因为许多成果没有自动化测试；专家审阅和真实后果反馈仍然重要。历史工作也不能直接等同于正确答案，否则评测会把旧流程的缺点一并固化。
任务复杂化，还会改变评测的工程形态。访谈提到，部分 Agent 测试持续数小时、数天，甚至数周，需要稳定运行、保留状态，并在请求失败后从中断处恢复。被测对象由此包含模型、工具、上下文管理和执行环境。若同一模型换一套运行框架就表现不同，只报模型名称便不足以解释结果；重试与恢复方式同样需要记录，否则基础设施差异会混入能力分数。
Ryan 还指出一个容易被忽略的趋势：任务越来越复杂，样本数量可能减少，但每个任务的验收条件越来越多。识别一张图片可以对应一个标签，交付一个完整网站却需要同时检查功能、数据处理与交互行为。由此产生的新难题是，很多检查项可能属于同一个任务，并不构成同样多的独立样本。即使单项平均分很高，少数关键条件失败仍足以让整个交付不可用。企业需要同时观察细项表现和完整任务成功率。
这也解释了为什么按 token 单价选择模型容易失算。Ryan 表示，在他们的一些测试中，Sonnet 因消耗更多 token，完成任务的成本反而高于 Opus。这个观察有特定模型版本和任务背景，不能外推为所有场景的价格关系；它揭示的是一条通用计算逻辑：单次调用便宜，可能被更多尝试、更长轨迹和额外返工抵消。
企业更有用的指标，是每项合格交付的总成本。分子应包含模型调用、工具与运行成本，以及人工审核和返工；分母是最终验收通过的任务数。更强模型即使单价较高，只要明显降低失败与接管，也可能更经济。与此同时，能够稳定完成简单任务的低成本方案仍有价值。评测要找到的是不同任务的适用范围，而非给所有工作指定同一个冠军。
这一步自然通向任务路由。把请求转发给不同模型只是技术动作，难点在于预先判断任务需要多少能力。Vals 的内部做法，是让员工保留多种工具的访问权，同时针对具体 GitHub issue 推荐从哪里开始。若推荐能持续依据实际交付结果更新，评测就从购买前的一次考试，变成日常分配计算预算的依据。它能否创造收入，最终取决于减少的浪费和增加的产出，能否覆盖评测自身的运行与维护成本。
访谈将这套逻辑继续推进到了递归自我改进，即 AI 参与研发更强的下一代 AI。Ryan 坦言，直接让前沿模型完整训练自己的下一代，成本太高、周期太长，因此采用预训练、后训练和运行框架工程等环节的代理任务。官方 RSI Index 也明确使用限定时间与算力下的研发任务。这些测试可以观察研究能力的进步，却不等于已经验证完整的自主迭代闭环。
这里最关键的能力是研究判断。Agent 可以提出很多方案、启动大量实验，但必须辨认哪些改动具有可重复的收益，哪些只是对当前测试偶然有效。否则，更多计算只会产生更多难以筛选的候选结果。评测既影响人类如何认识 AI 的研发潜力，也影响自动研发系统如何选择下一步。不过，分项研发进步能否迁移到更大规模训练、能否连续多代累积，仍需要独立证据。
在监管讨论中，访谈又作出一个必要区分：模型具备某种危险能力，与使用者能够诱导它实际执行，是两个不同问题。部署环境的权限和工具还会改变结果。只测回答是否拒绝，无法覆盖系统实际能造成的后果；只测漏洞代码，也难以代替对云基础设施等复杂环境的检验。评测可以为规则提供实证基础，但测试通过本身不能证明所有环境下都安全，跨国统一标准也无法只靠技术解决。
Vals 作为商业评测机构，同样需要接受这套审视。Ryan 表示，公司选择不向模型实验室出售训练数据，以避免既帮助客户针对考试优化、又负责给客户打分的利益冲突。这个取舍有意义，但独立性仍需要透明的方法、稳定的测试隔离和可质疑的结果来维持。私有题库能够降低泄漏风险，也提高了外部验证难度；独立评测的价值要靠持续可信的结果建立。
对 AI 产业而言，这场访谈给出的积极信号，是应用正在进入更具体的经营阶段。企业开始追问一项交付究竟花了多少、为何失败、怎样减少接管，意味着智能已经进入真实的生产预算。下一步值得观察的是：采用内部评测后，合格交付成本是否持续下降，人工接管是否减少，以及更多工作能否因此获得部署资格。能够把这些变化测清楚的机构，才有机会成为 AI 工业化过程中长期需要的基础设施。