ai产业链

Cerebras打开的新战场：AI推理开始按瓶颈分工

信源：Cerebras Supernova｜Dylan Patel（SemiAnalysis）2026年9月8日

Dylan Patel把一类AI芯片叫作“yapper hardware”：像说话飞快的人一样，擅长高速吐出token。这个略带调侃的分类，道出了推理市场正在出现的分化。一些公司争取用最低成本生产尽可能多的token，另一些公司争取让一个任务尽快完成。两者需要的硬件并不完全相同。

沿着这条线索，访谈把软件优化、MoE、片上存储和异构推理连到了一起：AI推理需求的分化，正在推动硬件按瓶颈形成专业分工，而模型结构和系统组织方式又会不断改变分工边界。这给Cerebras这样的挑战者打开了市场，也解释了为什么竞争最终仍要回到完整系统。

首先要理解，两台机器都宣称“每秒生成更多token”，说的可能是两件事。一台机器同时服务很多用户，统计的是总吞吐量；另一台让单个用户更快拿到结果，强调的是交互速度。前者改善算力供应商的单位成本，后者缩短使用者的任务时间。只有把模型质量、上下文长度和并发条件对齐，速度数字才有比较意义。

GPU提高吞吐的一种办法是扩大批量。多个请求使用相同模型，权重从内存读入后可以服务更多计算，搬运成本便被摊薄，计算单元也更容易充分利用。批量缩小，单个请求通常能获得更低的生成延迟，却可能牺牲权重复用和整体利用率。因此，快速模式的溢价，有时是在补偿服务商让出的并发容量。

Dylan认为，英伟达在高吞吐推理上已经很强，创业公司更容易拉开差距的地方，是低批量、高交互速度。这是他的产业判断，其意义在于：挑战者可以选择一个客户愿意支付溢价的性能区间，无须在所有任务上同时胜出。便宜token与快速token之间，是不同成本、速度和利用率组合形成的竞争曲线。

高薪员工的例子，解释了为什么这条曲线会移动。编程Agent需要生成修改、运行测试、读取错误，再决定下一步；人参与的研究和咨询工作，也经常依赖一轮轮反馈。后一步必须等待前一步，延迟就会沿任务链累积。缩短这些等待，可能让相同时间容纳更多有效尝试。Dylan提到高管和咨询合伙人，指向的是自然语言编程扩大使用者范围：越来越多专业人员开始直接购买机器执行能力。

付费依据最终仍是有效产出。工资高，不能自动证明每一次加速都划算；如果大部分时间耗在测试、外部工具或人工审核上，token生成提速对总工期的帮助就会受限。应该比较同等结果质量下的推理费用、必要等待和返工成本。速度越能缩短任务的关键路径，专用硬件越有机会获得持续的商业回报。

但这个市场不会静止等待新芯片进入。Dylan对软件优化仍然非常乐观：计算能力、内存带宽和网络给出了性能约束，实际执行却未必接近这些约束。内核启动、计算与通信未能重叠、片上拥塞、调度不充分，都可能让硬件耗时却没有推进任务。他估计，现有模型和硬件仍有50%—80%的性能改善空间；这是访谈中的经验估计，没有统一测试范围，不能当成每套部署都能获得的提升。

推测解码说明了软件怎样改变速度。草稿模型先提出后续多个token，主模型再批量验证，让一次验证有机会推进多个位置。采用严格的采样校正，可以保持目标模型的输出分布；速度收益取决于候选被接受多少，以及生成和验证草稿花了多少成本。更激进地猜测更多分支，只有在新增有效进展超过额外开销时才划算。多token预测也可以为这种加速服务，但具体实现不必都是一个独立小模型。

这使挑战者面对一个持续前移的GPU基准。如果领先主要来自对手尚未优化好的软件，优势可能被下一轮更新压缩；如果领先来自更适合目标负载的存储和数据通路，追赶就可能需要架构调整。评估新芯片的价值，要辨认它消除了哪一类必须付出的成本，以及这种优势能否跨越软件更新继续成立。

更深的竞争发生在模型设计中。MoE让每个token只激活部分专家，以较少的实际运算调用一个更大的参数集合。但专家有多宽、每次激活多少、任务如何分配，会决定实际执行的是怎样的矩阵运算。Dylan指出，一些更细、更稀疏的专家设计适合GPU的执行组织，落到更宽的矩阵计算单元上，却可能难以充分利用硬件：小矩阵无法填满较宽阵列时，闲置和补齐计算可能抵消一部分稀疏化收益。算术工作量下降，未必带来同比例的执行时间下降。

这里存在一个强化循环：研究人员围绕常用硬件优化模型，优化后的模型又成为下一轮硬件比较的工作负载。成熟平台的优势因此能够延伸到模型结构本身。Dylan以TPU、Trainium与GPU的不同设计取向解释这种现象，但这不能升级为所有型号、所有MoE负载的固定排名；编译器、算子实现和通信方式都会改变结果。

Cerebras的机会，来自另一处瓶颈。低批量生成中，GPU常常受制于权重和其他数据的读取速度，增加算力未必有足够数据可算。晶圆级架构则用大量片上SRAM，让分配到各计算单元的权重就近存放。模型超过单片容量时，可以按层分配到多套系统，权重留在各自位置，中间激活沿流水线前进。Cerebras在8月公布的技术说明中描述了这一执行方式。

这也解释了访谈中容易被忽略的一层：如果权重供给显著加快，某些负载的主要约束就可能从搬运数据转向计算。此时，若稀疏化确实减少了每个token的激活参数和运算量，就可能帮助这类架构；单纯增加总专家数量、保持激活量不变，则没有同样的计算节省。于是，同一条模型演进路线，既可能加深对GPU计算组织的适配，又可能给解决了另一处瓶颈的芯片带来收益。关键是具体负载是否发生了瓶颈迁移，不能笼统断言Cerebras永远受计算限制、GPU永远受内存限制。

片上存储也有自己的经济边界。SRAM容量需要付出硅面积代价，大模型跨系统映射仍需要互连；模型权重之外，保存注意力历史状态的KV cache也要占空间。Dylan提到一些设计希望权重留在SRAM，把KV cache放到HBM或LPDDR。这种分工保留了权重就近读取的优势，同时使用外部存储承载更大的状态容量。权重访问得到改善后，长上下文带来的缓存读取和传输，就可能成为下一处限制。

因此，硬件与模型的共同设计还会延伸到机架。一个拥有高带宽互联的系统，可以承担更密集的跨芯片协作；较小的部署则未必承受得起同样的数据交换。模型能否采用某种专家分布或并行方式，也受到这些条件约束。芯片规格相同，连接和调度不同，最后得到的有效性能仍可能差很多。

异构推理把这种专业分工进一步落实到执行过程。这里需要分清两个层级。AMD与Cerebras已公布的合作方案，是Helios处理输入和上下文，即prefill阶段，再由Cerebras负责逐token生成，即decode阶段。前者有较强的并行计算需求，后者在低批量下更敏感于数据读取和串行延迟；拆开之后，可以分别配置更适合的资源。

Dylan后半段着重讨论的attention／FFN拆分，则深入一次生成的内部。在英伟达展示的一种配置中，GPU执行attention并保存KV cache，Groq LPX执行FFN或MoE专家。这样可以让GPU承载较大的历史状态容量，让片上存储架构加速权重密集的前馈计算。英伟达也展示了其他拆分方式，因此不能把这一配置当成其唯一的技术路线。英伟达异构推理说明⁠

沿着执行路径看，收益和成本同时出现。prefill／decode分离，需要在阶段交接时传递KV cache；attention／FFN分离，则让中间激活在每个token的相应层之间反复经过互连。单次传输的数据可能较少，通信频率和同步要求却更高。省下的访存和计算时间，必须足以覆盖新增的传输、同步与等待，否则局部更快仍可能被系统开销抵消。

Dylan提醒的另一项代价，是资源配比。对标准全上下文注意力而言，上下文变长，会增加每步attention的计算和缓存读取；同一模型每token的FFN工作量却不会按相同比例增长。如果两侧设备按短上下文任务配置，实际业务转向长上下文，就可能出现attention侧排队、FFN侧空等。模型改变注意力结构，也会改变原先的配比依据。

这种配比可以通过重新配置和调度调整，但调整需要成本，单个芯片的峰值性能无法保证两侧始终忙碌。Dylan仍看好拆分，因为他判断，只要真实负载没有偏离设计范围太远，收益就足以覆盖这些代价。这个前提也给出了检验方法：在真实上下文分布和并发下，比较同等质量、同等交互要求下的系统成本与利用率，观察优势能否持续。

由此推演，随着推理硬件分工增加，能够把模型、请求和硬件有效组织起来的系统能力会更有价值。编译器需要把计算放到合适的位置，调度器需要应对长短任务混合，互连需要让协作成本保持可控。Cerebras争取的是高速生成这项专长，英伟达则已经把Groq LPX纳入自己的系统方案。往后的竞争会越来越具体：谁能在模型和上下文不断变化时，仍让整套设备高效运转，谁就更有机会把芯片的局部优势变成客户持续购买的生产力。