端侧大模型终于能一口气读完一整本书了——科大讯飞做到了。
9月1日，科大讯飞子公司词元星火正式开源星火X2.5-4B和X2.5-1.7B两款端侧通用大模型。这是端侧模型中第一个原生支持100万Token上下文的产品。100万Token是什么概念？大约相当于75万汉字，一本《三体》全集也就五六十万字。也就是说，你把一整本书丢给它，它能从头到尾读完，不会"失忆"。
以前端侧模型有个硬伤：处理长文档时得切成几段分别问，切着切着就忘了前面说啥，答非所问。现在不需要了。星火X2.5用混合注意力架构，围绕智能体、代码、数学和指令遵循做了优化。在智能家居控制测试中，1.7B版本的端到端执行准确率达到90.3%，平均响应0.85秒。
更关键的是：两款模型基于全国产算力平台完成全流程训练，用约20万亿Token数据预训练。支持英伟达、华为、海光等硬件平台，兼容vLLM、llama.cpp等主流框架，通过Ollama就能快速部署。
也就是说，不需要云端，不需要联网，你的手机、PC、机器人就能本地跑一个能读长文的AI助手。9月7日科大讯飞还会发布旗舰版星火X2.5，值得期待。
端侧模型真正能干活的时代，是不是要来了？