铭鸿体育资讯网

今天晚上,DeepSeek把自家的推理框架DeepInfer整体开源了。大模型、TileLang编译工具、推理算子库之后,轮到中间这层了。(据IT之家) 开源的还有一套deepseek-recipe编解码组件,跟官方API的处理逻辑对齐。社区自己部署,出来的东西和官方接口一个样。 官方说得很直白:模

今天晚上,DeepSeek把自家的推理框架DeepInfer整体开源了。大模型、TileLang编译工具、推理算子库之后,轮到中间这层了。(据IT之家)
开源的还有一套deepseek-recipe编解码组件,跟官方API的处理逻辑对齐。社区自己部署,出来的东西和官方接口一个样。
官方说得很直白:模型能力由模型本身划定,但能不能便宜地用起来,看的是推理框架怎么调度那一大堆算力。吞吐上去了、延迟下来了,电费和账单才会跟着降。他们自己的DeepSeek V4.1 Flash就架在这套东西上。
更实在的点是兼容英伟达和华为昇腾,手里有哪种卡都能先跑。
开源这层中间件,你觉得是让算力更便宜,还是大家都来给DeepSeek当测试员?