最开始 大模型是训练和推理都在超级计算机上进行的 然后有一帮技术极客想在自己的电脑上跑大模型 GPTQ 解决的是:“普通显卡也能跑模型。” AWQ 解决的是:“量化后别变傻。” GGUF 解决的是:“没有 GPU 也能本地 AI。” EXL2 解决的是:“推理速度必须足够快。” MLX 解决的是:“Apple Silicon 如何
最开始
大模型是训练和推理都在超级计算机上进行的
然后有一帮技术极客想在自己的电脑上跑大模型
GPTQ 解决的是:“普通显卡也能跑模型。”
AWQ 解决的是:“量化后别变傻。”
GGUF 解决的是:“没有 GPU 也能本地 AI。”
EXL2 解决的是:“推理速度必须足够快。”
MLX 解决的是:“Apple Silicon 如何