一种大模型权重无损压缩的方式地址:brianbell-x.github.io/weight-compression/用这种方法把GLM的1,403GB 权重文件压缩到了 980GB,而且精度完全不变。
原理也很简单:作者发现训练后模型权重的指数部分高度重复,因此用一个 4 位代码替代原本的符号与指数信息,并把少数不在常用表里的权重完整保存,尾数部分则保持不变。

一种大模型权重无损压缩的方式地址:brianbell-x.github.io/weight-compression/用这种方法把GLM的1,403GB 权重文件压缩到了 980GB,而且精度完全不变。
原理也很简单:作者发现训练后模型权重的指数部分高度重复,因此用一个 4 位代码替代原本的符号与指数信息,并把少数不在常用表里的权重完整保存,尾数部分则保持不变。
