小米开源表格基础模型 Xiaomi-TabLDM,无需按任务重新训练。
小米把大模型做到了表格数据上。新开源的 Xiaomi-TabLDM 面向分类与回归预测,同一个预训练模型可以直接读取新数据集里的标注样本完成任务,不必每换一张表就重新训练、微调或组合模型。
技术路线有三层:完全使用结构化因果模型生成的合成表格数据预训练;用双流特征分组、轻量 Attention Residual 和稀疏 MoE 扩大容量;再通过增加推理计算改善结果。
官方技术报告显示,它在 OpenML-CTR23 回归基准排名第一,在 TALENT、TabArena 与 BCCO 的回归评测均排名第二。相较 TabFM,TabArena 回归任务的训练时间减少 82%,预测时间减少 68%。代码、模型权重和论文已经一起开放。
