关于缩放定律的思考-------唐杰 缩放,但不仅仅是参数的缩放。现在每个模型发布都以同一个问题结束:有多少参数?这不是一个可以单独回答的问题。参数数量只有与另外三个因素结合才有意义——你有多少数据,你打算在哪里花费你的计算资源,以及谁将在什么条件下运行模型。 这个领域是吃了苦头才学到
关于缩放定律的思考-------唐杰
缩放,但不仅仅是参数的缩放。现在每个模型发布都以同一个问题结束:有多少参数?这不是一个可以单独回答的问题。参数数量只有与另外三个因素结合才有意义——你有多少数据,你打算在哪里花费你的计算资源,以及谁将在什么条件下运行模型。
这个领域是吃了苦头才学到