「AI」随便试了一下最新开源的qwen3.8-27B，我感觉还可以。生成速度达到35token/s，而一般15到20就能够流畅阅读了。随后又随手甩了一个更大的问题（图3），它差不多写了一万多字的一个方案。它还有视觉能力，可以识别图片。

这款模型可谓千呼万唤始出来，全球玩本地的人很多。以前用过几次云端的，也都是测试，那可有点矬，笨得飞起。如果不是非常在乎隐私，我基本不会需要本地语言模型。仅O厂一家，云端的量大到我根本用不完，火力全开也没戏。可能“越狱版”的更值得尝试一下？但是人家马斯克的一直也没啥限制啊。

令我没有想到的是，3090跑语言模型还能这么顺。这本不在我的预期之内。

我觉得有趣的是，像这么样的一款投喂数据达到几十万亿token、动用了芯片集群才训练出来的模型，经过层层蒸馏、变成270亿参数，就这样住进了本地设备，这件事本身有点魔幻。

像刚才测试的写一篇小文章，生成800多token，用时24秒，就是在24秒内把这270亿参数在本地设备中算了八百多遍。这在以前怎么可以想象。我记得起初人们刚训练出1亿参数的模型的时候，就如同发现了新大陆那样震撼。

我弄AI主机起初是为了多开几个云端Agent，后来是增加的本地计算能力，为的是本地视频和图片模型，现在没想到语言模型也能搞搞。目测硬件又要大幅涨价了。所以还是那句话，显卡还是那个显卡，但明天就不知道又会新增哪些能力。

本地开源会让我比较放心。另一方面我会写死规则，不会允许它们联网。而目前看起来，仅仅就测试来说，本地的反而比云端的强，单次的上下文可以更长。当然，云端我也没在用它们。

至于“越狱”嘛……