**Colibri：极客精神的极致展现**

最近，一位独立开发者用纯C语言写了一个推理引擎，名叫 Colibri。结果在只有25GB内存的普通笔记本上，硬生生跑起了拥有7440亿参数的GLM-5.2——这是目前最强悍的开源模型。此事一出，圈子里直接炸了。很多人评价这是“极客精神的极致展现”。

Colibri的核心代码只有大约2400行C语言，并且完全零依赖。它不需要Python，不需要GPU，甚至连BLAS数学函数库都用不上。开发者自己说了，速度不是重点，目标达成才是真。他的原话是：“只是想让它跑起来，即使很慢也没关系。”

GLM-5.2：最强开源模型的MoE架构

我们先说GLM-5.2这个模型。它来自智谱，拥有7440亿参数，训练数据量达28.5万亿tokens，是目前能力最强的开源模型。如果按传统的密集模型架构来算，光是把模型加载到内存，就需要超过1.5TB。这显然不是消费级设备能干的事。

但GLM-5.2的骨架是MoE，也就是混合专家架构。总参数量虽然高达7440亿，但每次处理一个token时，只会激活约400亿个参数，占比大约只有5%。其余参数以专家形式存在，只有被选中时才被调用。

如何在25GB内存中运行7440亿参数模型？

Colibri的开发者正是抓住了这个特性。每次token处理时，实际需要更新的权重只有约11GB。而其他密集层，比如注意力机制、共享专家、嵌入层等，约170亿参数，可以常驻内存。

实际性能：速度感人但可优化

实际跑起来的表现如何？开发者在WSL2环境中测试，配置是12核心、25GB内存、NVMe通过VHDX。模型载入大约花了30秒，常驻内存占用9.9GB，聊天时峰值RSS也才20GB左右。

不过，速度的确有点“感人”。冷启动时，每次token需要读取约11GB的磁盘数据，推理速度大约每秒只能吐出0.05到0.1个token。快取预热后，配合MTP投机解码，有用户反馈在更快NVMe和更多内存的配置下，速度可以达到每秒1个token以上。

Colibri的实现细节

具体实现上，密集部分以int4量化后常驻内存。其余21504个路由专家存放在硬盘上，总计约370GB。每个专家约19MB，按需载入。这些专家来自75个MoE层，每层256个专家，加上MTP预测头。

结构其实很清晰：不是所有东西都塞进内存，而是把最重、最不常用的部分放在硬盘上，只在需要时才拉进来。

Colibri的优化秘籍

为了提升效率，Colibri还做了不少优化，具体包括：

• 每层LRU缓存：让常用专家留在内存中。
• 异步专家预读：让磁盘读取与矩阵运算重叠进行。
• 路由前瞻预取：利用相邻层之间高达71.6%的路由可预测性，提前载入下一层可能需要的专家。
• MTP多token预测投机解码：在int8量化下，草稿接受率达到了39%到59%，每次前向传播可以产生2.2到2.8个token。
• MLA注意力机制：将KV缓存压缩了57倍——每个token只需要576个浮点数，而不是原来的32768个。

《夸克》非常好用的免费AI浏览器

下载APP查看