Colibri：用存储分层在普通硬件上运行超大 MoE 模型
一分钟看懂
Colibri 是纯 C 编写的混合专家模型推理引擎。混合专家模型每个词元只激活部分“专家”参数；该项目把权重分布在显存、内存和磁盘之间，并按路由需求加载，降低一次性装入高速内存的门槛。
你可以用它做什么
- 在没有数据中心级显存的机器上实验超大开源 MoE 模型。
- 通过命令行聊天、启动兼容服务或打开 Web 监控界面。
- 观察专家路由、存储层占用、首词延迟和吞吐等指标。
- 在 CPU、CUDA、Metal、NUMA 与多磁盘环境中测试放置和调度策略。
- 研究模型格式、I/O、缓存、预取和异构计算对推理的影响。
主要能力
引擎把 VRAM、RAM 和 NVMe 视为统一层级，通过热点固定、LRU、预取、直接 I/O 和异构执行减少专家权重搬运。当前为多个 MoE 模型家族提供独立 C 引擎，并用统一的 coli chat、coli serve 和 coli web 前端启动。
适合哪些人
它适合研究大模型推理系统、存储 I/O 和异构硬件的工程师，也适合愿意用磁盘容量和较低速度换取本地模型可运行性的实验者。追求即装即用、高吞吐或服务等级保证的生产用户不应把研究结果直接当作承诺。
怎么开始使用
从 Releases 下载 Linux、macOS 或 Windows 预编译包，再按照 Quick Start 获取并转换模型。不同模型要求差异很大：小型 OLMoE 约需 7 GB 权重和 8 GB 内存，而 744B 模型的量化权重约需 372 GB 磁盘、最低 16 GB 内存。GPU 不是必需，但会影响速度。
使用前需要知道
项目明确表示不提供速度 SLA；磁盘、内存、带宽和模型选择会显著影响首词延迟与吞吐。模型权重可能有独立许可证和很大下载量，使用前应确认存储、网络和授权。预编译引擎、转换工具与可选 API 网关的依赖不同。项目代码采用 Apache-2.0 许可证。