FreeToken:把 CPU、内存与 GPU 组合用于本地 MoE 模型推理
一分钟看懂
FreeToken 是面向个人和消费级硬件的混合专家模型推理引擎。它尝试协调 CPU、GPU、主机内存和数据传输,把模型专家与缓存安排到不同资源上,而不是要求所有权重始终放在显存中。
你可以用它做什么
- 在合适的本地硬件上运行受支持的 MoE 开放权重模型。
- 提供兼容 OpenAI 或 Anthropic 接口的本地推理服务。
- 调整专家缓存与上下文缓存之间的资源分配。
- 将已有客户端连接到自己控制的推理端点。
主要能力
项目包含 CPU/GPU 协同执行、专家缓存、权重流式传输、FTW 权重格式与语义相关缓存能力。README 列出多种模型架构和量化格式,但具体支持应以当前模型列表和安装说明为准。
适合哪些人
适合了解模型文件、量化、显存和驱动环境,想研究本地大模型服务的开发者。它不是无需硬件规划就能在任何旧电脑上运行任意超大模型的承诺。
怎么开始使用
桌面应用页面提供 Windows/Linux 路径;本次读取的 CLI 安装文档重点要求 Linux x86_64、NVIDIA GPU、r580+ 驱动、CUDA 13 工具链及 Python 3.10+,AMD 路径另有进行中的文档。先按安装说明确认环境,再用受支持的小模型启动服务,通过模型列表与短请求检查结果。
使用前需要知道
模型文件、内存、显存、磁盘与带宽仍是实际约束,硬件与量化方式会影响速度和质量。首次使用可能编译 CUDA 内核;连接编程 Agent 的便捷命令还可能修改提供商配置或安装 CLI,应先检查其行为。引擎采用 Apache-2.0,模型有各自许可;代码开源不意味着外部模型下载或硬件成本消失。