Magnitude：让现有编程 Agent 使用适合本机的本地模型
一分钟看懂
Magnitude 是一个开源本地推理服务器。它检测电脑硬件，推荐能够运行的模型，协助下载和调优，并把本地模型接入 Codex、Claude Code、OpenCode、Hermes、Cline 等现有 Agent 工具。
你可以用它做什么
- 根据芯片、内存和带宽筛选适合本机的模型。
- 在本地运行编程 Agent，减少云端 API 依赖。
- 把同一套本地推理服务连接到多个受支持的 Agent。
- 在首次下载模型后离线运行，避免把提示词和代码发送到云端。
- 手动导入兼容的 GGUF 模型。
主要能力
- 自动检测硬件并估算候选模型的运行速度。
- 按需加载模型，空闲或内存紧张时卸载。
- 为 Agent 工作负载配置推测解码和并发参数。
- 提供命令行引导，并包含可直接使用的 Agent 运行方式。
- 支持 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline。
适合哪些人
适合希望在本机运行模型、重视代码和提示词隐私、想降低按量 API 成本，或不想手动判断模型量化与硬件适配的开发者。拥有较多内存和较强处理器或显卡的设备能选择更大的模型。
怎么开始使用
先安装 Node.js 包管理环境，然后运行 npm i -g @magnitudedev/cli 安装命令行工具。执行 magnitude setup 可交互式选择模型；也可让 Agent 运行 magnitude docs onboarding，按照引导完成硬件检测、模型下载和工具连接。
使用前需要知道
官方支持 macOS 和 Linux；Windows 需要通过 WSL 使用。项目没有固定最低硬件要求，但模型大小、速度和上下文能力直接受内存、处理器及显卡影响，首次下载模型仍需网络和较大磁盘空间。本地运行提升数据控制力，但用户仍需核查所下载模型各自的许可证。Magnitude 本身采用 Apache-2.0 许可证。