oMLX：在 Apple Silicon 上把本地模型变成高并发兼容 API 服务

一分钟看懂

oMLX 是面向 Apple Silicon Mac 的 LLM 推理服务器与菜单栏管理工具。它基于 MLX，提供连续批处理、多模型管理、内存保护和 SSD 分层 KV 缓存，并暴露 OpenAI 与 Anthropic 兼容接口，方便已有客户端直接接入本地模型。

你可以用它做什么

在 Mac Studio、Mac mini 或 MacBook 上运行本地 LLM/VLM 服务。
让支持 OpenAI/Anthropic API 的聊天、编码和 Agent 工具改连本机。
同时托管语言模型、视觉语言模型、嵌入模型与重排模型。
通过连续批处理提升多请求吞吐，并用 SSD 缓存降低长上下文内存压力。
从网页管理后台或 macOS 菜单栏装载、卸载和观察模型。

主要能力

服务端基于 FastAPI，EnginePool 支持多模型、LRU 淘汰、TTL 与手动装卸；调度器处理并发请求，语言模型采用连续批处理。分页 KV 缓存支持前缀共享、写回式内存热缓存和 safetensors 格式 SSD 冷缓存。管理员可设置总内存上限、并发数、模型目录、Hugging Face 镜像、API Key 和 MCP 配置，设置保存在本地。兼容接口让许多现有 SDK 无需改业务代码。

适合哪些人

适合拥有 M 系列 Mac、重视隐私或想利用统一内存部署本地模型的开发者与小团队。它不是面向 NVIDIA/CUDA 服务器的通用推理框架，也不适合 Intel Mac。

怎么开始使用

按 README 安装 oMLX，准备 MLX 格式或项目支持的模型目录，先用默认配置启动服务，访问 /admin 检查模型和内存。然后把客户端 Base URL 指向本地兼容端点。多用户或局域网开放时设置 API Key；模型较大或上下文较长时，再逐步启用 memory guard、SSD cache 和并发调优。

使用前需要知道

模型能否运行取决于芯片、统一内存、量化格式与模型架构支持；SSD 缓存缓解的是 KV 缓存压力，不会让任意大模型免费装进机器。持续写 SSD 也会带来容量、性能和寿命考虑。局域网暴露推理接口前必须启用认证和网络限制。兼容 API 不代表所有供应商特性完全等价，工具调用、结构化输出与多模态应逐项测试。

告诉我们你的想法

omlx