Switchyard：在不同模型、提供商与 API 协议之间智能路由 LLM 流量
一分钟看懂
Switchyard 是 NVIDIA NeMo 团队开发的 Rust 代理与库。应用可继续使用 OpenAI Chat、OpenAI Responses 或 Anthropic Messages 接口，Switchyard 在中间完成协议转换和后端分发，把请求送往 vLLM、NVIDIA NIM、Ollama 或其他 OpenAI 兼容端点。
你可以用它做什么
- 让 Codex、Claude Code 等客户端连接开源或自托管模型。
- 在多模型之间随机分流、分类路由或按阶段和信号选择模型。
- 做 A/B 基准测试，比较成本、延迟、错误和 token 消耗。
- 编写自定义路由算法，并通过 Prometheus 监控运行表现。
主要能力
项目提供协议翻译、多后端路由、类型化可组合算法、Prometheus 指标，以及与 NeMo Relay 的插件集成。Switchyard 将路由逻辑与提供商 HTTP 调度集中到代理层，减少应用对单一模型接口的耦合。
适合哪些人
适合研究 LLM 路由、模型网关和成本性能优化的平台工程师。若只调用一个稳定供应商，它增加的代理层和运维复杂度未必值得。
怎么开始使用
先按 INSTALLATION 文档在测试环境启动代理，配置至少一个兼容后端，再用现有 OpenAI/Anthropic 客户端做最小请求。随后开启指标并验证流式输出、工具调用、错误映射和超时。
使用前需要知道
官方明确标注为 pre-alpha：API 和算法在 1.0 前可能显著变化；libsy 为 Beta，客户端与 runner 为 Alpha，演示服务器不适合生产。协议“兼容”也不代表所有供应商语义完全一致，生产采用前必须覆盖回归测试、安全认证、限流和故障转移。