Weaver Router：为 AI Agent 自动选择合适模型的路由层
一分钟看懂
Weaver Router 是一个部署在 AI 应用与模型供应商之间的模型路由器。应用仍然发送 OpenAI、Anthropic 或 Gemini 风格的请求，路由器根据提示内容、策略和运行状态判断应该交给哪个模型，再把结果返回给原有客户端。
它主要面向已经使用多个大模型的 Agent 系统：简单任务交给速度快、价格低的模型，复杂推理或高风险任务交给能力更强的模型，从而降低平均费用，同时避免开发者在每个业务模块里手工写大量模型选择逻辑。项目强调只更换 API 端点即可接入，并提供独立的路由判断接口，方便先观察决策而不真正调用上游模型。
你可以用它做什么
- 降低模型调用成本：按任务难度把请求分配到不同价格档位的模型。
- 统一多个供应商：在同一网关后接入 Anthropic、OpenAI 和 Gemini 等接口。
- 为 Agent 动态选型：针对规划、编码、总结或简单工具调用采用不同策略。
- 逐步验证路由规则：只请求
/v1/route查看决策，再决定是否切换真实流量。 - 改善可观测性：集中记录请求、路由原因、延迟和模型调用情况。
- 支持生产部署：使用健康检查、就绪检查和配置验证接口接入容器平台。
主要能力
项目提供 Anthropic Messages、OpenAI Chat Completions 和 Gemini generateContent 风格的路由端点，并保留部分模型列表、Token 统计等兼容接口。/health 用于基础存活检查，/readyz 可确认依赖与策略组件已经准备好，/validate 则可用于校验密钥和配置。
路由逻辑与业务客户端解耦，因此团队可以统一更新模型清单、费用规则和策略，不必修改每个 Agent。项目也提供配置、架构、可观测性与外部策略模型相关文档，适合在真实流量前建立评估和灰度机制。
适合哪些人
- 同时使用多个模型、调用量已经形成规模的 AI 产品团队。
- 需要在质量、延迟和费用之间动态取舍的 Agent 平台。
- 希望保留现有 OpenAI/Anthropic 客户端，只替换 API 地址的应用。
- 想研究模型路由、网关和策略评估的基础设施开发者。
如果应用只使用一个模型、流量很小，增加路由层可能得不偿失；此时先优化提示、缓存和上下文长度通常更直接。
怎么开始使用
先在测试环境部署路由器，配置所需模型供应商的密钥与候选模型。接入初期可调用路由判断接口收集决策，不把请求真正转发，或只分流少量非关键任务。确认质量、费用和延迟数据后，再将客户端的模型端点逐步切换到路由器。
上线前应建立一组代表真实业务的评测样本，分别比较固定强模型、固定经济模型与路由策略。只有同时观察任务成功率、成本和尾部延迟，才能判断路由是否真的有收益。
使用前需要知道
仓库宣传的成本下降比例是项目目标或特定场景结果，不代表任何业务都能自动达到。路由错误可能把复杂任务交给能力不足的模型，也可能让简单任务过度使用昂贵模型。真实收益依赖请求分布、候选模型、价格、策略和评测质量。
作为所有模型请求的中间层，它会接触提示、回复和供应商凭据，应按照核心基础设施进行保护：限制网络访问，安全保存密钥，审查日志脱敏策略，并设计故障降级方案。还要确认不同供应商接口语义、工具调用和流式响应的兼容差异。