LiteLLM：用一个统一入口连接百余种大模型服务
一分钟看懂
LiteLLM 是开源的大模型网关和 Python SDK。它把 OpenAI、Anthropic、Gemini、AWS Bedrock、Azure、Vertex AI、vLLM 等不同服务转换成统一接口，让应用切换模型时不必分别适配每家 SDK、鉴权方式和错误格式。
你可以用它做什么
- 在 Python 应用中用相近的调用方式访问不同模型提供商。
- 为团队部署统一网关，集中管理模型、虚拟密钥和访问权限。
- 在多个模型或部署之间做负载均衡、重试和故障回退。
- 按用户、项目或团队追踪调用量与费用，并接入日志和可观测平台。
- 为模型请求配置内容护栏、缓存和自定义策略。
主要能力
- 提供兼容 OpenAI 格式的代理接口，也支持直接使用 Python SDK。
- 覆盖聊天、响应、向量、图片、音频、批处理和重排等多种端点。
- 网关内置虚拟密钥、鉴权授权、多租户费用管理与管理界面。
- 支持路由、重试、回退、负载均衡和多种可观测回调。
- 提供 Docker、Helm，以及 AWS 和 GCP 的 Terraform 部署方案。
适合哪些人
适合需要同时使用多家模型的应用开发者，也适合为组织建设统一大模型入口、成本治理和权限控制的机器学习平台团队与基础设施团队。
怎么开始使用
只需在代码中调用模型时，可安装 litellm 并通过 Python SDK 配置对应提供商的 API 密钥。需要团队共享入口时，可安装代理组件后启动网关，或采用官方 Docker 镜像；生产环境建议使用经过负载测试的 -stable 标签，并参考官方部署文档配置数据库、密钥存储和 HTTPS。
使用前需要知道
LiteLLM 统一的是调用层，实际模型费用、限额、数据处理与内容政策仍由各提供商决定。网关集中持有 API 密钥和请求日志，生产部署需要妥善管理密钥、访问权限、日志脱敏和网络加密。仓库中 enterprise/ 目录采用单独的商业许可证，其余代码使用 MIT 许可证；企业功能和专业支持可能需要付费授权。