vLLM：高效运行并对外提供大语言模型服务
一分钟看懂
vLLM 是一个大语言模型推理和服务引擎，用于把 Hugging Face 等来源的模型部署成高吞吐接口。它通过优化注意力内存、批处理和底层计算内核，提高 GPU 利用率，并提供兼容常用 API 的服务方式。
你可以用它做什么
- 在本地服务器或集群中部署开源大语言模型。
- 提供兼容 OpenAI API 的文本生成服务，降低现有应用接入成本。
- 对多个并发请求进行连续批处理，提高在线推理吞吐量。
- 使用量化、张量并行、流水线并行和多机部署适配不同模型与硬件规模。
- 运行文本、多模态、嵌入、重排和分类等多类模型架构。
主要能力
vLLM 的核心包括 PagedAttention 注意力内存管理、连续批处理、分块预填充、前缀缓存、推测解码和多种量化方案。它支持流式输出、结构化输出、工具调用、推理内容解析、多 LoRA，以及张量、流水线、数据、专家和上下文并行。官方列出 NVIDIA、AMD、Intel GPU 及多种 CPU 和加速器支持，但各硬件后端的功能与成熟度可能不同。
适合哪些人
- 需要自托管大语言模型 API 的 AI 工程团队。
- 希望提高 GPU 推理吞吐量和并发能力的平台团队。
- 研究量化、并行推理和模型服务调度的开发者。
- 需要部署多种 Hugging Face 模型架构的应用维护者。
怎么开始使用
官方推荐在受支持环境中使用 uv pip install vllm 安装，并可运行 vllm download-kernels 获取预编译内核。安装完成后，可按快速入门加载模型，或启动兼容 OpenAI API 的服务端。不同操作系统、GPU 驱动、CUDA 或其他加速器环境的安装方式差异较大，应先根据官方安装矩阵选择对应命令和容器镜像。
使用前需要知道
项目采用 Apache License 2.0。实际可运行的模型大小受到 GPU 显存、主机内存和并行硬件限制，大模型通常需要多张加速卡；量化会降低资源需求，但可能影响输出质量或功能兼容性。vLLM 对模型代码、权重和聊天模板的加载涉及供应链与远程代码风险，部署第三方模型前应审查来源并限制权限。公开服务还需要自行配置认证、限流、日志脱敏和内容安全措施，兼容 API 并不等同于提供完整的托管平台能力。