AirLLM：让大型语言模型在小显存设备上逐层运行
一分钟看懂
AirLLM 是一个 Python 工具，通过把大型语言模型按层拆分并在推理时逐层从磁盘加载，让显存需求主要取决于单层大小，而不是整个模型大小。它面向希望在消费级显卡或资源受限设备上尝试大型开源模型的用户，也提供部分低显存微调能力。
你可以用它做什么
- 在显存较小的 GPU 上运行原本无法整体装入显存的大型语言模型。
- 使用 Hugging Face 模型标识或本地路径加载多种主流开源模型。
- 选择 4 位或 8 位权重量化，以减少磁盘读取量并提高部分场景的推理速度。
- 在有限显存下以 LoRA 等方式微调部分受支持模型。
- 在 Apple 芯片 Mac 上使用对应依赖运行支持的模型。
主要能力
- 将模型拆成逐层文件，推理时一次只把当前层放入 GPU。
- 提供
AutoModel.from_pretrained风格的 Python 接口。 - 支持预取、层文件保存位置、Hugging Face 令牌等配置。
- 覆盖 Llama、Qwen、DeepSeek、Mistral、Phi、Gemma 等多个模型家族。
- 可选用权重量化减少加载体积，并提供针对部分大型模型的低显存训练示例。
适合哪些人
适合想在本地验证大型开源模型、但 GPU 显存不足的研究者和开发者，也适合愿意用推理速度和磁盘占用换取更低显存门槛的实验用户。追求低延迟在线服务的团队需要先做充分性能测试。
怎么开始使用
先准备 Python、PyTorch 和与显卡匹配的运行环境，然后执行 pip install airllm。使用 AutoModel.from_pretrained 传入 Hugging Face 仓库标识或本地模型路径，首次运行时工具会拆分并保存模型层。建议先用较小模型完成端到端测试，再评估更大模型的磁盘、内存和运行时间需求。
使用前需要知道
低显存不等于低资源：大型模型仍需下载完整权重，首次拆分会大量占用磁盘，逐层读取也可能显著降低推理速度。部分超大模型还需要较多主机内存、特定 CUDA、PyTorch 或 Transformers 版本。受限模型可能要求 Hugging Face 访问令牌，使用远程模型代码前应自行审查安全风险。Mac 运行路径仅支持 Apple 芯片。项目采用 Apache-2.0 许可证，各模型权重仍受其各自许可证约束。