Miles：面向大规模模型后训练的强化学习框架
一分钟看懂
Miles 是用于大语言模型（LLM）和视觉语言模型（VLM）后训练的高性能强化学习框架，由 slime 分支发展而来。它结合 SGLang 的高吞吐生成与 Megatron-LM 的分布式训练，也提供 PyTorch FSDP2 后端，面向多机多卡和超大规模模型训练。
你可以用它做什么
- 对大语言模型或视觉语言模型进行强化学习后训练。
- 训练代码、计算机操作等多轮 Agent，并连接外部任务环境。
- 使用 GRPO、GSPO、PPO、REINFORCE++、监督微调和在线蒸馏等方法。
- 在 NVIDIA 或 AMD GPU 集群上运行异步生成与训练流程。
- 使用 LoRA、低精度训练和分布式权重更新降低部分训练开销。
主要能力
- 将生成和训练工作节点解耦，支持全异步强化学习流水线。
- 通过 SGLang 路由多台推理引擎，并为多轮 Agent 工作负载保留请求信息。
- 采用 Megatron-LM 承载最大规模模型，同时可用 FSDP2 直接训练 Hugging Face 实现。
- 支持 FP8、NVFP4、INT4 QAT、BF16、FP16、LoRA 和多 LoRA。
- 提供故障恢复、路由重放、快速权重传输和训练观测能力。
适合哪些人
适合拥有 GPU 集群、需要训练或评估大规模模型的企业团队、模型实验室和研究机构。它面向熟悉 PyTorch、分布式训练、容器和强化学习的工程人员，不是个人电脑上的轻量微调工具。
怎么开始使用
先阅读官方安装要求和支持模型列表，选择与 GPU 型号匹配的容器及训练后端。随后按 Quick Start 准备模型、数据、奖励或任务环境，再从官方示例启动小规模验证，确认数值稳定性和资源占用后逐步扩展集群。
使用前需要知道
大规模强化学习训练需要多台高端 GPU、高速互联、充足存储和成熟的集群运维能力，成本与故障排查难度都很高。硬件、模型和训练配方的支持程度并不完全相同，使用前应核对官方兼容表。训练数据、基础模型和外部环境还各自涉及许可证、隐私与合规要求。项目采用 Apache-2.0 许可证。