Microduck RL：在仿真中训练双足机器人的动作策略
一分钟看懂
Microduck RL 是 Pollen Robotics 为 Microduck 小型双足机器人开发的强化学习训练环境。Microduck 约 25 厘米高、800 克重，项目在基于 MuJoCo Warp 的 mjlab 中并行训练策略，再导出 ONNX，由真实机器人运行。
仓库不只是一个走路演示，它整理了从仿真到实体所需的执行器物理、齿轮间隙、域随机化、奖励设计与部署接口，目标是缩小“仿真里能动、实机上失效”的差距。
你可以用它做什么
训练行走与恢复动作
环境包含平地和崎岖地形行走、速度控制、摔倒恢复、坐下与站立等任务。训练好的策略共享统一观察结构，机器人运行时可以在行走、恢复和技巧动作之间切换。
开发机器人技巧
除基础步态外，还提供触地、踢球、前滚翻、旋转和轮滑等任务。开发者可修改奖励、命令与随机化参数，训练新的动作，再通过仿真播放器检查效果。
验证 Sim-to-Real 方法
项目细致模拟电压、反电动势、摩擦、命令延迟、电池压降和舵机齿隙，并对这些因素随机化。它适合研究小型伺服双足机器人中，执行器真实性如何影响实机迁移。
主要能力
- 使用 PPO 和 GPU 并行环境训练多种动作。
- 提供平地、崎岖、齿隙等任务变体。
- 支持检查点恢复、可视化播放和实验记录。
- 将策略安全导出为带归一化的 ONNX。
- 在 CPU MuJoCo 中演练多策略切换。
- 可把策略发布到 Hugging Face Hub 并由机器人安装。
适合哪些人
它适合机器人强化学习研究者、Microduck 开发者和想学习 Sim-to-Real 的工程师。没有对应硬件也能研究仿真，但真正部署需要理解机器人安全和实时控制。
怎么开始使用
本地训练需要 CUDA GPU 和 uv。可先运行官方行走任务，训练 4096 个并行环境并在 Viewer 中播放；没有 GPU 时可选择支持的云端 Jobs。导出必须使用项目脚本，手工转换可能遗漏观察归一化，导致实机收到错误输入。
使用前需要知道
强化学习策略即使在仿真表现稳定，也可能在实机因摩擦、装配、电池和传感器差异失控。首次部署应架起机器人、限制速度和动作范围，并准备急停，不得在人员、宠物或易损物附近直接测试。
训练速度是特定硬件与配置下的参考值。奖励设计容易产生意外行为，发布策略前应检查输入输出维度、NaN、极端动作和恢复路径。3D 资产还可能采用与代码不同的许可，二次使用要分别确认。