TokenSpeed：面向生产级 Agent 工作负载的大模型推理引擎
一分钟看懂
TokenSpeed 是开源的大模型推理引擎，针对请求频繁、上下文变化快的 Agent 工作负载优化。它把 C++ 控制平面和 Python 执行平面分离，以兼顾调度正确性、硬件性能与研究迭代速度。
你可以用它做什么
- 部署面向生产环境的大语言模型推理服务。
- 在 NVIDIA 或 AMD 加速平台上运行官方支持的模型配方。
- 研究请求调度、KV 缓存管理、并行策略和推理内核。
- 通过异步入口为 Agent 应用处理并发请求。
主要能力
- 用有限状态机管理请求生命周期和 KV 缓存资源。
- 提供可插拔内核、统一注册表和异构加速器扩展机制。
- 以 Python 执行层降低模型适配和实验成本。
- 提供启动服务、模型配方、并行和兼容参数文档。
适合哪些人
适合部署大型模型的推理工程团队、GPU 性能工程师，以及研究 Agent 服务吞吐、延迟和资源利用率的开发者。
怎么开始使用
先根据官方 Getting Started 核对支持的操作系统、GPU、驱动和模型，再按模型配方安装依赖并启动服务。生产部署前应使用自己的请求分布进行基准测试。
使用前需要知道
- 高性能配置依赖特定 GPU、驱动和内核支持，官方基准不能直接代表其他硬件。
- 项目仍在快速演进，模型兼容性和参数应以当前文档为准。
- 大模型部署需要较高显存、存储和运维投入，并应评估模型许可证与数据隐私。
- 项目采用 MIT 许可证。