TensorFold:用本地 GPU 加载语言模型并提供推理接口
一分钟看懂
TensorFold 用 Zig 实现模型推理服务。它读取受支持的模型权重,在 Apple 芯片或 NVIDIA GPU 等有官方运行路线的环境中计算,并向本地程序提供生成接口。
你可以用它做什么
- 在已核对的硬件上运行项目推荐的小型文本模型。
- 用模型列表接口确认加载结果,再发送一条短对话请求。
- 根据运行文档评估不同模型权重格式与显存需求。
主要能力
官方入门分别给出 Apple Silicon 的 Metal 路线与 NVIDIA 的 CUDA 路线。服务可列出已加载的模型,提供对话等接口,并支持设置上下文和并发。模型、格式与硬件的支持范围在运行手册中分别记录。
适合哪些人
适合已经了解模型权重、GPU 驱动和本地服务的开发者,或准备在兼容机器上评估小型模型推理的人。
怎么开始使用
按 README 选择匹配平台的发行包和已记录的模型配方。先用官方入门示例加载较小模型,检查启动输出与模型列表,再发一个短请求核对返回。平台专用的依赖和驱动要求应按对应运行手册确认。
使用前需要知道
引擎采用 Apache 2.0,模型权重另有许可。Linux CUDA 发行包说明要求 glibc 2.28 及 NVIDIA R580 或以上驱动,兼容性还取决于 GPU、模型和量化格式。模型权重、上下文和并发都会占用内存。榜单简介也列出 Vulkan,官方入门和本次核对的运行手册主要给出了 Metal 与 CUDA 的验证范围。共享服务前应核对监听地址与认证设置。