GGitHub 趋势观察站
每日 07:00 更新订阅EN
← 返回今日榜单

ashhart /

TensorFold

通过 Metal 或 CUDA 在本地加载语言模型并提供推理接口的 Zig 引擎。

访问 GitHub 仓库 ↗
最近上榜 · 2026-11-15#9

当日排名

+53当日新增 Star2,149总 Star

TensorFold:用本地 GPU 加载语言模型并提供推理接口

一分钟看懂

TensorFold 用 Zig 实现模型推理服务。它读取受支持的模型权重,在 Apple 芯片或 NVIDIA GPU 等有官方运行路线的环境中计算,并向本地程序提供生成接口。

你可以用它做什么

  • 在已核对的硬件上运行项目推荐的小型文本模型。
  • 用模型列表接口确认加载结果,再发送一条短对话请求。
  • 根据运行文档评估不同模型权重格式与显存需求。

主要能力

官方入门分别给出 Apple Silicon 的 Metal 路线与 NVIDIA 的 CUDA 路线。服务可列出已加载的模型,提供对话等接口,并支持设置上下文和并发。模型、格式与硬件的支持范围在运行手册中分别记录。

适合哪些人

适合已经了解模型权重、GPU 驱动和本地服务的开发者,或准备在兼容机器上评估小型模型推理的人。

怎么开始使用

按 README 选择匹配平台的发行包和已记录的模型配方。先用官方入门示例加载较小模型,检查启动输出与模型列表,再发一个短请求核对返回。平台专用的依赖和驱动要求应按对应运行手册确认。

使用前需要知道

引擎采用 Apache 2.0,模型权重另有许可。Linux CUDA 发行包说明要求 glibc 2.28 及 NVIDIA R580 或以上驱动,兼容性还取决于 GPU、模型和量化格式。模型权重、上下文和并发都会占用内存。榜单简介也列出 Vulkan,官方入门和本次核对的运行手册主要给出了 Metal 与 CUDA 的验证范围。共享服务前应核对监听地址与认证设置。

官方资料