ashhart☆ 2,149
TensorFold
通过 Metal 或 CUDA 在本地加载语言模型并提供推理接口的 Zig 引擎。
Zig·最近上榜 2026-11-15
REPOWATCH / EXPLORE
不止今日榜单。搜索所有已收录的开源项目,按用途找到适合你的工具。
SEARCH RESULTS
通过 Metal 或 CUDA 在本地加载语言模型并提供推理接口的 Zig 引擎。
用 C/C++ 在本地加载 GGUF 模型并提供终端生成与服务接口的推理引擎。
在本地代理多种编程客户端的模型请求,接入不同的云端或本地推理后端。
采用模型、视图和控制器分层构建数据库驱动网站与接口的框架。
在处理器上用磁盘流式加载运行 Kimi K3 模型的 C 语言推理引擎。
通过磁盘、内存与显存分层流式加载专家的纯 C 混合专家模型推理引擎。
通过无需训练的权重修改与评分优化调整语言模型拒答、迎合等行为的研究工具。
串联分词、预训练、微调、评估与聊天推理的语言模型实验框架。
协调 CPU、内存与 GPU 资源以在本地运行混合专家模型的推理引擎。
使用节点图界面运行和组合扩散模型工作流的工具。
面向大语言模型的高吞吐、低显存占用推理与服务引擎。
面向生产级 Agent 工作负载、分离控制与执行平面的高性能大模型推理引擎。