最近上榜 ·
TensorFold
ashhart/TensorFold
通过 Metal 或 CUDA 在本地加载语言模型并提供推理接口的 Zig 引擎。
查看 TensorFold 项目介绍 →最近上榜 ·
llama.cpp
ggml-org/llama.cpp
用 C/C++ 在本地加载 GGUF 模型并提供终端生成与服务接口的推理引擎。
查看 llama.cpp 项目介绍 →最近上榜 ·
rails
rails/rails
采用模型、视图和控制器分层构建数据库驱动网站与接口的框架。
查看 rails 项目介绍 →最近上榜 ·
kimi-k3-in-c
FareedKhan-dev/kimi-k3-in-c
在处理器上用磁盘流式加载运行 Kimi K3 模型的 C 语言推理引擎。
查看 kimi-k3-in-c 项目介绍 →最近上榜 ·
colibri
JustVugg/colibri
通过磁盘、内存与显存分层流式加载专家的纯 C 混合专家模型推理引擎。
查看 colibri 项目介绍 →最近上榜 ·
heretic
p-e-w/heretic
通过无需训练的权重修改与评分优化调整语言模型拒答、迎合等行为的研究工具。
查看 heretic 项目介绍 →最近上榜 ·
FreeToken
FlashML-org/FreeToken
协调 CPU、内存与 GPU 资源以在本地运行混合专家模型的推理引擎。
查看 FreeToken 项目介绍 →最近上榜 ·
vllm
vllm-project/vllm
面向大语言模型的高吞吐、低显存占用推理与服务引擎。
查看 vllm 项目介绍 →最近上榜 ·
tokenspeed
lightseekorg/tokenspeed
面向生产级 Agent 工作负载、分离控制与执行平面的高性能大模型推理引擎。
查看 tokenspeed 项目介绍 →最近上榜 ·
airllm
lyogavin/airllm
通过逐层加载在小显存设备上运行和微调大型语言模型的 Python 工具。
查看 airllm 项目介绍 →最近上榜 ·
BitNet
microsoft/BitNet
为 1 位大语言模型提供 CPU 与 GPU 优化推理的官方 C++ 框架。
查看 BitNet 项目介绍 →最近上榜 ·
pytorch
pytorch/pytorch
提供张量计算、自动微分与 GPU 加速的 Python 深度学习框架。
查看 pytorch 项目介绍 →最近上榜 ·
transformers
huggingface/transformers
为文本、视觉、音频与多模态模型提供统一定义、训练和推理接口的机器学习库。
查看 transformers 项目介绍 →最近上榜 ·
litellm
BerriAI/litellm
统一百余种大模型接口并提供鉴权、路由、成本追踪与护栏的 AI 网关。
查看 litellm 项目介绍 →最近上榜 ·
DeepGEMM
deepseek-ai/DeepGEMM
面向现代大模型训练与推理、提供多精度高性能矩阵计算内核的 CUDA 库。
查看 DeepGEMM 项目介绍 →最近上榜 ·
pi
earendil-works/pi
提供统一模型接口、智能体循环、终端界面和编程助手的可扩展工具包。
查看 pi 项目介绍 →最近上榜 ·
tilelang
tile-ai/tilelang
用 Python 风格语法编写高性能 GPU、CPU 与 NPU 计算内核的领域语言。
查看 tilelang 项目介绍 →最近上榜 ·
higgsfield
higgsfield-ai/higgsfield
面向大模型训练的容错多节点 GPU 资源编排和分布式机器学习框架。
查看 higgsfield 项目介绍 →最近上榜 ·
OmniRoute
diegosouzapw/OmniRoute
统一接入多家模型供应商并按配额路由、回退和压缩请求的 AI 网关。
查看 OmniRoute 项目介绍 →最近上榜 ·
timesfm
google-research/timesfm
用于单变量与多变量时间序列预测的预训练基础模型及工具库。
查看 timesfm 项目介绍 →最近上榜 ·
miles
radixark/miles
面向大规模语言与视觉模型后训练的企业级强化学习框架。
查看 miles 项目介绍 →最近上榜 ·
sie
superlinked/sie
统一托管 Agent 所需开源模型并提供推理服务的自托管集群。
查看 sie 项目介绍 →最近上榜 ·
freellmapi
tashfeenahmed/freellmapi
统一接入多个免费大模型提供商并提供路由与故障转移的 API。
查看 freellmapi 项目介绍 →最近上榜 ·
router
workweave/router
根据请求自动选择合适模型、降低 Agent 系统成本的模型路由器。
查看 router 项目介绍 →最近上榜 ·
marin
marin-community/marin
用于基础模型研究、训练和实验的开源框架。
查看 marin 项目介绍 →最近上榜 ·
sub2api
Wei-Shaw/sub2api
统一接入并共享 Claude、OpenAI、Gemini 和 Grok 订阅的中转服务。
查看 sub2api 项目介绍 →最近上榜 ·
omlx
jundot/omlx
为 Apple Silicon 提供连续批处理和 SSD 缓存的 LLM 推理服务。
查看 omlx 项目介绍 →最近上榜 ·
Soup
MakazhanAlpamys/Soup
通过单个 YAML 配置在低显存设备上微调大语言模型。
查看 Soup 项目介绍 →最近上榜 ·
LTX-2
Lightricks/LTX-2
LTX-2 音视频生成模型的推理与 LoRA 训练工具包。
查看 LTX-2 项目介绍 →最近上榜 ·
Switchyard
NVIDIA-NeMo/Switchyard
在模型与提供商之间路由 LLM 请求并转换 OpenAI、Anthropic 协议。
查看 Switchyard 项目介绍 →