GGitHub 趋势观察站
每日 07:00 更新订阅EN
← 所有专题

本地模型、推理服务与训练

比较模型运行、低显存推理、训练微调、模型网关与请求路由,按硬件和服务需求选择。

新项目会随榜单更新归入本专题,以下按最近上榜时间排列。

按你的任务选择

43 个项目

最近上榜 ·

TensorFold

ashhart/TensorFold

通过 Metal 或 CUDA 在本地加载语言模型并提供推理接口的 Zig 引擎。

查看 TensorFold 项目介绍 →

最近上榜 ·

free-claude-code

Alishahryar1/free-claude-code

在本地代理多种编程客户端的模型请求,接入不同的云端或本地推理后端。

查看 free-claude-code 项目介绍 →

最近上榜 ·

llama.cpp

ggml-org/llama.cpp

用 C/C++ 在本地加载 GGUF 模型并提供终端生成与服务接口的推理引擎。

查看 llama.cpp 项目介绍 →

最近上榜 ·

rails

rails/rails

采用模型、视图和控制器分层构建数据库驱动网站与接口的框架。

查看 rails 项目介绍 →

最近上榜 ·

kimi-k3-in-c

FareedKhan-dev/kimi-k3-in-c

在处理器上用磁盘流式加载运行 Kimi K3 模型的 C 语言推理引擎。

查看 kimi-k3-in-c 项目介绍 →

最近上榜 ·

colibri

JustVugg/colibri

通过磁盘、内存与显存分层流式加载专家的纯 C 混合专家模型推理引擎。

查看 colibri 项目介绍 →

最近上榜 ·

heretic

p-e-w/heretic

通过无需训练的权重修改与评分优化调整语言模型拒答、迎合等行为的研究工具。

查看 heretic 项目介绍 →

最近上榜 ·

FreeToken

FlashML-org/FreeToken

协调 CPU、内存与 GPU 资源以在本地运行混合专家模型的推理引擎。

查看 FreeToken 项目介绍 →

最近上榜 ·

nanochat

karpathy/nanochat

串联分词、预训练、微调、评估与聊天推理的语言模型实验框架。

查看 nanochat 项目介绍 →

最近上榜 ·

ComfyUI

Comfy-Org/ComfyUI

使用节点图界面运行和组合扩散模型工作流的工具。

查看 ComfyUI 项目介绍 →

最近上榜 ·

vllm

vllm-project/vllm

面向大语言模型的高吞吐、低显存占用推理与服务引擎。

查看 vllm 项目介绍 →

最近上榜 ·

tokenspeed

lightseekorg/tokenspeed

面向生产级 Agent 工作负载、分离控制与执行平面的高性能大模型推理引擎。

查看 tokenspeed 项目介绍 →

最近上榜 ·

airllm

lyogavin/airllm

通过逐层加载在小显存设备上运行和微调大型语言模型的 Python 工具。

查看 airllm 项目介绍 →

最近上榜 ·

BitNet

microsoft/BitNet

为 1 位大语言模型提供 CPU 与 GPU 优化推理的官方 C++ 框架。

查看 BitNet 项目介绍 →

最近上榜 ·

pytorch

pytorch/pytorch

提供张量计算、自动微分与 GPU 加速的 Python 深度学习框架。

查看 pytorch 项目介绍 →

最近上榜 ·

transformers

huggingface/transformers

为文本、视觉、音频与多模态模型提供统一定义、训练和推理接口的机器学习库。

查看 transformers 项目介绍 →

最近上榜 ·

tensorflow

tensorflow/tensorflow

用于构建、训练和部署机器学习与神经网络模型的端到端开源平台。

查看 tensorflow 项目介绍 →

最近上榜 ·

litellm

BerriAI/litellm

统一百余种大模型接口并提供鉴权、路由、成本追踪与护栏的 AI 网关。

查看 litellm 项目介绍 →

最近上榜 ·

DeepGEMM

deepseek-ai/DeepGEMM

面向现代大模型训练与推理、提供多精度高性能矩阵计算内核的 CUDA 库。

查看 DeepGEMM 项目介绍 →

最近上榜 ·

pi

earendil-works/pi

提供统一模型接口、智能体循环、终端界面和编程助手的可扩展工具包。

查看 pi 项目介绍 →

最近上榜 ·

LongCat-Video

meituan-longcat/LongCat-Video

支持文生、图生、续写及长视频生成的开源基础视频模型与推理代码。

查看 LongCat-Video 项目介绍 →

最近上榜 ·

tilelang

tile-ai/tilelang

用 Python 风格语法编写高性能 GPU、CPU 与 NPU 计算内核的领域语言。

查看 tilelang 项目介绍 →

最近上榜 ·

PageIndex

VectifyAI/PageIndex

以树状索引和大模型推理检索长文档内容的无向量 RAG 引擎。

查看 PageIndex 项目介绍 →

最近上榜 ·

Model-Optimizer

NVIDIA/Model-Optimizer

为深度学习模型提供量化、剪枝、蒸馏和推测解码的统一优化库。

查看 Model-Optimizer 项目介绍 →

最近上榜 ·

stable-diffusion.cpp

leejet/stable-diffusion.cpp

使用纯 C/C++ 在多种硬件后端运行图像与视频扩散模型的推理引擎。

查看 stable-diffusion.cpp 项目介绍 →

最近上榜 ·

higgsfield

higgsfield-ai/higgsfield

面向大模型训练的容错多节点 GPU 资源编排和分布式机器学习框架。

查看 higgsfield 项目介绍 →

最近上榜 ·

oh-my-hermes

rlaope/oh-my-hermes

为 Hermes Agent 增加任务路由、多模型工作流和长期记忆的插件。

查看 oh-my-hermes 项目介绍 →

最近上榜 ·

llmfit

AlexsJones/llmfit

用一条命令判断本机硬件适合运行哪些大模型。

查看 llmfit 项目介绍 →

最近上榜 ·

OmniRoute

diegosouzapw/OmniRoute

统一接入多家模型供应商并按配额路由、回退和压缩请求的 AI 网关。

查看 OmniRoute 项目介绍 →

最近上榜 ·

magnitude

magnitudedev/magnitude

根据本机硬件推荐并运行适配模型的开源本地推理服务器。

查看 magnitude 项目介绍 →

最近上榜 ·

timesfm

google-research/timesfm

用于单变量与多变量时间序列预测的预训练基础模型及工具库。

查看 timesfm 项目介绍 →

最近上榜 ·

miles

radixark/miles

面向大规模语言与视觉模型后训练的企业级强化学习框架。

查看 miles 项目介绍 →

最近上榜 ·

sie

superlinked/sie

统一托管 Agent 所需开源模型并提供推理服务的自托管集群。

查看 sie 项目介绍 →

最近上榜 ·

minimind

jingyaogong/minimind

用于从零训练小参数语言模型的教学与实践项目。

查看 minimind 项目介绍 →

最近上榜 ·

freellmapi

tashfeenahmed/freellmapi

统一接入多个免费大模型提供商并提供路由与故障转移的 API。

查看 freellmapi 项目介绍 →

最近上榜 ·

router

workweave/router

根据请求自动选择合适模型、降低 Agent 系统成本的模型路由器。

查看 router 项目介绍 →

最近上榜 ·

marin

marin-community/marin

用于基础模型研究、训练和实验的开源框架。

查看 marin 项目介绍 →

最近上榜 ·

sub2api

Wei-Shaw/sub2api

统一接入并共享 Claude、OpenAI、Gemini 和 Grok 订阅的中转服务。

查看 sub2api 项目介绍 →

最近上榜 ·

omlx

jundot/omlx

为 Apple Silicon 提供连续批处理和 SSD 缓存的 LLM 推理服务。

查看 omlx 项目介绍 →

最近上榜 ·

unsloth

unslothai/unsloth

在本地运行和训练大语言模型与扩散模型的图形界面。

查看 unsloth 项目介绍 →

最近上榜 ·

Soup

MakazhanAlpamys/Soup

通过单个 YAML 配置在低显存设备上微调大语言模型。

查看 Soup 项目介绍 →

最近上榜 ·

LTX-2

Lightricks/LTX-2

LTX-2 音视频生成模型的推理与 LoRA 训练工具包。

查看 LTX-2 项目介绍 →

最近上榜 ·

Switchyard

NVIDIA-NeMo/Switchyard

在模型与提供商之间路由 LLM 请求并转换 OpenAI、Anthropic 协议。

查看 Switchyard 项目介绍 →

选择前的常见问题

能下载模型,就代表本机能运行吗?

还要核对模型格式、量化版本、内存或显存、硬件后端与上下文长度。区分本地执行与转发云端请求,并用实际任务测延迟和资源占用。

项目按已收录的用途简介归类,专题收录不代表安装实测或性能排名。具体条件、资料来源与版本请查看项目介绍及官方文档。

继续看其他专题 →