GGitHub 趋势观察站
每日 07:00 更新订阅EN
← 返回今日榜单

ggml-org /

llama.cpp

用 C/C++ 在本地加载 GGUF 模型并提供终端生成与服务接口的推理引擎。

访问 GitHub 仓库 ↗
最近上榜 · 2026-11-13#13

当日排名

+287当日新增 Star134,518总 Star

llama.cpp:在本地加载 GGUF 模型并运行推理服务

一分钟看懂

llama.cpp 是一个 C/C++ 推理引擎。它读取 GGUF 格式的模型权重,用本机 CPU 或支持的 GPU 生成内容,也可以启动 HTTP 服务供其他程序调用。

你可以用它做什么

  • 在终端尝试一个适合本机资源的小模型。
  • 启动本地模型服务,核对模型列表和生成接口。
  • 比较同一模型在不同量化格式、上下文长度和硬件设置下的资源占用。

主要能力

项目提供命令行和兼容接口的服务端,支持多种量化格式。官方构建说明列有 CPU、Metal、CUDA、HIP、Vulkan 等后端,部分组合可以在 CPU 和 GPU 之间分配推理工作。

适合哪些人

适合希望在自有硬件试用模型、搭建本地推理接口,或需要检查内存与运行设置的开发者。

怎么开始使用

先选匹配系统和硬件的官方发行包或构建方式,再按 README 选择一个小型 GGUF 模型。先在终端验证加载和短提示词生成,再尝试本地服务。启动服务后用模型列表和短请求核对它是否按预期工作。

使用前需要知道

引擎采用 MIT,模型权重须另查许可。模型文件大小、量化方式、上下文和并发会影响内存或显存需求,平台与后端能力以具体构建为准。服务默认监听本机地址,供其他设备访问时需要另行配置网络范围和访问控制。下载模型需要网络与磁盘空间。

官方资料