llama.cpp:在本地加载 GGUF 模型并运行推理服务
一分钟看懂
llama.cpp 是一个 C/C++ 推理引擎。它读取 GGUF 格式的模型权重,用本机 CPU 或支持的 GPU 生成内容,也可以启动 HTTP 服务供其他程序调用。
你可以用它做什么
- 在终端尝试一个适合本机资源的小模型。
- 启动本地模型服务,核对模型列表和生成接口。
- 比较同一模型在不同量化格式、上下文长度和硬件设置下的资源占用。
主要能力
项目提供命令行和兼容接口的服务端,支持多种量化格式。官方构建说明列有 CPU、Metal、CUDA、HIP、Vulkan 等后端,部分组合可以在 CPU 和 GPU 之间分配推理工作。
适合哪些人
适合希望在自有硬件试用模型、搭建本地推理接口,或需要检查内存与运行设置的开发者。
怎么开始使用
先选匹配系统和硬件的官方发行包或构建方式,再按 README 选择一个小型 GGUF 模型。先在终端验证加载和短提示词生成,再尝试本地服务。启动服务后用模型列表和短请求核对它是否按预期工作。
使用前需要知道
引擎采用 MIT,模型权重须另查许可。模型文件大小、量化方式、上下文和并发会影响内存或显存需求,平台与后端能力以具体构建为准。服务默认监听本机地址,供其他设备访问时需要另行配置网络范围和访问控制。下载模型需要网络与磁盘空间。