ggml:为机器学习程序提供跨硬件的张量计算
一分钟看懂
ggml 是 C 和 C++ 编写的底层张量库。应用可以把矩阵等多维数据交给它,构建运算图,再为计算选择合适的硬件后端。
你可以用它做什么
- 将张量算子和矩阵乘法嵌入自己的推理程序。
- 试用不同数值精度和量化类型,评估模型所需存储及内存。
- 在不同硬件后端上构建同一计算样例,对比支持情况。
主要能力
提供面向 CPU 的优化算子、多个硬件后端、低位整数和微缩放量化类型。仓库也维护 GGUF 文件格式文档,供应用了解模型数据和元信息的组织方式。
适合哪些人
适合能阅读 C/C++、正在实现或研究推理引擎的开发者。希望直接加载模型并聊天的读者可以查看构建在相关底层库之上的上层项目说明。
怎么开始使用
按官方 README 准备 C/C++ 工具链和 CMake。在源码目录先构建默认配置,再阅读 examples/simple 中的矩阵乘法样例,核对张量形状、后端选择和计算输出。
使用前需要知道
库采用 MIT。不同后端依赖对应编译器、设备和驱动。量化及后端可用性需要在目标机器验证,模型权重的许可与库许可分别核对。