BitNet：为 1 位大语言模型提供高效本地推理
一分钟看懂
BitNet 仓库中的 bitnet.cpp 是微软发布的 1 位大语言模型官方推理框架。它针对 BitNet b1.58 等三值权重模型提供优化内核，使这些模型能在 CPU 和受支持的 GPU 上运行，并降低内存占用与计算能耗。
你可以用它做什么
- 在 x86 或 ARM CPU 上运行受支持的 1 位语言模型。
- 使用官方 GPU 内核加速部分 BitNet 模型推理。
- 下载、转换和量化 BitNet 模型为框架使用的 GGUF 格式。
- 以命令行方式进行文本生成和对话测试。
- 运行基准脚本，比较模型在不同线程和上下文长度下的性能。
- 研究低比特权重模型在边缘设备和本地环境中的部署方式。
主要能力
- 为 1.58 位三值模型提供 CPU 和 GPU 优化推理内核。
- 支持官方 BitNet 语言模型与嵌入模型，以及部分社区模型。
- 提供模型下载、转换、量化、环境构建和推理脚本。
- 支持 x86 与 ARM CPU，不同模型和量化格式的支持范围有所差异。
- 基于 llama.cpp 框架，并结合查找表内核优化方法。
适合哪些人
适合研究低比特神经网络的科研人员，也适合希望在 CPU、边缘设备或有限资源环境中评估 1 位模型的系统工程师。它不是任意大模型的通用量化工具，使用前应确认目标模型和硬件是否在支持列表中。
怎么开始使用
官方构建流程需要 Python 3.10 以上、CMake 3.22 以上和 Clang 18 以上，Windows 还需 Visual Studio 2022 的 C++ 与 CMake 工具。克隆仓库时包含子模块，安装 Python 依赖后，用 setup_env.py 准备模型和内核，再通过 run_inference.py 指定模型文件和提示词运行推理。建议先使用官方 2.4B 模型验证环境。
使用前需要知道
框架只支持特定的 1 位模型、硬件与内核组合，模型表中的 CPU、量化格式和架构支持需要逐项核对。官方性能和节能数据来自特定测试环境，不能直接视为所有设备上的结果。源码构建依赖较多，GPU 支持也可能受平台和驱动限制；NPU 支持在官方说明中仍属于后续计划。模型文件另有各自许可证和使用条件。框架代码采用 MIT 许可证。