MIT License
Microsoft 官方
Python/C++
📌 项目简介
Microsoft BitNet — 1-bit LLM 官方推理框架
bitnet.cpp 是微软官方出品的 1-bit 大语言模型推理框架，专为 BitNet b1.58 等三元量化模型打造。它基于 llama.cpp 构建，提供一系列高度优化的内核，支持在 CPU 和 GPU 上实现 1.58-bit 模型的快速、无损推理。
核心突破：1.58-bit 量化（每个权重只需 1.58 个比特），在大幅降低模型内存占用的同时，推理质量几乎无损。这意味着一台普通笔记本甚至手机，都能运行过去需要昂贵 GPU 才能跑的大模型。
🔧 安装要求和过程
环境要求
| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | ≥ 3.9 | 推荐用 Conda 管理环境 |
| CMake | ≥ 3.22 | 构建系统 |
| Clang | ≥ 18 | C++ 编译器（支持 C++17） |
| 操作系统 | Windows/macOS/Linux | 全平台支持 |
| 内存 | 4GB+ | 运行 2B 模型最低要求 |
快速安装步骤
方式一：从源码构建（推荐）
# 1. 克隆仓库（包含子模块） git clone --recursive https://github.com/microsoft/BitNet.git cd BitNet # 2. 创建 Conda 环境 conda create -n bitnet-cpp python=3.9 conda activate bitnet-cpp pip install -r requirements.txt # 3. 下载官方模型并配置环境 huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
方式二：使用 pip 安装（简化版）
pip install bitnet-cpp bitnet setup --model microsoft/BitNet-b1.58-2B-4T
方式三：Docker 部署
docker build -t bitnet-cpp . docker run -it --rm bitnet-cpp
🚀 核心功能
1. 1.58-bit 极致量化推理
每个权重仅用 {-1, 0, +1} 三个值表示（1.58 bits），相比 FP16 模型内存压缩 7-10 倍，推理速度提升 2-6 倍。这是目前业界最激进、也是最实用的 LLM 量化方案。
2. CPU 原生优化（无需 GPU！）
针对 x86 和 ARM CPU 深度优化：
- x86 CPU：推理速度提升 2.37x ~ 6.17x，能耗降低 71.9% ~ 82.2%
- ARM CPU（如 Apple M 系列）：推理速度提升 1.37x ~ 5.07x，能耗降低 55.4% ~ 70.0%
- 单 CPU 运行 100B 模型：速度达 5-7 tokens/秒，媲美人类阅读速度
3. GPU 推理支持（2025 年 5 月上线）
官方 GPU 推理内核已发布，支持 NVIDIA GPU 加速推理。GPU 分支提供比 CPU 高一个数量级的吞吐量，适合高并发场景。详见 gpu/README.md。
4. 多模型生态支持
不仅支持微软官方 BitNet 模型，还兼容社区模型：
- BitNet-b1.58-2B-4T（官方，2.4B 参数，HuggingFace 可下载）
- bitnet_b1_58-large（0.7B）
- Llama3-8B-1.58-100B-tokens（8B）
- Falcon3 系列（1B-10B，tiiuae 出品）
5. 完善的工具链
- run_inference.py：对话模式/自定义 Prompt 推理
- e2e_benchmark.py：性能基准测试
- convert-helper-bitnet.py：safetensors → GGUF 格式转换
- generate-dummy-bitnet-model.py：生成虚拟模型用于测试
💡 典型使用场景
场景一：本地私有化部署 LLM
企业或因隐私要求不能在云端运行 LLM 的场景。BitNet 让一台普通办公电脑（甚至只有 CPU）就能运行 2B-7B 参数级别的模型，无需昂贵 GPU 投资。
# 在普通办公电脑上运行私有对话助手 python run_inference.py \ -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf \ -p "你是一个专业的技术支持助手" \ -cnv -t 8
场景二：边缘设备和嵌入式 AI
在树莓派、手机、IoT 设备上部署 AI 助手。1-bit 量化模型极小，2B 模型经量化后仅约 500MB，可以轻松嵌入边缘设备。微软研究人员已演示在 ARM 设备上流畅运行。
场景三：大规模模型服务成本优化
云服务商或企业 AI 平台可以用 BitNet 量化模型，将推理成本降低 70% 以上。同样硬件可以服务更多用户，或同样预算获得更高吞吐量。
🏆 推荐理由
为什么你应该关注 BitNet？
- 微软官方背书：不是学术界的玩具项目，而是微软正式支持的生产级推理框架
- 论文驱动：核心算法经过严格学术评审，在 arXiv 发表多篇高引用论文
- 真正可用：已有官方 2B 参数模型发布在 HuggingFace，开箱即用
- 社区活跃：39.6K+ Stars，3.6K+ Forks，303 个 Issues 讨论，持续迭代中
- 生态融合：基于 llama.cpp 构建，天然兼容 Ollama、vLLM 等主流工具链
个人使用心得：BitNet 最让我震撼的是它让「每个人都能本地运行 LLM」真正成为可能。过去跑一个 7B 模型需要 14GB+ 显存，现在用 BitNet 量化后，一台普通笔记本的 CPU 就能流畅运行。对于 AI 开发者、研究者、以及关注数据隐私的用户来说，这是一个必须收藏的项目。
在线 Demo：试玩 BitNet 官方演示（Azure 托管，无需本地安装）
📦 下载地址
- 🔗 GitHub 仓库：github.com/microsoft/BitNet
- 🔗 官方模型下载：HuggingFace – BitNet-b1.58-2B-4T
- 🔗 技术论文：The Era of 1-bit LLMs (arXiv:2402.17764)
- 🔗 CPU 推理优化论文 (arXiv:2410.16144)
- 🔗 在线 Demo：demo-bitnet
- 🔗 GPU 推理文档：GPU README
- 📄 开源协议：MIT License
- ⭐ Stars：39,599+（持续增长中）
由 WorkBuddy AI 自动发布 | 数据来源：GitHub API | 更新时间：2026-07-04