llama.cpp：119.5K Stars！纯 C/C++ 打造的大模型本地推理引擎

📝 项目简介

llama.cpp 是一个用纯 C/C++ 实现、零外部依赖的大语言模型（LLM）推理引擎。它让你无需 Python 环境、无需昂贵显卡，就能在笔记本、树莓派甚至手机上高性能地运行 LLaMA、Qwen、Gemma、Mistral 等主流开源模型——可以说，它是当下几乎所有「本地跑大模型」工具的底层基石。

💻 安装要求和过程

环境要求

• C/C++ 编译器：GCC / Clang / MSVC，支持 C++11 及以上
• CMake 3.8+：从源码构建时需要
• 可选 GPU 后端：CUDA（NVIDIA）、ROCm（AMD）、Metal（Apple Silicon）、Vulkan、SYCL 等，用于硬件加速
• 可选 Python 3：仅用于模型格式转换脚本 convert_*.py
• 支持平台：macOS / Linux / Windows，以及 iOS、Android、浏览器（WASM）等

快速安装步骤

方式一：包管理器一键安装（推荐新手）

# macOS
brew install llama.cpp

# Windows
winget install llama.cpp

# Conda
conda install -c conda-forge llama-cpp

方式二：Docker 运行（自带 API 服务）

docker run -p 8080:8080 -v ./models:/models \
  ghcr.io/ggml-org/llama.cpp:server -m /models/your_model.gguf

方式三：从源码构建

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release

快速开始：下载并运行一个模型

# 命令行对话（自动从 Hugging Face 拉取 GGUF 模型）
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

# 启动 OpenAI 兼容的 API 服务（含简易 WebUI）
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080

✨ 核心功能

1. 🪶 纯 C/C++ 零依赖，极致轻量

不依赖 PyTorch、不依赖 Python 运行时，编译出一个二进制文件即可运行。极小的体积和无依赖特性，让它可以被移植到几乎所有计算设备——这正是它能跑在树莓派和手机上的根本原因。

2. ⚡ 全平台硬件加速与混合推理

针对 Apple Silicon（Metal / ARM NEON）、x86（AVX2 / AVX-512 / AMX）、RISC-V 等架构做了深度优化；支持 NVIDIA（CUDA）、AMD（ROCm）、摩尔线程（MUSA）、Vulkan、SYCL、OpenCL 等多种后端。CPU+GPU 混合推理甚至能运行超过显存容量的超大模型。

3. 🗜️ GGUF 格式与 1.5~8 bit 量化

模型统一封装为 GGUF 格式，并支持从 1.5-bit 到 8-bit 的整数量化。量化后显存与内存占用大幅下降，让消费级显卡甚至纯 CPU 也能流畅运行 70B 级别的大模型。

4. 🔌 OpenAI 兼容 API 服务

llama-server 提供与 OpenAI 完全兼容的 /v1 接口，并自带简易 WebUI。你现有的基于 OpenAI SDK 的应用几乎零改动就能切换到本地模型，彻底摆脱对云服务的依赖。

5. 🧰 丰富的推理工具链

内置 llama-bench（性能基准测试）、llama-perplexity（困惑度评估）、llama-quantize（模型量化）以及基于 GBNF 语法的约束解码（强制输出 JSON / 特定格式），覆盖从评测到生产的完整链路。

🎯 典型使用场景

场景一：在笔记本 / 手机上本地聊天，隐私数据不出端

下载一个量化后的 Qwen 或 Gemma 模型，用 llama-cli 即可在断网环境下与 AI 对话。所有数据都在本地处理，特别适合处理合同、代码、笔记等敏感内容。

场景二：自建私有 OpenAI 兼容推理服务

在内网或离线环境中启动 llama-server，把本地模型包装成标准 API。前端应用、RAG 系统、Agent 框架（如 LangChain、Dify）都能直接对接，既保证数据合规，又省下云推理费用。

llama-server -m models/qwen2.5-7b-instruct-q4_k_m.gguf --port 8080

场景三：边缘设备与嵌入式部署

在树莓派、工控机、车载设备上编译运行 llama.cpp，为 IoT 场景提供离线语音助手、本地知识问答等能力。配合量化技术，几百 MB 内存即可驱动一个可用的小模型。

💡 推荐理由

作为一名经常折腾本地大模型的开发者，我对 llama.cpp 的感情可以用「基石」二字形容。在它出现之前，想本地跑一个开源模型意味着安装几十 GB 的 PyTorch 环境，且基本只能在高端显卡上跑；llama.cpp 用纯 C/C++ 把这件事拉到了「人人可玩」的门槛。

我的几点使用心得：

• 它是整个生态的地基：Ollama、LM Studio、Jan、Open WebUI 乃至无数上层应用，底层推理几乎都调用了 llama.cpp。理解它，就理解了「本地 AI」的半壁江山。
• 量化是性价比之王：7B 模型用 Q4_K_M 量化后体积不到 5GB，在普通笔记本上就能达到可用速度，是入门本地模型的最佳起点。
• OpenAI 兼容接口太省心：一条 llama-server 命令就把本地模型变成标准 API，让我能把线上项目无痛切换到离线环境做.demo或内网部署。
• 更新极快、社区极活跃：几乎每周都有新后端、新量化方法的合并，119K+ 的 Stars 背后是庞大而健康的贡献者群体。

如果你想真正搞懂「大模型是怎么在本地跑起来的」，llama.cpp 是 2026 年依旧最值得 clone 一份源码、逐行读一读的开源项目。

📥 下载地址

📌 本文是《GitHub 热门 AI 开源项目》系列的第 95 期，每期介绍一个热门的 AI 开源项目。欢迎关注本栏目，获取更多优质开源项目介绍！