Ollama
在本地一键运行 Llama 3、DeepSeek、Qwen、Gemma 等开源大语言模型，无需云端，隐私优先
📥 40K+ 社区集成
🦙 Go + C++
📜 MIT 开源协议
📌 项目简介
Ollama 是一款开源的本地大语言模型运行工具，让你在 macOS、Windows、Linux 上轻松下载、运行和管理各类开源 LLM。它内置了 llama.cpp 推理引擎，支持量化模型的高效运行，同时提供简洁的 CLI、REST API 以及 Python / JavaScript SDK，是本地 AI 开发的首选入口。
🔧 安装要求和过程
环境要求
- 支持 macOS 11+、Windows 10+、Linux（x86_64 / ARM64）
- 建议 8GB+ 内存（7B 模型）；16GB+（13B 模型）；32GB+（33B+ 模型）
- 磁盘空间：每个模型约 4GB~20GB
brew install ollama
curl -fsSL https://ollama.com/install.sh | sh
docker run ollama/ollama
⚡ 快速开始
- 安装完成后，终端运行
ollama serve启动服务（默认 11434 端口） - 运行
ollama run deepseek-r1拉取并启动 DeepSeek-R1 模型 - 直接在终端对话，或访问
http://localhost:11434调用 REST API
🚀 核心功能
内置模型库（ollama.com/library）涵盖 Llama 3、DeepSeek-R1、Qwen2.5、Gemma、Mistral、Phi-3 等数百个模型，一条命令即可拉取运行。支持自定义 Modelfile 导入 GGML / GGUF 格式模型。
默认在 11434 端口提供 OpenAI 兼容的 REST API，官方提供 Python 和 JavaScript SDK。可以无缝接入 LangChain、Lobe Chat、Open WebUI 等生态，开发者集成成本极低。
支持同时加载多个模型，自动检测并利用 NVIDIA / AMD GPU 进行推理加速。macOS 上原生支持 Metal GPU 加速，Linux 支持 CUDA 和 ROCm，推理速度大幅提升。
社区已推出 40,000+ 个集成工具，涵盖桌面应用（Open WebUI、Enchanted）、IDE 插件（Continue、CopilotKit）、Agent 框架（LangChain、AutoGen）、RAG 工具（AnythingLLM）等，几乎覆盖所有 AI 开发场景。
所有推理在本地执行，数据不出本机。无需注册、无需联网、无需付费 API Key，特别适合对数据隐私有严格要求的企业内网和个人开发者。
💡 典型使用场景
场景一：本地 AI 编程助手
搭配 Continue.dev 或 VS Code Ollama 插件，在断网环境下也能使用本地 LLM 辅助代码补全、解释和重构。使用 DeepSeek-Coder 或 CodeLlama 模型，响应速度毫秒级，代码质量媲美云端模型。
ollama run deepseek-coder:6.7b，然后在 Continue.dev 中配置 Ollama 为默认 Provider，即可在 VS Code 侧边栏直接对话编程。
场景二：私有知识库 RAG 系统
结合 AnythingLLM 或 Open WebUI，将企业内网文档、PDF、Markdown 文件作为知识库，通过 Ollama 本地推理实现零数据外泄的智能问答系统。金融、医疗、法律等敏感行业尤为适用。
场景三：AI 应用本地开发测试
在开发 AI 应用时，使用 Ollama 替代 OpenAI API 进行本地测试和迭代，无需消耗云端配额，也避免了敏感测试数据外传的风险。Ollama 的 API 与 OpenAI 高度兼容，切换成本极低。
OPENAI_BASE_URL=http://localhost:11434/v1 和 OPENAI_API_KEY=ollama，现有基于 OpenAI SDK 的代码几乎不用改动即可切换至本地模型。
✨ 推荐理由
作为本地 LLM 领域的”Docker”，Ollama 几乎是所有 AI 开发者入门本地模型的第一站。它把复杂的模型量化、推理引擎配置、GPU 驱动适配等底层细节全部封装，真正做到了”一行命令运行大模型”。
我个人最常用的场景是在无网环境下做代码审查和文档撰写——启动 DeepSeek-R1 本地模型，响应速度非常快，且完全不担心代码泄露。相比云端 API，本地运行的成本优势在长期使用中极为明显：一次性下载模型，后续零费用无限调用。
另外值得一提的是 Ollama 的 REST API 与 OpenAI 高度兼容，这意味着你可以用同一套代码同时支持云端和本地模型，在开发阶段用本地模型省成本，上线时切换到 GPT-4 保质量，这种灵活性是其他本地 LLM 工具难以提供的。
如果你还没试过在本地运行 LLM，Ollama 是最好的起点。165K Stars 和 40K+ 社区集成不是偶然——它真的好用。
📥 下载地址
GitHub 热门 AI 开源项目系列