配图
项目简介
Ollama 是一个轻量级的本地大语言模型（LLM）运行工具，让你能够在自己的设备上轻松部署和运行各种开源大语言模型，无需将数据发送到外部服务器，完全保护隐私。
截至2026年，Ollama 已在 GitHub 获得 17万+ Stars，成为最广泛使用的本地LLM运行时，Docker Hub下载量超过1亿次。
安装要求和过程
环境要求
- 操作系统：Linux（Ubuntu 20.04+）、macOS 11+、Windows 10（需WSL2）
- 内存：8GB以上（运行7B模型），16GB以上（运行13B模型），32GB以上（运行33B+模型）
- 存储：至少10GB可用空间（用于存放模型文件）
- GPU：可选，NVIDIA GPU（CUDA）、AMD GPU（ROCm）或苹果M系列芯片可加速推理
快速安装步骤
macOS/Linux 一键安装：
# Linux/macOS
curl -fsSL https://ollama.com/install.sh | sh
# macOS 也可用 Homebrew
brew install ollamaWindows 安装：
- 访问 https://ollama.com/download 下载 Windows 安装包
- 运行
OllamaSetup.exe，按照提示完成安装 - 打开命令提示符或PowerShell，输入
ollama --version验证安装
Docker 安装（推荐服务器环境）：
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama核心功能
- 一键运行本地模型：支持一键拉取和运行100+开源大语言模型，包括 Llama 3.3、Mistral、Qwen、Phi、DeepSeek R1 等热门模型。
- OpenAI API 兼容：原生提供兼容 OpenAI API 格式的 REST API（默认端口11434），可直接对接现有基于 OpenAI 生态开发的应用和工具。
- 智能硬件加速：自动适配 NVIDIA（CUDA）、AMD（ROCm）、苹果 M 系列芯片（Metal）的 GPU 加速，大幅提升推理速度。
- 模型自定义配置：支持通过 Modelfile 自定义模型参数（温度、上下文长度、系统提示词等），轻松创建专属模型。
- 多模态支持：最新版本支持视觉模型（如 Llama 3.2 Vision），可处理图像输入，实现图文混合推理。
典型使用场景
场景一：开发者本地 AI 应用开发
作为开发者，你可以使用 Ollama 在本地运行 LLM，用于：
- 开发和测试 AI 应用，无需支付 API 费用
- 对接 Open-WebUI 等前端界面，搭建私有化 AI 聊天助手
- 通过 API 集成到自己的应用中，实现本地智能推理
示例：用 Ollama 运行 Llama 3.3 8B 模型，通过 OpenAI 兼容 API 为本地应用添加 AI 能力。
场景二：企业私有化部署
对于企业用户，Ollama 提供了：
- 数据隐私保护：所有推理过程在本地完成，敏感数据无需上传云端
- 零 API 成本：无需为每次 API 调用付费，适合高频调用场景
- 离线可用：模型下载后，无需联网即可使用，适合内网环境
推荐理由
我个人从2025年开始使用 Ollama，它已经成为我本地 AI 开发的标配工具。推荐理由如下：
- 极简体验：一条命令就能安装，一条命令就能运行模型，对新手极其友好。
- 生态丰富：支持对接 Open-WebUI、Continue（VS Code 插件）、LangChain 等50+主流工具，可玩性极高。
- 性能优秀：支持 4-bit/8-bit 量化，即使在中端笔记本上也能流畅运行 7B 参数的模型。
- 活跃社区：GitHub 上40000+社区集成，几乎任何你能想到的工作流，都有人已经做好了集成方案。
如果你想要一个简单、快速、隐私安全的本地 LLM 运行方案，Ollama 绝对是首选。
下载地址
- 官方网站：https://ollama.com
- GitHub 仓库：https://github.com/ollama/ollama
- 文档中心：https://github.com/ollama/ollama/blob/main/README.md
- 模型库：安装后运行
ollama pull <模型名>即可拉取模型