### [LiteLLM：统一 100+ LLM 提供商的 AI 网关，52K+ Stars 让 AI 生产部署变得简单](https://www.willai.cc/article/3333)

**Published:** 2026-07-05T23:58:39

**Author:** hiyoho

**Excerpt:** 🔮 LiteLLM：统一 100+ LLM 提供商的 AI 网关 ⭐ 52,678+ Stars | 🚀 Y Combinator W23 | 💻 Python | 📅 2023年创建 📝 项目简介 LiteLLM 是 BerriAI 团队

.ai-article { max-width: 800px; margin: 0 auto; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', sans-serif; line-height: 1.8; color: #333; } .ai-article h2 { color: #1a73e8; border-bottom: 3px solid #1a73e8; padding-bottom: 8px; margin-top: 40px; font-size: 1.5em; } .ai-article h3 { color: #333; margin-top: 30px; font-size: 1.2em; } .ai-article .project-header { background: linear-gradient(135deg, #1a1a2e 0%, #8b5cf6 100%); padding: 30px; border-radius: 12px; color: white; margin-bottom: 30px; } .ai-article .project-header h1 { margin: 0 0 10px 0; font-size: 2em; } .ai-article .project-header .meta { color: #c4b5fd; font-size: 0.95em; } .ai-article .featured-img { width: 100%; border-radius: 12px; margin: 20px 0; box-shadow: 0 4px 20px rgba(0,0,0,0.1); } .ai-article .section { background: #f8f9fa; padding: 20px; border-radius: 8px; margin: 20px 0; border-left: 4px solid #1a73e8; } .ai-article .feature-list { list-style: none; padding: 0; } .ai-article .feature-list li { padding: 10px 0 10px 30px; position: relative; } .ai-article .feature-list li:before { content: "✅"; position: absolute; left: 0; } .ai-article .code-block { background: #1a1a2e; color: #8b5cf6; padding: 15px; border-radius: 8px; font-family: 'Courier New', monospace; font-size: 0.9em; overflow-x: auto; margin: 15px 0; } .ai-article .scenario { background: white; border: 1px solid #e0e0e0; border-radius: 8px; padding: 15px; margin: 15px 0; } .ai-article .scenario h4 { margin-top: 0; color: #6d28d9; } .ai-article .download-links { display: flex; gap: 15px; flex-wrap: wrap; margin: 20px 0; } .ai-article .download-links a { background: #1a73e8; color: white; padding: 10px 20px; border-radius: 6px; text-decoration: none; font-weight: bold; } .ai-article .recommendation { background: #fff3cd; border-left: 4px solid #ffc107; padding: 15px; border-radius: 0 8px 8px 0; margin: 20px 0; } .ai-article .tag-section { margin-top: 30px; padding-top: 20px; border-top: 2px solid #e0e0e0; }

# 🔮 LiteLLM：统一 100+ LLM 提供商的 AI 网关

⭐ 52,678+ Stars | 🚀 Y Combinator W23 | 💻 Python | 📅 2023年创建

  
![LiteLLM Logo](https://docs.litellm.ai/img/favicon.ico)

## 📝 项目简介

**LiteLLM** 是 BerriAI 团队开发的开源 AI 网关（AI Gateway），通过统一的 OpenAI 格式 API 接入 100+ 大语言模型提供商（OpenAI、Azure、Anthropic、Bedrock、Cohere、Hugging Face、vLLM、NVIDIA NIM 等），内置成本追踪、护栏（Guardrails）、负载均衡、日志审计等生产级特性，让 AI 应用从原型到规模化部署变得简单可靠。

作为 **Y Combinator W23** 孵化的项目，LiteLLM 已成为 AI 生产部署领域的事实标准基础设施，月下载量超百万，被 **Fortune 500** 多家企业采用。

## ⚙️ 安装要求和过程

### 环境要求

-   **Python**：3.8+（推荐 3.10+）
-   **Node.js**：18+（如需使用 TypeScript SDK）
-   **Docker**：可选，用于容器化部署
-   **数据库**：SQLite（默认）/ PostgreSQL（生产推荐）

### 快速安装

**方式一：Python SDK（轻量级，适合开发）**

pip install litellm

\# 最简调用示例  
import litellm  
response = litellm.completion(  
model=”gpt-4o”,  
messages=\[{“role”: “user”, “content”: “Hello!”}\]  
)  
print(response)

**方式二：Proxy Server（AI 网关，生产推荐）**

\# 安装 Proxy 组件  
uv tool install ‘litellm\[proxy\]’

\# 启动网关（默认端口 4000）  
litellm –model gpt-4o

\# 或使用 Docker  
docker run -v $(pwd)/litellm\_config.yaml:/app/config.yaml -p 4000:4000 ghcr.io/berriai/litellm:main

**方式三：Python SDK 调用本地网关**

import openai

client = openai.OpenAI(  
api\_key=”anything”, # LiteLLM 使用虚拟密钥  
base\_url=”http://0.0.0.0:4000″  
)  
response = client.chat.completions.create(  
model=”gpt-4o”,  
messages=\[{“role”: “user”, “content”: “Hello!”}\]  
)

## 🌟 核心功能

-   **🔗 100+ LLM 提供商统一接入**：一次集成，随意切换。支持 OpenAI / Azure / Anthropic / Bedrock / Vertex AI / Cohere / Hugging Face / vLLM / NVIDIA NIM 等，调用格式完全兼容 OpenAI API。
-   **💰 成本追踪与预算控制**：自动记录每次 API 调用的 Token 消耗和费用，支持按用户/团队/项目设置预算上限，防止 API 费用失控。Dashboard 实时展示成本趋势。
-   **⚖️ 负载均衡与故障转移**：支持多模型/多提供商之间的智能路由（轮询、最少占用、最快响应等策略），某个提供商宕机时自动切换，保障服务高可用。
-   **🛡️ 护栏（Guardrails）**：内置内容审核、敏感信息脱敏、输出格式校验等安全机制，支持对接 AWS Bedrock Guardrails、Azure Content Safety 等外部服务，让 AI 输出更安全可控。
-   **🔌 MCP 网关 + A2A 协议**：不仅是 LLM 网关，还支持 MCP（Model Context Protocol）服务器接入，以及 Google A2A（Agent-to-Agent）协议，让智能体之间也能通过 LiteLLM 互联互通。

## 💡 典型使用场景

#### 场景一：AI 创业公司快速接入多模型

某 AI 助手创业公司希望同时接入 GPT-4o（处理复杂推理）、Claude Sonnet（内容创作）、Gemini Flash（高速低成本），并随时根据性价比切换。使用 LiteLLM 后，只需修改 `model` 参数，无需重写任何调用代码，且所有成本自动追踪到各模型/用户维度。

**价值**：开发效率提升 5 倍，成本透明度 100%，切换模型零代码改动。

#### 场景二：企业级 AI 中台的统一网关

某 Fortune 500 企业构建内部 AI 中台，需要对接多家 LLM 服务商，同时管控各部门的 API 使用权限和预算。LiteLLM Proxy Server 部署在内网，统一管理所有虚拟密钥（Virtual Keys），按部门设置月度预算，所有调用日志实时同步到 Snowflake / BigQuery，满足合规审计要求。

**价值**：统一安全管理、成本可控、满足企业合规要求，支持 SSO / LDAP 认证集成。

#### 场景三：开源 AI 应用的云端部署

开发者将 AI 应用部署到 Render / Railway / AWS / GCP，通过 LiteLLM 统一管理不同环境的模型配置。利用 LiteLLM 的配置文件（YAML），开发/测试/生产环境使用不同模型和预算上限，且可一键切换，极大简化了 CI/CD 流程。

**价值**：多环境配置管理简单，一键部署，支持 Terraform 自动化。

## 🌟 推荐理由

如果要用一个词形容 LiteLLM，那就是**「刚需」**。

在 AI 应用开发的早期，大家都是直接调用 OpenAI API，简单直接。但随着业务发展，你会发现：

-   OpenAI 有时不可用，需要备用方案
-   不同模型性价比差异巨大，需要灵活切换
-   API 费用成了一笔糊涂账，不知道哪个功能/用户花了多少
-   要对接企业内部的安全合规要求

这些痛点，LiteLLM 一次性全部解决。它的设计哲学是「不重复造轮子，而是让轮子更好用」——不会要求你改变现有代码，只是在上层加了一个智能的路由层。

我最喜欢的功能是 **Virtual Keys（虚拟密钥）**：给每个用户/团队分配独立的 API Key，他们用这个 Key 调用 LiteLLM 网关，网关再转发到真实的 LLM API。这样既能精确追踪成本，又不必把真实的 OpenAI/Azure Key 暴露给所有人。

另外，LiteLLM 对 **MCP 协议**和 **A2A 协议**的支持也走在行业前列，这意味着它不仅是 LLM 的网关，更是未来 AI 智能体生态的互联枢纽。

如果你正在构建生产级 AI 应用，LiteLLM 是你不应该跳过的基础设施。

## 📥 下载地址

[GitHub 仓库](https://github.com/BerriAI/litellm)  
[官方文档](https://docs.litellm.ai/docs/)  
[Enterprise 版本](https://litellm.ai/enterprise)  
[PyPI 安装](https://pypi.org/project/litellm/)

**快速开始：**

\# 仅需一行命令，即刻体验  
uv tool install ‘litellm\[proxy\]’  
litellm –model gpt-4o

\# 浏览器打开 Dashboard  
open http://localhost:4000/ui

**适用人群**：AI 应用开发者、企业 AI 平台团队、LLM 运维工程师、全栈开发者

**许可证**：NOASSERTION（商业使用请查看最新许可证）

**官方支持**：Discord 社区 / WhatsApp 群组 / Slack 频道，响应迅速

**Tags:** AI网关, API代理, LiteLLM, LLMOps, Y Combinator, 成本追踪, 虚拟密钥, 负载均衡

**Categories:** 开源项目

---