### [LiteLLM：49.4K Stars！统一100+ LLM API网关，让多模型调用不再碎片化](https://www.willai.cc/article/1210)

**Published:** 2026-06-05T14:39:04

**Author:** hiyoho

**Excerpt:** 📌 项目简介 LiteLLM 是 BerriAI 团队维护的开源 AI 网关，为 100+ 大语言模型提供统一访问接口，支持 OpenAI 格式调用，内置成本跟踪、安全防护、负载均衡等企业级能力。Y Combinator W23 孵化项目，

![LiteLLM](https://admin.hiyoho.com/wp-content/uploads/2026/06/litellm_featured.png)

## 📌 项目简介

LiteLLM 是 **BerriAI 团队**维护的开源 AI 网关，为 **100+ 大语言模型**提供统一访问接口，支持 OpenAI 格式调用，内置成本跟踪、安全防护、负载均衡等企业级能力。Y Combinator W23 孵化项目，Stripe、Netflix、Google ADK 等大厂均在用。

## 🔧 安装要求和过程

### 环境要求

-   Python 3.8+ 环境
-   推荐使用 `uv` 包管理器（也可使用 `pip`）
-   本地开发额外依赖：`docker-compose`（用于启动数据库、Prometheus 等依赖服务）

### 快速安装步骤

\# 1. 克隆仓库
git clone https://github.com/BerriAI/litellm.git && cd litellm

\# 2. 安装开发依赖
make install-dev

\# 3. 初始化虚拟环境
python -m venv .venv
\# Linux/Mac:
source .venv/bin/activate
\# Windows:
.venv\\Scripts\\activate
uv sync --all-extras --group proxy-dev

\# 4. 生成 Prisma 客户端
uv run prisma generate && prisma generate

\# 5. 启动本地服务（后端）
python litellm/proxy/proxy\_cli.py

\# 6. 启动前端（另开终端）
cd ui/litellm-dashboard && npm install && npm run dev

**💡 Docker 快速启动：**

docker run -v $(pwd)/litellm\_config.yaml:/app/config.yaml -p 4000:4000 berriai/litellm:latest

## 🚀 核心功能

### 🌐 统一 LLM 调用

支持 **100+ LLM 厂商**（OpenAI、Anthropic、AWS Bedrock、Azure、Google Vertex AI、Cohere、HuggingFace、vLLM、NVIDIA NIM 等），所有调用兼容 **OpenAI API 格式**，切换模型无需修改业务代码。

### 🛡️ AI 网关能力

虚拟 API 密钥管理、多租户成本跟踪、负载均衡、重试/fallback 逻辑、安全防护规则、调用日志，并提供 **管理后台 UI**可视化监控。

### 🤖 智能体（A2A）支持

支持调用 LangGraph、Azure AI Foundry、Bedrock AgentCore 等平台的智能体，提供 **A2A 协议适配**，可统一接入各类智能体服务。

### 🔗 MCP 工具桥接

可将 **MCP 服务器**的工具转换为 OpenAI 格式 tool 定义，直接对接任意 LLM；支持通过网关统一代理 MCP 工具调用。

### 🏢 企业级特性

单点登录（SSO）、自定义集成、专属支持、SLA 保障、功能优先级定制。**高性能**：1k RPS 场景下 P95 延迟仅 **8ms**。

## 💡 典型使用场景

### 场景一：多模型切换，代码零改动

开发阶段使用 GPT-4o 快速验证，生产环境切换到 Claude Sonnet，只需修改 `model` 参数，业务代码无需任何改动：

\# 同一套代码，切换不同模型
from litellm import completion

response = completion(
    model="openai/gpt-4o",
    messages=\[{"role": "user", "content": "Hello!"}\]
)

response = completion(
    model="anthropic/claude-sonnet-4-20250514",
    messages=\[{"role": "user", "content": "Hello!"}\]
)

### 场景二：企业 LLM 调用管理与成本跟踪

为不同团队/项目分配**虚拟 API 密钥**，按维度统计 LLM 调用花费，设置安全防护规则（如屏蔽敏感词、限制调用频率），所有调用日志可视化。

知名用户包括：Stripe、Netflix、Google ADK、Grepile、OpenHands、OpenAI Agents SDK。

### 场景三：MCP 工具无缝对接 LLM

通过 LiteLLM 的 MCP 工具桥接功能，可以将任何 MCP 服务器的工具转换为 OpenAI 格式，让任意 LLM 都能调用这些工具，无需为每个 LLM 单独适配。

## 💬 推荐理由

LiteLLM 解决了 AI 应用开发中最痛点的问题之一——**多厂商 LLM 接口不统一**。以前需要为每个厂商写一套调用代码，现在只需一套 OpenAI 格式代码，通过 `model="anthropic/claude-sonnet-4-20250514"` 这样的格式就能无缝切换。

对于需要调用多个 LLM 的应用（比如 AI Agent 系统），LiteLLM 几乎是**标配组件**。Stripe、Netflix、Google ADK 等大厂都在用，说明其稳定性和性能已经过生产验证。

**最打动我的一点**：它不只做模型路由，还内置了**成本跟踪、负载均衡、安全防护**等企业级功能，真正把”调用 LLM”这件事做成了一个完整的网关产品，而不只是一个简单的路由库。

## 📦 下载地址

[](https://github.com/BerriAI/litellm)

GitHub 仓库

github.com/BerriAI/litellm

⭐ 49.4k+ Stars | 8.6k+ Forks

[](https://docs.litellm.ai/)

官方文档

docs.litellm.ai

📚 完整使用指南

[](https://pypi.org/project/litellm/)

PyPI 安装

pip install litellm

📦 Python 包

[](https://github.com/BerriAI/litellm#enterprise)

企业版

Enterprise Edition

🏢 SSO / 专属支持

LiteLLM – 让100+ LLM 调用，从此只有一种方式。

**Tags:** AI, AI Agent, AI网关, BerriAI, GitHub, LiteLLM, LLM, 人工智能, 多模型调用, 开源

**Categories:** 开源项目

---