📌 项目简介
LiteLLM 是 BerriAI 团队维护的开源 AI 网关，为 100+ 大语言模型提供统一访问接口，支持 OpenAI 格式调用，内置成本跟踪、安全防护、负载均衡等企业级能力。Y Combinator W23 孵化项目，Stripe、Netflix、Google ADK 等大厂均在用。
🔧 安装要求和过程
环境要求
- Python 3.8+ 环境
- 推荐使用
uv包管理器（也可使用pip） - 本地开发额外依赖：
docker-compose（用于启动数据库、Prometheus 等依赖服务）
快速安装步骤
# 1. 克隆仓库 git clone https://github.com/BerriAI/litellm.git && cd litellm # 2. 安装开发依赖 make install-dev # 3. 初始化虚拟环境 python -m venv .venv # Linux/Mac: source .venv/bin/activate # Windows: .venv\Scripts\activate uv sync --all-extras --group proxy-dev # 4. 生成 Prisma 客户端 uv run prisma generate && prisma generate # 5. 启动本地服务（后端） python litellm/proxy/proxy_cli.py # 6. 启动前端（另开终端） cd ui/litellm-dashboard && npm install && npm run dev
💡 Docker 快速启动：
docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml -p 4000:4000 berriai/litellm:latest
🚀 核心功能
🌐 统一 LLM 调用
支持 100+ LLM 厂商（OpenAI、Anthropic、AWS Bedrock、Azure、Google Vertex AI、Cohere、HuggingFace、vLLM、NVIDIA NIM 等），所有调用兼容 OpenAI API 格式，切换模型无需修改业务代码。
🛡️ AI 网关能力
虚拟 API 密钥管理、多租户成本跟踪、负载均衡、重试/fallback 逻辑、安全防护规则、调用日志，并提供 管理后台 UI可视化监控。
🤖 智能体（A2A）支持
支持调用 LangGraph、Azure AI Foundry、Bedrock AgentCore 等平台的智能体，提供 A2A 协议适配，可统一接入各类智能体服务。
🔗 MCP 工具桥接
可将 MCP 服务器的工具转换为 OpenAI 格式 tool 定义，直接对接任意 LLM；支持通过网关统一代理 MCP 工具调用。
🏢 企业级特性
单点登录（SSO）、自定义集成、专属支持、SLA 保障、功能优先级定制。高性能：1k RPS 场景下 P95 延迟仅 8ms。
💡 典型使用场景
场景一：多模型切换，代码零改动
开发阶段使用 GPT-4o 快速验证，生产环境切换到 Claude Sonnet，只需修改 model 参数，业务代码无需任何改动：
# 同一套代码，切换不同模型 from litellm import completion response = completion( model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}] ) response = completion( model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}] )
场景二：企业 LLM 调用管理与成本跟踪
为不同团队/项目分配虚拟 API 密钥，按维度统计 LLM 调用花费，设置安全防护规则（如屏蔽敏感词、限制调用频率），所有调用日志可视化。
知名用户包括：Stripe、Netflix、Google ADK、Grepile、OpenHands、OpenAI Agents SDK。
场景三：MCP 工具无缝对接 LLM
通过 LiteLLM 的 MCP 工具桥接功能，可以将任何 MCP 服务器的工具转换为 OpenAI 格式，让任意 LLM 都能调用这些工具，无需为每个 LLM 单独适配。
💬 推荐理由
LiteLLM 解决了 AI 应用开发中最痛点的问题之一——多厂商 LLM 接口不统一。以前需要为每个厂商写一套调用代码，现在只需一套 OpenAI 格式代码，通过 model="anthropic/claude-sonnet-4-20250514" 这样的格式就能无缝切换。
对于需要调用多个 LLM 的应用（比如 AI Agent 系统），LiteLLM 几乎是标配组件。Stripe、Netflix、Google ADK 等大厂都在用，说明其稳定性和性能已经过生产验证。
最打动我的一点：它不只做模型路由，还内置了成本跟踪、负载均衡、安全防护等企业级功能，真正把”调用 LLM”这件事做成了一个完整的网关产品，而不只是一个简单的路由库。
📦 下载地址
LiteLLM – 让100+ LLM 调用，从此只有一种方式。