🔮 LiteLLM：统一 100+ LLM 提供商的 AI 网关
📝 项目简介
LiteLLM 是 BerriAI 团队开发的开源 AI 网关（AI Gateway），通过统一的 OpenAI 格式 API 接入 100+ 大语言模型提供商（OpenAI、Azure、Anthropic、Bedrock、Cohere、Hugging Face、vLLM、NVIDIA NIM 等），内置成本追踪、护栏（Guardrails）、负载均衡、日志审计等生产级特性，让 AI 应用从原型到规模化部署变得简单可靠。
作为 Y Combinator W23 孵化的项目，LiteLLM 已成为 AI 生产部署领域的事实标准基础设施，月下载量超百万，被 Fortune 500 多家企业采用。
⚙️ 安装要求和过程
环境要求
- Python：3.8+（推荐 3.10+）
- Node.js：18+（如需使用 TypeScript SDK）
- Docker：可选，用于容器化部署
- 数据库：SQLite（默认）/ PostgreSQL（生产推荐）
快速安装
方式一：Python SDK（轻量级，适合开发）
# 最简调用示例
import litellm
response = litellm.completion(
model=”gpt-4o”,
messages=[{“role”: “user”, “content”: “Hello!”}]
)
print(response)
方式二：Proxy Server（AI 网关，生产推荐）
uv tool install ‘litellm[proxy]’
# 启动网关（默认端口 4000）
litellm –model gpt-4o
# 或使用 Docker
docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml -p 4000:4000 ghcr.io/berriai/litellm:main
方式三：Python SDK 调用本地网关
client = openai.OpenAI(
api_key=”anything”, # LiteLLM 使用虚拟密钥
base_url=”http://0.0.0.0:4000″
)
response = client.chat.completions.create(
model=”gpt-4o”,
messages=[{“role”: “user”, “content”: “Hello!”}]
)
🌟 核心功能
- 🔗 100+ LLM 提供商统一接入：一次集成，随意切换。支持 OpenAI / Azure / Anthropic / Bedrock / Vertex AI / Cohere / Hugging Face / vLLM / NVIDIA NIM 等，调用格式完全兼容 OpenAI API。
- 💰 成本追踪与预算控制：自动记录每次 API 调用的 Token 消耗和费用，支持按用户/团队/项目设置预算上限，防止 API 费用失控。Dashboard 实时展示成本趋势。
- ⚖️ 负载均衡与故障转移：支持多模型/多提供商之间的智能路由（轮询、最少占用、最快响应等策略），某个提供商宕机时自动切换，保障服务高可用。
- 🛡️ 护栏（Guardrails）：内置内容审核、敏感信息脱敏、输出格式校验等安全机制，支持对接 AWS Bedrock Guardrails、Azure Content Safety 等外部服务，让 AI 输出更安全可控。
- 🔌 MCP 网关 + A2A 协议：不仅是 LLM 网关，还支持 MCP（Model Context Protocol）服务器接入，以及 Google A2A（Agent-to-Agent）协议，让智能体之间也能通过 LiteLLM 互联互通。
💡 典型使用场景
场景一：AI 创业公司快速接入多模型
某 AI 助手创业公司希望同时接入 GPT-4o（处理复杂推理）、Claude Sonnet（内容创作）、Gemini Flash（高速低成本），并随时根据性价比切换。使用 LiteLLM 后，只需修改 model 参数，无需重写任何调用代码，且所有成本自动追踪到各模型/用户维度。
价值：开发效率提升 5 倍，成本透明度 100%，切换模型零代码改动。
场景二：企业级 AI 中台的统一网关
某 Fortune 500 企业构建内部 AI 中台，需要对接多家 LLM 服务商，同时管控各部门的 API 使用权限和预算。LiteLLM Proxy Server 部署在内网，统一管理所有虚拟密钥（Virtual Keys），按部门设置月度预算，所有调用日志实时同步到 Snowflake / BigQuery，满足合规审计要求。
价值：统一安全管理、成本可控、满足企业合规要求，支持 SSO / LDAP 认证集成。
场景三：开源 AI 应用的云端部署
开发者将 AI 应用部署到 Render / Railway / AWS / GCP，通过 LiteLLM 统一管理不同环境的模型配置。利用 LiteLLM 的配置文件（YAML），开发/测试/生产环境使用不同模型和预算上限，且可一键切换，极大简化了 CI/CD 流程。
价值：多环境配置管理简单，一键部署，支持 Terraform 自动化。
🌟 推荐理由
如果要用一个词形容 LiteLLM，那就是「刚需」。
在 AI 应用开发的早期，大家都是直接调用 OpenAI API，简单直接。但随着业务发展，你会发现：
- OpenAI 有时不可用，需要备用方案
- 不同模型性价比差异巨大，需要灵活切换
- API 费用成了一笔糊涂账，不知道哪个功能/用户花了多少
- 要对接企业内部的安全合规要求
这些痛点，LiteLLM 一次性全部解决。它的设计哲学是「不重复造轮子，而是让轮子更好用」——不会要求你改变现有代码，只是在上层加了一个智能的路由层。
我最喜欢的功能是 Virtual Keys（虚拟密钥）：给每个用户/团队分配独立的 API Key，他们用这个 Key 调用 LiteLLM 网关，网关再转发到真实的 LLM API。这样既能精确追踪成本，又不必把真实的 OpenAI/Azure Key 暴露给所有人。
另外，LiteLLM 对 MCP 协议和 A2A 协议的支持也走在行业前列，这意味着它不仅是 LLM 的网关，更是未来 AI 智能体生态的互联枢纽。
如果你正在构建生产级 AI 应用，LiteLLM 是你不应该跳过的基础设施。
📥 下载地址
快速开始：
uv tool install ‘litellm[proxy]’
litellm –model gpt-4o
# 浏览器打开 Dashboard
open http://localhost:4000/ui
适用人群：AI 应用开发者、企业 AI 平台团队、LLM 运维工程师、全栈开发者
许可证：NOASSERTION（商业使用请查看最新许可证）
官方支持：Discord 社区 / WhatsApp 群组 / Slack 频道，响应迅速