大语言模型网关

liteLLM

LiteLLM是一个开源LLM网关，将OpenAI、Anthropic、Google等100多个大语言模型提供商的API标准化为统一格式。它简化了模型访问、成本追踪、负载均衡和故障转移，已被Netflix等公司用于企业级应用。开源版免费，企业版提供高级支持。