convez.ai
PluginDevOps & InfraestruturaIntermediário
sxueck

LLM Gateway

sxueck/llm-gateway

Gateway LLM com web UI, roteamento inteligente e monitoramento em produção

Ver no GitHub
BomPluginScore · de 0 a 100

Gateway distribuído leve para múltiplos provedores LLM com interface web para gerenciamento, roteamento e otimização. Suporta mais de 20 provedores (OpenAI, Anthropic, Google, DeepSeek), autenticação JWT, monitoramento de saúde em tempo real e proteção de PII integrada.

Instalação

$npx convez-ai sxueck/llm-gateway

1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.

Métricas

Estrelas
54
Forks
11
Acompanhando
0
Saúde
57%
Último commit
há 2 dias
Versão
v2.0.1
Issues abertas
1
Contribuidores
4

Casos de uso

  • Gerenciar múltiplos provedores LLM em um único ponto de entrada
  • Implementar load balancing e failover entre diferentes serviços de IA
  • Monitorar saúde, latência e disponibilidade de modelos em produção
  • Proteger dados sensíveis com detecção e ofuscação automática de PII
  • Controlar acesso com chaves virtuais e aplicar rate limiting

Veredito

Solução madura e pronta para produção, já processando bilhões de tokens. Oferece recurso raro de proteção PII nativa e monitoramento público sem autenticação, ideal para equipes gerenciando múltiplos provedores LLM em escala.

README

A tradução para o português deste README ainda está na fila.

LLM Gateway

GitHub Wiki License: MIT Node.js Bun

English | 中文

生产级别 LLM 网关管理系统,部署六个月已稳定负载超过 500亿 Token 的任务处理(持续累积中)

提供直观的 Web UI 界面,用于管理多个 LLM 提供商、虚拟密钥、路由配置和模型管理


目录


特性

功能描述
提供商管理支持 20+ 主流 LLM 提供商:OpenAI、Anthropic、Google、DeepSeek 等
虚拟密钥创建和管理虚拟 API 密钥,支持速率限制和访问控制
路由配置负载均衡和故障转移策略,提高服务可用性
模型管理统一管理所有提供商的模型,支持批量导入和自定义配置
多端点支持兼容 /v1/chat/completions、/v1/responses、/v1/messages 等端点
健康监控免登录健康检查页面,实时展示模型可用率、延迟分位数(P50/P95)和错误分布
用户认证基于 JWT 的安全认证机制
实时监控仪表盘展示系统状态和配置信息
中转站支持隔离 Codex 等上游强制注入的提示词,使下游应用对 Prompt 遵循更规范
内置 PII 保护自动检测和脱敏请求中的个人身份信息,支持流式响应还原

快速开始

前置要求

依赖版本要求说明
Node.js>= v22运行时环境
Bun>= v1.0Monorepo 脚本基于 Bun workspaces
MySQL8.x数据库(或兼容 MySQL 协议)
Docker-可选,用于容器化部署
最低配置1C2G开启 PII 隐私保护等计算密集功能需提升配置

安装

# 克隆仓库
git clone https://github.com/sxueck/llm-gateway.git
cd llm-gateway

# 安装依赖(包含 packages/backend 与 packages/web)
bun install

配置

创建 .env 文件并配置环境变量:

cp .env.example .env

编辑 .env 文件(至少需要配置 MySQL 与 JWT_SECRET):

PORT=3000
NODE_ENV=development
LOG_LEVEL=info
JWT_SECRET=your-secret-key-change-this-in-production

# MySQL 数据库配置
MYSQL_HOST=localhost
MYSQL_PORT=3306
MYSQL_USER=root
MYSQL_PASSWORD=your-mysql-password
MYSQL_DATABASE=llm_gateway

重要: 生产环境请务必修改 JWT_SECRET 为一个强随机字符串(至少 32 字符)

启动服务

# 同时启动后端(3000)与前端(5173)
bun run dev:all
服务地址
Web UIhttp://localhost:5173
Backend APIhttp://localhost:3000

单独启动:

# 仅后端
bun run dev:backend

# 仅前端
bun run dev:web

生产构建与启动(前后端分离部署):

# 构建前后端
bun run build

# 启动后端(生产模式)
bun run start

提示:前端产物位于 packages/web/dist,请使用 Nginx/静态文件服务单独部署

Docker Compose 部署

请参考 Docker 部署指南

快速使用

  1. 添加供应商 - 添加类似 DeepSeek 的 AI 服务商,并填入供应商密钥
  2. 添加模型 - 添加供应商提供的 AI 模型(如 DeepSeek 的 deepseek-chat)
  3. 创建虚拟密钥 - 用于访问 LLM Gateway 的 API
  4. (可选) 配置 Prompt 管理规则 - 实现 prompt 的动态修改和增强
  5. 使用虚拟密钥访问 API - 在应用中调用 LLM Gateway

健康监控

LLM Gateway 提供公开的健康监控页面,无需登录即可访问,实时展示各模型的可用性和性能指标。

启用持久监控

  1. 在"系统设置 -> 监控设置"中开启"启用持久监控"
  2. 首次开启时系统会自动创建一个"监控专用虚拟密钥":
    • 具备访问全部模型的能力
    • 仅用于健康检查
    • 默认禁用请求体/响应体日志

只有当"持久监控"为开启状态时,以下能力才会生效:

  • 后端健康检查调度器运行(周期性对目标执行健康检查)
  • 公开监控页面与相关免鉴权 API 可访问

提示:可随时关闭"持久监控",系统将停止调度器并关闭公开访问(公开端点返回 404)

访问健康监控页面

访问 http://your-gateway-url/status 即可查看健康监控页面。

功能特性

  • 实时状态监控 - 显示所有配置的模型目标的当前状态(健康/降级/宕机)
  • 可用率统计 - 展示 1小时 和 24小时 的可用率
  • 延迟指标 - P50 和 P95 延迟统计
  • 错误追踪 - 记录并展示错误类型和错误信息
  • 自动刷新 - 默认每 60 秒自动刷新数据
  • 详细历史 - 点击目标可查看详细的检查历史记录

API 端点

健康监控提供以下公开 API 端点(免鉴权):

端点描述
GET /public/health/summary获取所有目标的汇总信息
GET /public/health/targets获取目标清单
GET /public/health/detail?target_id=xxx获取单个目标的详细信息
GET /public/health/runs?target_id=xxx&window=24h&page=1&page_size=50获取检查历史记录

配置健康检查目标

健康检查目标通过数据库配置,可以为任何模型或虚拟模型设置健康检查:

-- 示例:为模型添加健康检查
INSERT INTO health_targets (id, name, type, target_id, enabled, check_interval_seconds, check_prompt)
VALUES ('target-1', 'DeepSeek Chat', 'model', 'model-id-here', 1, 300, 'Say "OK"');

主要配置参数:

参数说明默认值
check_interval_seconds检查频率(秒)300 秒(5分钟)
check_prompt健康检查使用的提示词"Say 'OK'"
check_configJSON 配置,可设置超时、重试等参数-

限流保护

健康监控 API 默认启用限流保护:

  • 每个 IP 每分钟最多 60 个请求
  • 超过限制将返回 429 错误

贡献

欢迎提交 Issue 和 Pull Request!


许可证

MIT License - LLM Gateway


致谢

Ver o original no GitHub

Bom para

Relacionados