设计一个大模型网关

业务应用 A / B / C（用 OpenAI 兼容的 SDK，只换 baseURL 和 Key）
        ▼
负载均衡
        ▼
网关集群（无状态，多副本、跨可用区）
  1 鉴权：虚拟 Key → 租户、项目、可用的模型
  2 限流和配额：RPM、TPM、并发数、预算（Redis）
  3 请求处理：参数校验、敏感信息脱敏、查询缓存
  4 路由：模型别名 → 具体部署（按权重、优先级、健康状态、租户限制）
  5 协议适配：统一格式 ↔ 各家格式，包括流式事件
  6 调用上游：分阶段超时、重试、故障切换、熔断
  7 记账：用量和费用写入消息队列
        ▼
供应商 A │ 供应商 B │ 云厂商托管的模型 │ 自部署的模型

旁路：配置中心（模型、路由、价格）、日志与审计存储、计费汇总、监控告警

CREATE TABLE api_keys (
  id         BIGINT PRIMARY KEY,
  tenant_id  BIGINT NOT NULL,
  key_hash   CHAR(64) NOT NULL UNIQUE,  -- 只存 SHA-256 哈希
  key_prefix VARCHAR(16) NOT NULL,      -- 展示和排查用，如 sk-gw-ab12
  models     JSON,                      -- 允许使用的模型别名
  rpm_limit INT, tpm_limit INT, daily_budget DECIMAL(12, 4),
  status     VARCHAR(16) NOT NULL       -- active / revoked
);

CREATE TABLE model_routes (             -- 模型别名 → 具体部署
  alias VARCHAR(64) NOT NULL, deployment_id BIGINT NOT NULL,
  weight   INT NOT NULL DEFAULT 100,
  priority INT NOT NULL DEFAULT 0       -- 数字小的优先，失败后尝试下一级
);

CREATE TABLE usage_logs (               -- 按天分区；费用按请求发生时生效的价格计算
  request_id CHAR(36) NOT NULL,
  tenant_id BIGINT, key_id BIGINT, alias VARCHAR(64), deployment_id BIGINT,
  input_tokens INT, output_tokens INT, cached_tokens INT, cost DECIMAL(12, 6),
  ttft_ms INT, latency_ms INT, status VARCHAR(16),
  created_at DATETIME NOT NULL,         -- 请求开始的时间，重发的用量事件里也是同一个值
  PRIMARY KEY (request_id, created_at)  -- 幂等写入；MySQL 分区表的主键必须包含分区列
);

async function routeChat(alias: string, req: ChatRequest, out: StreamWriter) {
  let lastError: unknown
  for (const dep of pickDeployments(alias)) { // 已按优先级、权重、健康状态排好序
    if (breaker.isOpen(dep.id)) continue // 熔断中的部署直接跳过
    let started = false
    try {
      // 适配器把统一格式转成各家的请求，再把各家的流式事件转回统一格式
      for await (const chunk of adapters[dep.provider].stream(dep, req)) {
        started = true
        out.write(chunk)
      }
      breaker.recordSuccess(dep.id)
      return
    } catch (err) {
      lastError = err
      // 参数错误这类请求换哪个部署都会失败，也不算部署的故障，不计入熔断
      if (!isRetryable(err)) throw err
      breaker.recordFailure(dep.id)
      // 已经输出过内容，不能换一个模型接着说
      if (started) throw err
    }
  }
  throw lastError ?? new Error(`没有可用的部署：${alias}`)
}