| # | 具体模型 | 通道 | 服务别名 | 配置 | 生产评级 | 综合分 | 样本 | 成功率 | P50 ms | P95 ms | P99 ms | 首字 ms | $/1M tok | 接入建议 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 加载中… | ||||||||||||||
评分构成与通道级一致:稳定性 40% · 速度 25%(P50/P95 加权)· 首字 10%(流式样本 ≥5 才计)· 成本 15% · 样本置信 10%(100 次封顶)。样本 <20 只标"样本不足";网关层失败行不参与排名。"$/1M tok" 为按部署配置单价折算的应计成本。
| # | 通道 | 配置 | 生产评级 | 综合分 | 样本 | 成功率 | P50 ms | P95 ms | P99 ms | $/1M tok | 接入建议 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 加载中… | |||||||||||
评分构成:稳定性 40%(尝试成功率)· 速度 25%(P50/P95 加权)· 首字 10%(流式样本 ≥5 才计)· 成本 15%(零成本满分)· 样本置信 10%(100 次封顶)。样本 <20 次只标"样本不足"不给生产评级;非 active 通道最高只评"未挂载"。评级随窗口切换重算。
| 通道 | 配置 | 样本 | 成功率 | P50 ms | P95 ms | P99 ms | 首字 ms | 输入 tok | 输出 tok | 花费 $ | 折合 $/1M tok |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 加载中… | |||||||||||
| # | 模型 | 部署点 | 角色 | 样本 | 成功率 | P50 ms | P95 ms | tokens | 最近调用 |
|---|---|---|---|---|---|---|---|---|---|
| 加载中… | |||||||||
| # | 模型 | 部署点 | 角色 | 样本 | 成功率 | P50 ms | P95 ms | tokens | 最近调用 |
|---|---|---|---|---|---|---|---|---|---|
| 加载中… | |||||||||
| key 别名 | 请求 | 成功率 | 用过模型数 | 输入 tok | 输出 tok | 花费 $ | |
|---|---|---|---|---|---|---|---|
| 加载中… | |||||||
"用过模型数" = 时间窗内该 key 调用过的不同具体模型。展开区的"配置口径"解析自 config.yaml model_list(别名 → 部署点全集);未触达 = 挂载了但延迟路由/冷却从未把该 key 的流量导过去,可用来发现冷备冗余或配置浪费。
样本 = 尝试行。LiteLLM 每次重试尝试各记一行,"成功率"是单通道质量;业务真实成败看首屏端到端成功率(每笔业务请求一行终态)。
端到端成功率有 ≤0.2pp 高估。不可重试错误(如非标准错误体的 APIError)的失败行会被计入"被重试救回",LiteLLM 失败行不存状态码,无法完美区分。
花费是应计成本,不是账单。按部署级配置单价折算;通道处于免费额度期内时实际账单为 0。相对比较(谁贵谁省)可靠,绝对金额以控制台账单为准。
样本量天然不均。延迟路由会把流量导向快通道,对比稳定性先看样本量;测试期实验(金丝雀、故障演练)的失败也进统计。
首字延迟(TTFT)只统计流式样本(首末时间差 >200ms 判定),非流式请求不参与该列。
「模型对比」是模型 × 通道粒度。模型名取 SpendLogs 的 model 字段(上游真实模型名,去掉 openai/ 前缀展示);同一模型部署在多个通道时各占一行,对比的是"这模型在哪家跑"。未到达任何上游的网关层失败(重试耗尽/无可用通道)单列在表尾,不参与排名。
「虚拟 key × 模型」的配置口径解析自 config.yaml model_list(别名 → 部署点全集),不含 key 级模型白名单(如单独配置过,以网关实际鉴权为准)。