通道分析

LiteLLM 网关 · 多通道容灾组 · 数据源 LiteLLM_SpendLogs(探活器不经过网关,不污染统计)
--% 端到端成功率
业务请求成功 - 重试耗尽仍失败 - 失败尝试里被重试救回(客户端无感)- 次
-
尝试总数
-
输入 tokens
-
输出 tokens
-
应计花费(按配置单价)
-
缓存命中
-
数据范围 (UTC)

LLM模型对比与选型排名 · 具体模型 × 通道 粒度

模型列是上游真实模型名(不再合并成"阿里百炼");同一模型部署在多个通道时各占一行,对比的是"这模型在哪家跑"。通道级(厂商/账号)视图保留在下方区块
加载中…
#具体模型通道服务别名配置 生产评级综合分 样本成功率 P50 msP95 msP99 ms首字 ms $/1M tok 接入建议
加载中…

评分构成与通道级一致:稳定性 40% · 速度 25%(P50/P95 加权)· 首字 10%(流式样本 ≥5 才计)· 成本 15% · 样本置信 10%(100 次封顶)。样本 <20 只标"样本不足";网关层失败行不参与排名。"$/1M tok" 为按部署配置单价折算的应计成本。

生产接入排名与建议

#通道配置 生产评级综合分 样本成功率 P50 msP95 msP99 ms $/1M tok 接入建议
加载中…

评分构成:稳定性 40%(尝试成功率)· 速度 25%(P50/P95 加权)· 首字 10%(流式样本 ≥5 才计)· 成本 15%(零成本满分)· 样本置信 10%(100 次封顶)。样本 <20 次只标"样本不足"不给生产评级;非 active 通道最高只评"未挂载"。评级随窗口切换重算。

通道对比

通道配置 样本 成功率 P50 msP95 msP99 ms 首字 ms 输入 tok输出 tok 花费 $折合 $/1M tok
加载中…

向量Embedding 独立统计 · 与 LLM / 重排分开排名

加载中…
#模型部署点角色 样本成功率 P50 msP95 ms tokens最近调用
加载中…

重排Rerank 独立统计 · 与 LLM / 向量分开排名

加载中…
#模型部署点角色 样本成功率 P50 msP95 ms tokens最近调用
加载中…

LLM虚拟 key × 模型 · 点击 key 行展开模型明细

每个 key 实际调用过的具体模型(事实口径)+ 当前网关挂载但该 key 从未触达的模型(配置口径,灰虚线)
key 别名请求成功率 用过模型数输入 tok输出 tok花费 $
加载中…

"用过模型数" = 时间窗内该 key 调用过的不同具体模型。展开区的"配置口径"解析自 config.yaml model_list(别名 → 部署点全集);未触达 = 挂载了但延迟路由/冷却从未把该 key 的流量导过去,可用来发现冷备冗余或配置浪费。

口径与偏差(读数前必看)

样本 = 尝试行。LiteLLM 每次重试尝试各记一行,"成功率"是单通道质量;业务真实成败看首屏端到端成功率(每笔业务请求一行终态)。

端到端成功率有 ≤0.2pp 高估。不可重试错误(如非标准错误体的 APIError)的失败行会被计入"被重试救回",LiteLLM 失败行不存状态码,无法完美区分。

花费是应计成本,不是账单。按部署级配置单价折算;通道处于免费额度期内时实际账单为 0。相对比较(谁贵谁省)可靠,绝对金额以控制台账单为准。

样本量天然不均。延迟路由会把流量导向快通道,对比稳定性先看样本量;测试期实验(金丝雀、故障演练)的失败也进统计。

首字延迟(TTFT)只统计流式样本(首末时间差 >200ms 判定),非流式请求不参与该列。

「模型对比」是模型 × 通道粒度。模型名取 SpendLogs 的 model 字段(上游真实模型名,去掉 openai/ 前缀展示);同一模型部署在多个通道时各占一行,对比的是"这模型在哪家跑"。未到达任何上游的网关层失败(重试耗尽/无可用通道)单列在表尾,不参与排名。

「虚拟 key × 模型」的配置口径解析自 config.yaml model_list(别名 → 部署点全集),不含 key 级模型白名单(如单独配置过,以网关实际鉴权为准)。