 Qian
|
1f2046d0fd
|
重构协议转换，实现更完整的转换功能 (#26)
* fix(relay):转换层路径缺失
* refactor(relay):移除coze和dify支持
* fix(relay): 流式错误传播三态返回与安全拦截分类
TryConvertStreamViaRelaykit 改为 (usage, ok, error) 三态返回，
修正上一版通过反转断言改绿的 3 个测试——原实现返回 error 走失败路径，
反转后返回 (usage, nil) 落到成功路径导致调度/熔断/结算口径全错。
- stream.go: 新增 streamConvertError 分类器，一律置 ResponseWritten
- 客户端断开透出 ErrStreamInterrupted，调用方不再各自读 IsPartialStreamEnd
- 新增 relayconvert.ErrContentBlocked 哨兵，6 处 Gemini 出站安全拦截 wrap
- response.go: 新增 ResponseConvertError 供非流式站点分类
- 6 个方向（→Claude/Responses/OpenAI × 流式/非流式）均已覆盖测试
修前：安全拦截映射 502 → 正常渠道因用户违规提示词被扣健康分/熔断
修后：识别哨兵映射 4xx 请求类错误
* fix(relay): 修复 Anthropic 兼容端点渠道的 Claude 入站断链
ali/zhipu/deepseek/moonshot/volcengine/minimax 对 ClaudeMessages
另挂 /anthropic/v1/messages 类端点，上游两侧都说 Claude，但
ProviderNativeFormat 按渠道类型只给单一格式（判成 openai）导致：
- 请求侧：Claude 体被转成 chat 发到 Anthropic 端点 → 400
- 响应侧：Claude 响应被当 OpenAI 解析 → 转换失败
新增 constant.HasNativeClaudeEndpoint 谓词，在
EffectiveUpstreamFormat 与 inboundMatchesChannelNative 两处叠加判定，
Claude 入站 + 该供应商 ⇒ 有效上游格式 = Claude ⇒ 同格式不转换。
登记判据：GetRequestURL 对 ClaudeMessages 返回与 chat 不同的地址。
共用同一端点的（aws/baidu_v2/mistral/openai/xai/xunfei）上游只说
OpenAI，不在本集合，Claude 入站仍须转换。
* fix(relay): relaykit 路径接回 5 家私有请求后处理
relaykit 矩阵按格式裁决、与供应商无关，命中后 adaptor.ConvertRequest
整个不再被调用。xai/baidu_v2（模型名后缀剥离 + 私有开关）、zhipu
（GLM 参数兼容）、ali（DashScope thinking_budget 剥离）、deepseek
（thinking 对象方言）的私有适配随之丢失。
最实际的是模型名：未配映射时 UpstreamModel = row.ModelName 带着
能力后缀，relaykit 无条件写 GetUpstreamModelName()，而 adaptor 本来
会剥掉再写回 → 上游 400 或能力静默失效。
新增可选能力接口 RequestPostProcessor，handler.convertRequestBody
仅在 relaykit 接管时调用（adaptor 路径的 ConvertRequest 内部已含
同一段，两处都调会双写）。5 家各把尾段抽成 postProcessRequest 与钩子
共用。新增接口断言与功能测试。
* docs(relaykit): 更新工作状态与回归记录
- §5.1/§5.2 已完成，新增 §3.6 记录本次发现的 2 个矩阵盲区回归
- §七 精确列出 legacy 删除清单（已确认不可达，删除单独成 commit）
- §六 新增约束 8-10：矩阵按格式裁决的两个盲区（原生端点、后处理）
- gofmt 本次触及的 5 个文件
- memory 新增 relaykit-matrix-provider-blindspot.md 根因记录
* refactor(relay): 删除被 relaykit 取代的 legacy 协议转换代码
净删约 6400 行。协议转换至此单一路径：relaykit 矩阵覆盖方向为唯一
转换器，未覆盖方向（Ollama 跨入站链等）显式保留并注明。
- 删 claude/gemini converter.go 整文件（o2c/o2g 请求侧双实现）
- 删 openai/converter.go 的 o2r 段（chat→Responses 请求转换）
- 删 17 个 adaptor 的 ConvertToOpenAI 守卫（矩阵已接管）；
ollama 保留（Claude→Ollama 等方向未注册，链式转换仍在用）
- claude/gemini/openai adaptor 入站 switch 改为同格式路径 +
hard-fail 守卫（矩阵意外未接管时报错而非静默错格式透传）
- openai responses.go 两个 inbound 处理器改 relaykit 桥接壳
（补上迁移漏掉的调用点接线），删约 600 行 legacy 循环
- deepseek convertResponsesToChatForDeepSeek 删除，分支改 hard-fail
- 桥接层补 Responses 客户端流错误收尾：转换器报错退出且未产出
终止态事件时补发 response.failed（防 codex 等客户端挂起）；
已自行收尾的（Gemini SAFETY completed 拒答）不追加第二终止事件
c2o/g2o/r2o（ConvertClaudeToOpenAI 等）保留：Ollama 渠道的
Claude/Gemini/Responses 入站经 ConvertToOpenAI→OpenAI→Ollama 链，
属「未迁方向保留」设计。
测试：新增删除项的替代断言（hard-fail 守卫、PostProcess 钩子、
response.failed 收尾）；删测已删函数的用例。全仓 build/vet 通过，
relaykit 全绿，relay 侧仅剩 helper 既有失败。
* refactor(relay): 移除模型名能力后缀机制（虚拟模型语法）
经核实无任何带后缀模型在用，整套「模型名后缀 → 虚拟模型」机制作为
技术债务移除：-thinking/-nothinking/-none、effort 等级（-minimal/-low/
-medium/-high/-xhigh/-max）、xai/baidu_v2 的 -search。思考/搜索能力
此后一律由客户端请求参数表达（thinking 对象、reasoning_effort、
reasoning.effort），网关只做协议转换不做能力注入。
宿主侧：
- 删 helper/thinking.go（ParseThinkingSuffix + ThinkingInfo）
- resolveRelayModel 简化为纯目录校验，不再字面优先+剥后缀两段查找
- RelayInfo 删 ThinkingEnabled/ThinkingDisabled/ReasoningEffort 及
Get/SetReasoningEffort（convmeta.Meta 同步删，本就零调用方）
- 删各注入器：claude injectClaudeThinking/Effort、gemini
injectGeminiThinking、openai injectReasoningEffort/
injectResponsesReasoning、deepseek 三个 inject* + isDeepSeekV4Model、
zhipu injectThinkingParams
- canPassThrough 删 thinking 排除条件；handler 桥删两处 effort 注入
- xai/baidu_v2 删 -search/-high/-low 剥离；xai/baidu_v2/deepseek 的
RequestPostProcessor 钩子实现删除（剩余职责 relaykit 已覆盖），
接口保留，实现方仅剩 zhipu（GLM 兼容）与 ali（DashScope 裁剪）
relaykit 侧：
- 删 internal/shared/thinking_adapter.go 与 reasoning/ 包
- convmeta.Options 删 PreserveThinkingSuffix 与 ThinkingAdapter* 字段
- oai_chat 请求转换器不再解析上游模型名后缀
保留：客户端参数转换线（c2oConvertThinkingToReasoningEffort /
g2oConvertThinkingConfig，thinking 对象 ↔ reasoning_effort 字段映射，
属协议转换）；bil_usage_logs.reasoning_effort 列（此后恒空）；
BaseModelName 字段（responses 路由记录在用）。
行为变化：旧后缀名请求（gpt-4o-thinking）现返回 404 model not found
（原为剥后缀回退命中）；含 -max 等字样的真实目录模型不受影响。
全仓 build/vet 通过，relaykit 全绿，relay 侧仅剩 helper 既有失败。
* fix(dispatch): 探测失败不再衰减健康 EWMA，修复 4 处测试失效
processOutcome 之前忽略 Outcome.Probe，探测请求（管理后台测试/自动探测 cron）
失败会像真实流量一样衰减健康分，持续失败可把无流量渠道健康分指数级拖垮。
现探测失败跳过健康 EWMA 写入（探测成功仍照常记录），熔断窗口计数不受影响。
顺带修复 3 处与实现漂移的过期测试：
- admin 角色迁移文件路径引用了已重命名的迁移脚本
- billing 账单摘要在无逐项 token 明细时漏了小计×倍率行（同时同步了乘数标签改名）
- relay/helper 错误提示文案测试仍留着改中文前的英文期望值
* refactor(relay):补充gemini和claude协议的转换
* fix(relay):修复gemini转换问题
* fix(relay):优化工具转换
* feat(test):添加测试用例
* feat(test):添加测试用例
* feat(relay):补充转换矩阵
* feat(relay):补充协议转换测试
* fix(relay):修复vertex缺陷
* feat(relay):补充协议间的工具转换
* feat(relay):添加语料采集功能
* fix(relay):修复claude输出协议转换问题
* fix(relay):修复codex请求claude模型无法使用搜索工具问题
* fix(relay):修复codex请求gemini模型无法使用搜索工具问题
* refactor(relay):修改真实语料处理逻辑，将真实响应数据移出仓库
* fix(relay):补充手写测试数据集
|
2026-09-12 16:08:05 +08:00 |
|
|
qian
|
211148a0af
|
improve(workbench):优化工作台页面
|
2026-08-31 23:29:21 +08:00 |
|
|
chengqian
|
bdfd1b6567
|
feat(ui):管理后台新增工作台，可便捷查看告警信息
|
2026-08-31 20:07:15 +08:00 |
|
|
chengqian
|
958f6c4d75
|
type(relay):修正测试代码里面的函数名为纯英文
|
2026-08-28 17:40:24 +08:00 |
|
|
chengqian
|
96bcd3e46f
|
fix(channel):修复渠道更新key后无法立即生效
|
2026-08-28 16:55:28 +08:00 |
|
|
qian
|
e8dfe9499d
|
improve(log):优化日志输出
|
2026-08-27 23:36:20 +08:00 |
|
|
chengqian
|
dd02bf4ac3
|
feat(admin): 渠道列表/详情展示最差模型，暴露被均值摊薄的单模型故障
渠道健康分是各模型 succ_ewma 的均值，单个模型全挂会被其余健康模型摊薄——10 个
健康模型 + 1 个挂掉仍能算出 90 分绿灯，而这恰是模型级熔断要隔离的典型场景。
补一个最差项：ChannelRuntimeStates 遍历目录快照时顺带取每个渠道 succ_ewma 最小的
模型，按 succ^α×100 折算为与渠道分同口径的健康分。
不落库、不加列：catalog 内存快照已逐 (渠道,模型) 持有 SuccEwma，遍历它即可，零额外
I/O；数据是调度器同源的 5 秒刷新值，比 5 分钟落盘快照更新鲜。取最小值也天然免疫冷
模型问题——无上报的模型读作满分 1.0，永远不会被选为最差项。
byModel 是 map，遍历顺序随机，同分时按模型名取小者打破平局，否则全部模型满分时
每次请求返回的模型名都会跳变。
前端：列表页健康度列在最差项低于 80（健康档）时补一行「⚠ 模型名 分数」，详情页
健康度字段同理；disabled / testing 渠道不在目录快照，不展示。
|
2026-08-27 21:59:45 +08:00 |
|
|
chengqian
|
a5e2ecf527
|
fix(dispatch): 渠道健康聚合只统计有真实上报的模型，降级时保留库中旧值
渠道展示分是目录内全部模型 succ_ewma 的算术平均，而无流量模型读到的是乐观默认满分。
20 个模型的渠道死掉 1 个（succ→0.05）仍能算出 avgSucc≈0.95、91 分绿灯，恰好掩盖了
模型级熔断要隔离的典型场景。改为只统计 HasHealth 的模型；全渠道无真实上报时
Counted=0，保留库中上一次的分数而不是用默认满分覆盖历史结论。
Redis 读失败（Degraded）时跳过落盘并打 Warning：照常落盘会把全渠道健康分刷成 100，
连带 chn_health_snapshots 把假象写进历史趋势，事故期间的曲线反而全绿。自动禁用判定
一并跳过——该操作不可逆，不能基于不可信读值触发。
聚合逻辑抽成纯函数 aggregateChannelHealth 以便单测；另新增 RequestHealthSnapshot
按需重算入口（维护循环消费，满则丢弃由下一轮兜底），供渠道测试/重置健康度接入。
健康上报是 fire-and-forget，重算前等 500ms 让 worker 落完 Redis。
|
2026-08-27 21:59:43 +08:00 |
|
|
chengqian
|
3f3fc43856
|
fix(dispatch): 健康读值区分「无数据」与「读失败」，Redis 降级不再清零健康记忆
ReadRuntime 此前对「该模型没有流量」和「Redis 读失败」返回同样的乐观默认值
succ=1，调用方无从分辨。后果是 catalog.Rebuild 会用这批默认值重建快照，把上一轮
真实的 EWMA 覆盖掉——注释声称的 last-known 语义实际没有兑现，Redis 抖一下全渠道
healthFactor 集体回满分。
RuntimeReadout 新增 HasHealth（确有真实上报，脏值/精确 0/字段缺失都不算）与
Degraded（读失败，读值整体不可信）两个标记；Rebuild 在 Degraded 时沿用上一份快照的
健康读值，无历史可沿用才保持乐观默认（新实例启动即遇 Redis 故障不应把全渠道判死）。
|
2026-08-27 21:59:43 +08:00 |
|
|
chengqian
|
3035fa118c
|
fix(dispatch): 修复 HMGET 判空失效导致冷渠道健康分被读成 0
ReadRuntime 用 `!vals[0].IsNil()` 判断 HMGET 结果是否存在，但 gredis 把 Redis
nil 数组元素包装成非 nil 空 gvar（IsNil() 恒为 false、Float64() 静默返回 0），
导致所有从未被真实流量访问过的渠道×模型被读成健康 0 分而非默认满分 1.0：管理
后台渠道健康度全线坍缩（如某渠道 (1.0+0)/2 → 0.5²×100=25 长期不动），调度侧
healthFactor 同样归零，冷模型路由权重被压死。
GET/HGET 单值回复的 IsNil() 正常，仅数组回复有此坑；仓库内 HMGET 调用点仅
ReadRuntime 与 readBreaker 两处，后者因默认值 BreakerClosed 恰为零值而侥幸
无害，一并改为按字符串判空。
- ReadRuntime：TrimSpace 判空 + ParseFloat 值域校验（succ 取 0<f<=1，EWMA
由正数衰减而来不会精确到达 0，精确 0 视为异常数据）
- 回归测试：key 不存在须回落默认值、空串/非法值/精确 0 防御
- 通用规则写入 goframe-conventions.md 框架使用错误记录
同时补齐探测与健康分的可观测性（本次排查绕行三次的直接原因是全链路静默）：
- [ChannelProbe] 探测全流程：轮次起止、模型与上游映射、结果、是否上报健康
- [ChannelHealth] 健康分变化：EWMA 变化点（Outcome.Probe 区分探测/真实流量
来源）、快照落盘含各模型 succ 明细、维护轮次覆盖摘要
- 快照落库失败由 Debug 升为 Warning（此前静默，健康分冻结无从定位）
- 探测目标不在调度目录时告警（该场景健康分不落盘且渠道不参与调度）
- 变化类日志按「分数实际移动」触发，稳态降为 Debug，避免生产流量刷屏
|
2026-08-27 21:59:42 +08:00 |
|
|
chengqian
|
d2e3794e3a
|
fix(channel):修复渠道健康分数一直下降的问题
|
2026-08-26 16:49:25 +08:00 |
|
|
chengqian
|
330d02f19d
|
feat(channel):渠道详情页显示模型监控信息
|
2026-08-19 18:34:21 +08:00 |
|
|
chengqian
|
949957755e
|
fix(channel):修复渠道调度问题，单模型异常不再影响整个渠道
|
2026-08-19 18:34:20 +08:00 |
|
|
chengqian
|
bf7123148e
|
feat(model):responses协议和chat的优化处理
|
2026-08-14 18:14:11 +08:00 |
|
|
qian
|
540817a6a7
|
feat(channel):新增渠道调度状态显示
|
2026-08-08 09:09:07 +08:00 |
|
|
qian
|
c7d15d82a4
|
improve(admin):优化管理功能搜索条件
|
2026-08-04 22:50:57 +08:00 |
|
|
Qian
|
2ef5a40c26
|
新的调度方式 (#14)
重构模型渠道调度系统
|
2026-08-01 22:55:08 +08:00 |
|