* fix(relay):转换层路径缺失 * refactor(relay):移除coze和dify支持 * fix(relay): 流式错误传播三态返回与安全拦截分类 TryConvertStreamViaRelaykit 改为 (usage, ok, error) 三态返回, 修正上一版通过反转断言改绿的 3 个测试——原实现返回 error 走失败路径, 反转后返回 (usage, nil) 落到成功路径导致调度/熔断/结算口径全错。 - stream.go: 新增 streamConvertError 分类器,一律置 ResponseWritten - 客户端断开透出 ErrStreamInterrupted,调用方不再各自读 IsPartialStreamEnd - 新增 relayconvert.ErrContentBlocked 哨兵,6 处 Gemini 出站安全拦截 wrap - response.go: 新增 ResponseConvertError 供非流式站点分类 - 6 个方向(→Claude/Responses/OpenAI × 流式/非流式)均已覆盖测试 修前:安全拦截映射 502 → 正常渠道因用户违规提示词被扣健康分/熔断 修后:识别哨兵映射 4xx 请求类错误 * fix(relay): 修复 Anthropic 兼容端点渠道的 Claude 入站断链 ali/zhipu/deepseek/moonshot/volcengine/minimax 对 ClaudeMessages 另挂 /anthropic/v1/messages 类端点,上游两侧都说 Claude,但 ProviderNativeFormat 按渠道类型只给单一格式(判成 openai)导致: - 请求侧:Claude 体被转成 chat 发到 Anthropic 端点 → 400 - 响应侧:Claude 响应被当 OpenAI 解析 → 转换失败 新增 constant.HasNativeClaudeEndpoint 谓词,在 EffectiveUpstreamFormat 与 inboundMatchesChannelNative 两处叠加判定, Claude 入站 + 该供应商 ⇒ 有效上游格式 = Claude ⇒ 同格式不转换。 登记判据:GetRequestURL 对 ClaudeMessages 返回与 chat 不同的地址。 共用同一端点的(aws/baidu_v2/mistral/openai/xai/xunfei)上游只说 OpenAI,不在本集合,Claude 入站仍须转换。 * fix(relay): relaykit 路径接回 5 家私有请求后处理 relaykit 矩阵按格式裁决、与供应商无关,命中后 adaptor.ConvertRequest 整个不再被调用。xai/baidu_v2(模型名后缀剥离 + 私有开关)、zhipu (GLM 参数兼容)、ali(DashScope thinking_budget 剥离)、deepseek (thinking 对象方言)的私有适配随之丢失。 最实际的是模型名:未配映射时 UpstreamModel = row.ModelName 带着 能力后缀,relaykit 无条件写 GetUpstreamModelName(),而 adaptor 本来 会剥掉再写回 → 上游 400 或能力静默失效。 新增可选能力接口 RequestPostProcessor,handler.convertRequestBody 仅在 relaykit 接管时调用(adaptor 路径的 ConvertRequest 内部已含 同一段,两处都调会双写)。5 家各把尾段抽成 postProcessRequest 与钩子 共用。新增接口断言与功能测试。 * docs(relaykit): 更新工作状态与回归记录 - §5.1/§5.2 已完成,新增 §3.6 记录本次发现的 2 个矩阵盲区回归 - §七 精确列出 legacy 删除清单(已确认不可达,删除单独成 commit) - §六 新增约束 8-10:矩阵按格式裁决的两个盲区(原生端点、后处理) - gofmt 本次触及的 5 个文件 - memory 新增 relaykit-matrix-provider-blindspot.md 根因记录 * refactor(relay): 删除被 relaykit 取代的 legacy 协议转换代码 净删约 6400 行。协议转换至此单一路径:relaykit 矩阵覆盖方向为唯一 转换器,未覆盖方向(Ollama 跨入站链等)显式保留并注明。 - 删 claude/gemini converter.go 整文件(o2c/o2g 请求侧双实现) - 删 openai/converter.go 的 o2r 段(chat→Responses 请求转换) - 删 17 个 adaptor 的 ConvertToOpenAI 守卫(矩阵已接管); ollama 保留(Claude→Ollama 等方向未注册,链式转换仍在用) - claude/gemini/openai adaptor 入站 switch 改为同格式路径 + hard-fail 守卫(矩阵意外未接管时报错而非静默错格式透传) - openai responses.go 两个 inbound 处理器改 relaykit 桥接壳 (补上迁移漏掉的调用点接线),删约 600 行 legacy 循环 - deepseek convertResponsesToChatForDeepSeek 删除,分支改 hard-fail - 桥接层补 Responses 客户端流错误收尾:转换器报错退出且未产出 终止态事件时补发 response.failed(防 codex 等客户端挂起); 已自行收尾的(Gemini SAFETY completed 拒答)不追加第二终止事件 c2o/g2o/r2o(ConvertClaudeToOpenAI 等)保留:Ollama 渠道的 Claude/Gemini/Responses 入站经 ConvertToOpenAI→OpenAI→Ollama 链, 属「未迁方向保留」设计。 测试:新增删除项的替代断言(hard-fail 守卫、PostProcess 钩子、 response.failed 收尾);删测已删函数的用例。全仓 build/vet 通过, relaykit 全绿,relay 侧仅剩 helper 既有失败。 * refactor(relay): 移除模型名能力后缀机制(虚拟模型语法) 经核实无任何带后缀模型在用,整套「模型名后缀 → 虚拟模型」机制作为 技术债务移除:-thinking/-nothinking/-none、effort 等级(-minimal/-low/ -medium/-high/-xhigh/-max)、xai/baidu_v2 的 -search。思考/搜索能力 此后一律由客户端请求参数表达(thinking 对象、reasoning_effort、 reasoning.effort),网关只做协议转换不做能力注入。 宿主侧: - 删 helper/thinking.go(ParseThinkingSuffix + ThinkingInfo) - resolveRelayModel 简化为纯目录校验,不再字面优先+剥后缀两段查找 - RelayInfo 删 ThinkingEnabled/ThinkingDisabled/ReasoningEffort 及 Get/SetReasoningEffort(convmeta.Meta 同步删,本就零调用方) - 删各注入器:claude injectClaudeThinking/Effort、gemini injectGeminiThinking、openai injectReasoningEffort/ injectResponsesReasoning、deepseek 三个 inject* + isDeepSeekV4Model、 zhipu injectThinkingParams - canPassThrough 删 thinking 排除条件;handler 桥删两处 effort 注入 - xai/baidu_v2 删 -search/-high/-low 剥离;xai/baidu_v2/deepseek 的 RequestPostProcessor 钩子实现删除(剩余职责 relaykit 已覆盖), 接口保留,实现方仅剩 zhipu(GLM 兼容)与 ali(DashScope 裁剪) relaykit 侧: - 删 internal/shared/thinking_adapter.go 与 reasoning/ 包 - convmeta.Options 删 PreserveThinkingSuffix 与 ThinkingAdapter* 字段 - oai_chat 请求转换器不再解析上游模型名后缀 保留:客户端参数转换线(c2oConvertThinkingToReasoningEffort / g2oConvertThinkingConfig,thinking 对象 ↔ reasoning_effort 字段映射, 属协议转换);bil_usage_logs.reasoning_effort 列(此后恒空); BaseModelName 字段(responses 路由记录在用)。 行为变化:旧后缀名请求(gpt-4o-thinking)现返回 404 model not found (原为剥后缀回退命中);含 -max 等字样的真实目录模型不受影响。 全仓 build/vet 通过,relaykit 全绿,relay 侧仅剩 helper 既有失败。 * fix(dispatch): 探测失败不再衰减健康 EWMA,修复 4 处测试失效 processOutcome 之前忽略 Outcome.Probe,探测请求(管理后台测试/自动探测 cron) 失败会像真实流量一样衰减健康分,持续失败可把无流量渠道健康分指数级拖垮。 现探测失败跳过健康 EWMA 写入(探测成功仍照常记录),熔断窗口计数不受影响。 顺带修复 3 处与实现漂移的过期测试: - admin 角色迁移文件路径引用了已重命名的迁移脚本 - billing 账单摘要在无逐项 token 明细时漏了小计×倍率行(同时同步了乘数标签改名) - relay/helper 错误提示文案测试仍留着改中文前的英文期望值 * refactor(relay):补充gemini和claude协议的转换 * fix(relay):修复gemini转换问题 * fix(relay):优化工具转换 * feat(test):添加测试用例 * feat(test):添加测试用例 * feat(relay):补充转换矩阵 * feat(relay):补充协议转换测试 * fix(relay):修复vertex缺陷 * feat(relay):补充协议间的工具转换 * feat(relay):添加语料采集功能 * fix(relay):修复claude输出协议转换问题 * fix(relay):修复codex请求claude模型无法使用搜索工具问题 * fix(relay):修复codex请求gemini模型无法使用搜索工具问题 * refactor(relay):修改真实语料处理逻辑,将真实响应数据移出仓库 * fix(relay):补充手写测试数据集
204 lines
6.9 KiB
Go
204 lines
6.9 KiB
Go
// wire_fidelity_test.go — DTO wire 协议保真测试。
|
||
//
|
||
// 目的:验证 DTO 结构体与各上游 API 的真实 wire 格式一致。测试语料
|
||
// (testdata/wire/*.json)按官方 API 文档的字段形状手工编写,视为 wire 真相;
|
||
// 测试将语料解码进 DTO 再重新编码,逐 key 对比「语料 ⊆ 重编码结果」:
|
||
// - key 丢失 → DTO 缺字段或 json tag 拼错(如历史上的 thoughtBudget/thinkingBudget)
|
||
// - 值变形 → DTO 字段类型错误(如 wire 是对象却声明为 string)
|
||
// - 解码报错 → DTO 类型与 wire 类型冲突
|
||
//
|
||
// 该测试是协议转换金样本套件的地基:转换测试的输入输出都以 DTO 表达,
|
||
// 若 DTO 本身偏离 wire 格式,金样本会把错误固化成「标准答案」。
|
||
// 新增/修改 DTO 字段时,请同步在语料中补充该字段的官方示例值。
|
||
package dto_test
|
||
|
||
import (
|
||
"encoding/json"
|
||
"fmt"
|
||
"os"
|
||
"path/filepath"
|
||
"strings"
|
||
"testing"
|
||
|
||
"github.com/qianfree/team-api/relaykit/dto"
|
||
)
|
||
|
||
// wireCases 语料清单:文件名 → 解码目标 DTO 类型。
|
||
// 新增语料文件后必须在此登记,未登记的 testdata/wire/*.json 会被测试报错提醒。
|
||
var wireCases = map[string]func(t *testing.T, data []byte) any{
|
||
"openai_chat_request_full.json": decodeInto[dto.GeneralOpenAIRequest],
|
||
"openai_chat_response_full.json": decodeInto[dto.ChatCompletionResponse],
|
||
"claude_request_full.json": decodeInto[dto.ClaudeRequest],
|
||
"claude_response_full.json": decodeInto[dto.ClaudeResponse],
|
||
"gemini_request_full.json": decodeInto[dto.GeminiChatRequest],
|
||
"gemini_response_full.json": decodeInto[dto.GeminiChatResponse],
|
||
"responses_request_full.json": decodeInto[dto.OpenAIResponsesRequest],
|
||
"responses_response_full.json": decodeInto[dto.OpenAIResponsesResponse],
|
||
"ollama_chat_request_full.json": decodeInto[dto.OllamaChatRequest],
|
||
"ollama_chat_response_full.json": decodeInto[dto.OllamaChatResponse],
|
||
|
||
// 流式 chunk / 事件形状(流式转换器逐帧解码的目标类型)
|
||
"openai_chat_stream_chunk_full.json": decodeInto[dto.ChatCompletionStreamResponse],
|
||
"claude_stream_event_message_start.json": decodeInto[dto.ClaudeResponse],
|
||
"claude_stream_event_content_block_start.json": decodeInto[dto.ClaudeResponse],
|
||
"claude_stream_event_content_block_delta.json": decodeInto[dto.ClaudeResponse],
|
||
"claude_stream_event_thinking_delta.json": decodeInto[dto.ClaudeResponse],
|
||
"claude_stream_event_signature_delta.json": decodeInto[dto.ClaudeResponse],
|
||
"claude_stream_event_message_delta.json": decodeInto[dto.ClaudeResponse],
|
||
"gemini_stream_chunk_full.json": decodeInto[dto.GeminiChatResponse],
|
||
"responses_stream_event_text_delta.json": decodeInto[dto.ResponsesStreamResponse],
|
||
"responses_stream_event_output_item_added.json": decodeInto[dto.ResponsesStreamResponse],
|
||
"responses_stream_event_reasoning_part.json": decodeInto[dto.ResponsesStreamResponse],
|
||
}
|
||
|
||
func decodeInto[T any](t *testing.T, data []byte) any {
|
||
t.Helper()
|
||
var v T
|
||
if err := json.Unmarshal(data, &v); err != nil {
|
||
t.Fatalf("解码进 DTO 失败(DTO 字段类型与 wire 冲突?): %v", err)
|
||
}
|
||
return v
|
||
}
|
||
|
||
func TestWireFidelity(t *testing.T) {
|
||
files, err := os.ReadDir(filepath.Join("testdata", "wire"))
|
||
if err != nil {
|
||
t.Fatalf("读取 testdata/wire 目录失败: %v", err)
|
||
}
|
||
|
||
seen := make(map[string]bool)
|
||
for _, f := range files {
|
||
if !strings.HasSuffix(f.Name(), ".json") {
|
||
continue
|
||
}
|
||
seen[f.Name()] = true
|
||
decode, ok := wireCases[f.Name()]
|
||
if !ok {
|
||
t.Errorf("语料文件 %s 未在 wireCases 登记解码类型", f.Name())
|
||
continue
|
||
}
|
||
t.Run(f.Name(), func(t *testing.T) {
|
||
data, err := os.ReadFile(filepath.Join("testdata", "wire", f.Name()))
|
||
if err != nil {
|
||
t.Fatalf("读取语料失败: %v", err)
|
||
}
|
||
|
||
// wire 真相(语料原文)
|
||
var want any
|
||
if err := json.Unmarshal(data, &want); err != nil {
|
||
t.Fatalf("语料不是合法 JSON: %v", err)
|
||
}
|
||
|
||
// wire → DTO → wire 往返
|
||
v := decode(t, data)
|
||
out, err := json.Marshal(v)
|
||
if err != nil {
|
||
t.Fatalf("DTO 重编码失败: %v", err)
|
||
}
|
||
var got any
|
||
if err := json.Unmarshal(out, &got); err != nil {
|
||
t.Fatalf("重编码结果不是合法 JSON: %v", err)
|
||
}
|
||
|
||
// 语料 ⊆ 重编码结果:语料中的每个 key/值都必须在往返后幸存
|
||
var diffs []string
|
||
subsetDiff("$", want, got, &diffs)
|
||
if len(diffs) > 0 {
|
||
t.Errorf("DTO 往返丢失/变形了 %d 处 wire 字段:\n %s",
|
||
len(diffs), strings.Join(diffs, "\n "))
|
||
}
|
||
})
|
||
}
|
||
|
||
for name := range wireCases {
|
||
if !seen[name] {
|
||
t.Errorf("wireCases 登记的语料文件 %s 不存在", name)
|
||
}
|
||
}
|
||
}
|
||
|
||
// subsetDiff 递归检查 want 的每个 key 路径在 got 中存在且值相等,差异追加进 diffs。
|
||
// want 中值为 null 的 key 在 got 中缺失视为等价(omitempty 指针字段的正常行为)。
|
||
func subsetDiff(path string, want, got any, diffs *[]string) {
|
||
if want == nil {
|
||
return // null ≈ 缺失/为 null,均可接受
|
||
}
|
||
switch w := want.(type) {
|
||
case map[string]any:
|
||
g, ok := got.(map[string]any)
|
||
if !ok {
|
||
*diffs = append(*diffs, fmt.Sprintf("%s: wire 为对象,往返后为 %s", path, jsonTypeName(got)))
|
||
return
|
||
}
|
||
for k, wv := range w {
|
||
gv, exists := g[k]
|
||
if !exists {
|
||
if isJSONZero(wv) {
|
||
// omitempty 对零值(0/""/false/空数组/空对象/null)的正常省略:
|
||
// wire 语义上缺失 ≈ 零值,不算丢失。语料中语义敏感的字段请用非零值。
|
||
continue
|
||
}
|
||
*diffs = append(*diffs, fmt.Sprintf("%s.%s: key 丢失(DTO 缺字段或 tag 拼错)", path, k))
|
||
continue
|
||
}
|
||
subsetDiff(path+"."+k, wv, gv, diffs)
|
||
}
|
||
case []any:
|
||
g, ok := got.([]any)
|
||
if !ok {
|
||
*diffs = append(*diffs, fmt.Sprintf("%s: wire 为数组,往返后为 %s", path, jsonTypeName(got)))
|
||
return
|
||
}
|
||
if len(g) != len(w) {
|
||
*diffs = append(*diffs, fmt.Sprintf("%s: 数组长度 %d → %d", path, len(w), len(g)))
|
||
return
|
||
}
|
||
for i := range w {
|
||
subsetDiff(fmt.Sprintf("%s[%d]", path, i), w[i], g[i], diffs)
|
||
}
|
||
default:
|
||
// 标量:两侧都经过 encoding/json,数字统一为 float64,直接比较
|
||
if want != got {
|
||
*diffs = append(*diffs, fmt.Sprintf("%s: 值变形 %v → %v", path, want, got))
|
||
}
|
||
}
|
||
}
|
||
|
||
// isJSONZero 判断 wire 值是否为 JSON 零值(omitempty 会省略的形态)。
|
||
func isJSONZero(v any) bool {
|
||
switch t := v.(type) {
|
||
case nil:
|
||
return true
|
||
case float64:
|
||
return t == 0
|
||
case string:
|
||
return t == ""
|
||
case bool:
|
||
return !t
|
||
case []any:
|
||
return len(t) == 0
|
||
case map[string]any:
|
||
return len(t) == 0
|
||
}
|
||
return false
|
||
}
|
||
|
||
func jsonTypeName(v any) string {
|
||
switch v.(type) {
|
||
case nil:
|
||
return "null"
|
||
case map[string]any:
|
||
return "object"
|
||
case []any:
|
||
return "array"
|
||
case string:
|
||
return "string"
|
||
case bool:
|
||
return "bool"
|
||
case float64:
|
||
return "number"
|
||
default:
|
||
return fmt.Sprintf("%T", v)
|
||
}
|
||
}
|