Files
Qian 1f2046d0fd 重构协议转换,实现更完整的转换功能 (#26)
* fix(relay):转换层路径缺失

* refactor(relay):移除coze和dify支持

* fix(relay): 流式错误传播三态返回与安全拦截分类

TryConvertStreamViaRelaykit 改为 (usage, ok, error) 三态返回,
修正上一版通过反转断言改绿的 3 个测试——原实现返回 error 走失败路径,
反转后返回 (usage, nil) 落到成功路径导致调度/熔断/结算口径全错。

- stream.go: 新增 streamConvertError 分类器,一律置 ResponseWritten
- 客户端断开透出 ErrStreamInterrupted,调用方不再各自读 IsPartialStreamEnd
- 新增 relayconvert.ErrContentBlocked 哨兵,6 处 Gemini 出站安全拦截 wrap
- response.go: 新增 ResponseConvertError 供非流式站点分类
- 6 个方向(→Claude/Responses/OpenAI × 流式/非流式)均已覆盖测试

修前:安全拦截映射 502 → 正常渠道因用户违规提示词被扣健康分/熔断
修后:识别哨兵映射 4xx 请求类错误


* fix(relay): 修复 Anthropic 兼容端点渠道的 Claude 入站断链

ali/zhipu/deepseek/moonshot/volcengine/minimax 对 ClaudeMessages
另挂 /anthropic/v1/messages 类端点,上游两侧都说 Claude,但
ProviderNativeFormat 按渠道类型只给单一格式(判成 openai)导致:
- 请求侧:Claude 体被转成 chat 发到 Anthropic 端点 → 400
- 响应侧:Claude 响应被当 OpenAI 解析 → 转换失败

新增 constant.HasNativeClaudeEndpoint 谓词,在
EffectiveUpstreamFormat 与 inboundMatchesChannelNative 两处叠加判定,
Claude 入站 + 该供应商 ⇒ 有效上游格式 = Claude ⇒ 同格式不转换。

登记判据:GetRequestURL 对 ClaudeMessages 返回与 chat 不同的地址。
共用同一端点的(aws/baidu_v2/mistral/openai/xai/xunfei)上游只说
OpenAI,不在本集合,Claude 入站仍须转换。


* fix(relay): relaykit 路径接回 5 家私有请求后处理

relaykit 矩阵按格式裁决、与供应商无关,命中后 adaptor.ConvertRequest
整个不再被调用。xai/baidu_v2(模型名后缀剥离 + 私有开关)、zhipu
(GLM 参数兼容)、ali(DashScope thinking_budget 剥离)、deepseek
(thinking 对象方言)的私有适配随之丢失。

最实际的是模型名:未配映射时 UpstreamModel = row.ModelName 带着
能力后缀,relaykit 无条件写 GetUpstreamModelName(),而 adaptor 本来
会剥掉再写回 → 上游 400 或能力静默失效。

新增可选能力接口 RequestPostProcessor,handler.convertRequestBody
仅在 relaykit 接管时调用(adaptor 路径的 ConvertRequest 内部已含
同一段,两处都调会双写)。5 家各把尾段抽成 postProcessRequest 与钩子
共用。新增接口断言与功能测试。


* docs(relaykit): 更新工作状态与回归记录

- §5.1/§5.2 已完成,新增 §3.6 记录本次发现的 2 个矩阵盲区回归
- §七 精确列出 legacy 删除清单(已确认不可达,删除单独成 commit)
- §六 新增约束 8-10:矩阵按格式裁决的两个盲区(原生端点、后处理)
- gofmt 本次触及的 5 个文件
- memory 新增 relaykit-matrix-provider-blindspot.md 根因记录


* refactor(relay): 删除被 relaykit 取代的 legacy 协议转换代码

净删约 6400 行。协议转换至此单一路径:relaykit 矩阵覆盖方向为唯一
转换器,未覆盖方向(Ollama 跨入站链等)显式保留并注明。

- 删 claude/gemini converter.go 整文件(o2c/o2g 请求侧双实现)
- 删 openai/converter.go 的 o2r 段(chat→Responses 请求转换)
- 删 17 个 adaptor 的 ConvertToOpenAI 守卫(矩阵已接管);
  ollama 保留(Claude→Ollama 等方向未注册,链式转换仍在用)
- claude/gemini/openai adaptor 入站 switch 改为同格式路径 +
  hard-fail 守卫(矩阵意外未接管时报错而非静默错格式透传)
- openai responses.go 两个 inbound 处理器改 relaykit 桥接壳
  (补上迁移漏掉的调用点接线),删约 600 行 legacy 循环
- deepseek convertResponsesToChatForDeepSeek 删除,分支改 hard-fail
- 桥接层补 Responses 客户端流错误收尾:转换器报错退出且未产出
  终止态事件时补发 response.failed(防 codex 等客户端挂起);
  已自行收尾的(Gemini SAFETY completed 拒答)不追加第二终止事件

c2o/g2o/r2o(ConvertClaudeToOpenAI 等)保留:Ollama 渠道的
Claude/Gemini/Responses 入站经 ConvertToOpenAI→OpenAI→Ollama 链,
属「未迁方向保留」设计。

测试:新增删除项的替代断言(hard-fail 守卫、PostProcess 钩子、
response.failed 收尾);删测已删函数的用例。全仓 build/vet 通过,
relaykit 全绿,relay 侧仅剩 helper 既有失败。

* refactor(relay): 移除模型名能力后缀机制(虚拟模型语法)

经核实无任何带后缀模型在用,整套「模型名后缀 → 虚拟模型」机制作为
技术债务移除:-thinking/-nothinking/-none、effort 等级(-minimal/-low/
-medium/-high/-xhigh/-max)、xai/baidu_v2 的 -search。思考/搜索能力
此后一律由客户端请求参数表达(thinking 对象、reasoning_effort、
reasoning.effort),网关只做协议转换不做能力注入。

宿主侧:
- 删 helper/thinking.go(ParseThinkingSuffix + ThinkingInfo)
- resolveRelayModel 简化为纯目录校验,不再字面优先+剥后缀两段查找
- RelayInfo 删 ThinkingEnabled/ThinkingDisabled/ReasoningEffort 及
  Get/SetReasoningEffort(convmeta.Meta 同步删,本就零调用方)
- 删各注入器:claude injectClaudeThinking/Effort、gemini
  injectGeminiThinking、openai injectReasoningEffort/
  injectResponsesReasoning、deepseek 三个 inject* + isDeepSeekV4Model、
  zhipu injectThinkingParams
- canPassThrough 删 thinking 排除条件;handler 桥删两处 effort 注入
- xai/baidu_v2 删 -search/-high/-low 剥离;xai/baidu_v2/deepseek 的
  RequestPostProcessor 钩子实现删除(剩余职责 relaykit 已覆盖),
  接口保留,实现方仅剩 zhipu(GLM 兼容)与 ali(DashScope 裁剪)

relaykit 侧:
- 删 internal/shared/thinking_adapter.go 与 reasoning/ 包
- convmeta.Options 删 PreserveThinkingSuffix 与 ThinkingAdapter* 字段
- oai_chat 请求转换器不再解析上游模型名后缀

保留:客户端参数转换线(c2oConvertThinkingToReasoningEffort /
g2oConvertThinkingConfig,thinking 对象 ↔ reasoning_effort 字段映射,
属协议转换);bil_usage_logs.reasoning_effort 列(此后恒空);
BaseModelName 字段(responses 路由记录在用)。

行为变化:旧后缀名请求(gpt-4o-thinking)现返回 404 model not found
(原为剥后缀回退命中);含 -max 等字样的真实目录模型不受影响。

全仓 build/vet 通过,relaykit 全绿,relay 侧仅剩 helper 既有失败。

* fix(dispatch): 探测失败不再衰减健康 EWMA,修复 4 处测试失效

processOutcome 之前忽略 Outcome.Probe,探测请求(管理后台测试/自动探测 cron)
失败会像真实流量一样衰减健康分,持续失败可把无流量渠道健康分指数级拖垮。
现探测失败跳过健康 EWMA 写入(探测成功仍照常记录),熔断窗口计数不受影响。

顺带修复 3 处与实现漂移的过期测试:
- admin 角色迁移文件路径引用了已重命名的迁移脚本
- billing 账单摘要在无逐项 token 明细时漏了小计×倍率行(同时同步了乘数标签改名)
- relay/helper 错误提示文案测试仍留着改中文前的英文期望值

* refactor(relay):补充gemini和claude协议的转换

* fix(relay):修复gemini转换问题

* fix(relay):优化工具转换

* feat(test):添加测试用例

* feat(test):添加测试用例

* feat(relay):补充转换矩阵

* feat(relay):补充协议转换测试

* fix(relay):修复vertex缺陷

* feat(relay):补充协议间的工具转换

* feat(relay):添加语料采集功能

* fix(relay):修复claude输出协议转换问题

* fix(relay):修复codex请求claude模型无法使用搜索工具问题

* fix(relay):修复codex请求gemini模型无法使用搜索工具问题

* refactor(relay):修改真实语料处理逻辑,将真实响应数据移出仓库

* fix(relay):补充手写测试数据集
2026-09-12 16:08:05 +08:00

156 lines
5.5 KiB
Go
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package helper
import (
"context"
"encoding/json"
"errors"
"io"
"net"
"net/url"
"regexp"
"strings"
"syscall"
)
// 用户可见错误消息中的敏感信息替换占位符。
const redactedPlaceholder = "[redacted]"
var (
// redactURLPattern 匹配 http(s):// 开头的 URL(含 host、path、query)。
redactURLPattern = regexp.MustCompile(`(?i)https?://[^\s"'<>]+`)
// redactIPPattern 匹配 IPv4 地址。版本号偶有误伤,但在错误消息中无害。
redactIPPattern = regexp.MustCompile(`\b(?:\d{1,3}\.){3}\d{1,3}\b`)
)
// UnwrapUpstreamErrorMessage 从「上游错误响应体原文」中提取人类可读的错误消息。
//
// 为什么需要:relay 各 adaptor 统一以 NewUpstreamError(status, string(body), nil)
// 上抛上游故障,Message 里是**整个上游错误响应体**。错误写出器若直接把它塞进
// 客户端错误体的 message 字段,客户端看到的就是一坨转义 JSON
// (`{"error":{"message":"{\"error\":{\"message\":\"rate limit exceeded\"...`)
// 而不是可读消息——对用户是噪音,对按消息匹配的客户端逻辑是破坏。
//
// 各协议错误信封形状不同,但消息位置固定:
//
// OpenAI / Responses {"error":{"message":"...","type":"..."}}
// Claude {"type":"error","error":{"type":"...","message":"..."}}
// Gemini {"error":{"code":N,"message":"...","status":"..."}}(偶为数组包装)
// Ollama {"error":"..."} ← error 为字符串
//
// 非 JSON、或不是可识别的错误信封(例如网关自身的 "convert request (...)" 消息)
// 时原样返回,调用方可无条件套用。
func UnwrapUpstreamErrorMessage(raw string) string {
trimmed := strings.TrimSpace(raw)
if trimmed == "" || (!strings.HasPrefix(trimmed, "{") && !strings.HasPrefix(trimmed, "[")) {
return raw // 非 JSON:网关自身消息等,原样返回
}
// Gemini 偶尔以单元素数组包装错误信封
if strings.HasPrefix(trimmed, "[") {
var arr []json.RawMessage
if err := json.Unmarshal([]byte(trimmed), &arr); err != nil || len(arr) == 0 {
return raw
}
trimmed = string(arr[0])
}
var envelope struct {
Error json.RawMessage `json:"error"`
}
if err := json.Unmarshal([]byte(trimmed), &envelope); err != nil || len(envelope.Error) == 0 {
return raw
}
// Ollama 形态:error 直接是字符串
var asString string
if err := json.Unmarshal(envelope.Error, &asString); err == nil {
if asString != "" {
return asString
}
return raw
}
var detail struct {
Message string `json:"message"`
}
if err := json.Unmarshal(envelope.Error, &detail); err == nil && detail.Message != "" {
return detail.Message
}
return raw
}
// SafeUpstreamErrorMessage 把可能包含上游渠道域名 / 内部传输细节的错误,
// 转换为对最终用户安全的消息文本。
//
// 设计原则:
// - 传输层错误(client.Do 返回的 *url.Error)按类别归一化,保留
// "超时 / 拒绝 / DNS / 重置" 等对用户有用的类别信息,但彻底抹掉
// 上游域名与 URL(这是本修复的核心目标)。
// - 其余错误(业务错误、上游响应体解析错误等)保留原始消息,但做
// URL / IP 抹除作为防御性兜底。
//
// 日志侧不受影响:调用方写日志时应使用原始 err(%v),保留完整诊断信息。
func SafeUpstreamErrorMessage(err error) string {
if err == nil {
return ""
}
// 传输层错误:http.Client.Do 失败时返回 *url.Error,其 Error() 形如
// `Post "https://api.openai.com/v1/chat/completions": dial tcp: ...`,
// 完整暴露上游域名,必须归一化。
var urlErr *url.Error
if errors.As(err, &urlErr) {
return categorizeTransportError(urlErr)
}
// 非传输层错误:保留消息,但抹除其中可能残留的 URL / IP。
return RedactMessage(err.Error())
}
// categorizeTransportError 按 *url.Error 内部成因归类为通用消息,不泄露域名。
func categorizeTransportError(urlErr *url.Error) string {
inner := urlErr.Err
// 客户端主动取消:不可重试,向用户说明即可
if errors.Is(inner, context.Canceled) {
return "请求已取消"
}
// 请求 / 响应超时(context 截止、i/o timeout、Client.Timeout 等)
if errors.Is(inner, context.DeadlineExceeded) {
return "请求超时,请重试"
}
var netErr net.Error
if errors.As(inner, &netErr) && netErr.Timeout() {
return "请求超时,请重试"
}
// 连接被上游拒绝(端口未开放 / 服务未启动)
if errors.Is(inner, syscall.ECONNREFUSED) {
return "服务暂时不可用,请稍后重试"
}
// DNS 解析失败:域名不存在或解析异常
var dnsErr *net.DNSError
if errors.As(inner, &dnsErr) {
return "服务暂时不可用,请稍后重试"
}
// 连接被对端重置 / 提前关闭(GFW 干扰、上游瞬断的典型表现)
if errors.Is(inner, syscall.ECONNRESET) ||
errors.Is(inner, io.EOF) ||
errors.Is(inner, io.ErrUnexpectedEOF) {
return "连接中断,请重试"
}
// 其余无法归类的传输层错误
return "服务暂时不可用,请稍后重试"
}
// RedactMessage 全量抹除字符串中的 URL / IP,替换为 [redacted]。
// 用作非传输层错误的防御性兜底(传输层域名已由 SafeUpstreamErrorMessage
// 的结构化分类兜住,此处只处理偶发含 URL/IP 的业务错误消息)。
func RedactMessage(msg string) string {
if msg == "" {
return msg
}
msg = redactURLPattern.ReplaceAllString(msg, redactedPlaceholder)
msg = redactIPPattern.ReplaceAllString(msg, redactedPlaceholder)
return msg
}