Files
msime-windows/engine/tests
Jia Suiandfanlusky 60c2b26698 fix(engine,server): 全拼纠错收窄「多字」纠错并让开关真正关闭纠错 (#889)
* fix(engine,server): 全拼多字纠错收窄为仅 QWERTY 邻键插入

多字(插入)纠错只保留「误插 QWERTY 邻键」:生成器 insertion_variants 不再生成重复相邻键(双击),生成式空间不再生成任意字母插入(远键插入)。autocorrect_table.h 随生成器重新生成。

* fix(engine): 全拼纠错开关关闭时真正不再改写切分

纠错开关关掉后真正不纠错:把手误拼写别名层从常开改为跟掩码走(ü 归一 jv->ju / nue->nve 仍常开);两个早于掩码可知的切分入口 QuanpinScheme::build_request 与 QuanpinDictionary::get_or_compute_segments 显式带上掩码,切分缓存键随之隔离。

* fix(engine,server): 纠错开关关闭时辅助码、写回与排序上下文也按字面切分

关掉全拼纠错后,只有方案的 build_request 和查询自身切分不再跑手误别名层,
其余几条路径仍用默认(带别名)的切分,和查询落在不同的键上:

- 辅助码路径自己切底串作为显式切分交给词典,haoyonga 仍被切成 hao'yong'ga;
- 调频、造词、删词、建 SQL、校验去掉分隔符后重切,开关关掉时选中 hao'yong'a
  的词会去更新 hao'yong'ga,调频静默失败;
- 排序 / 固定位置的上下文 key(引擎与 server 两处)仍按别名切,laing 与 liang
  的固定位置互相串。

改动:
- cut_pinyin_by_mode 的 include_correction_aliases 改为必填,每个调用点显式决定;
  双拼词典、设置页词库校验和离线工具传 true,保持原行为。
- 新增 quanpin::correction_aliases_enabled,方案、词典、辅助码与排序 key 共用
  (只看换位、邻键两位),修正只带删除 / 插入位的掩码在方案与词典两层判断不一致。
- 词典按最近一次 query 的掩码记录别名开关,写回路径统一走 cut_for_write。
- 会话改为在换方案、改开关时 bind_quanpin_scheme 一次,不再每次 refresh 下发。
- 方案只存 bool;jv -> ju 放回纠错表,去掉合并表。
- 在 CI 实际执行的 test_input_session 中补回归用例(写回、辅助码、固定位置、
  方案掩码),每条都确认回退修复后会失败。

---------

Co-authored-by: fanlusky <1730976608@qq.com>
2026-10-12 20:41:23 +08:00
..

engine/tests

本目录产出两个独立二进制,都通过 add_subdirectory 链接 engine/CMakeLists.txt 的正式引擎库 MetasequoiaIme::Engine(不另抄源文件清单,编译选项与出货构建一致),互不依赖:

目标 main 用途
imetest src/test_pinyin.cpp 引擎测试:全拼/双拼会话、退格、词典增删与查询时序;注册源只有 test_pinyin.cpp,CI 不执行,仅作本地跑测试的入口
eval_quanpin_autocorrect src/eval_quanpin_autocorrect.cpp 全拼纠错离线评测:采样真实 msime.db 注错,测召回(R@1/R@3)、读音还原与温态延迟

构建

cmake --preset default
cmake --build build --config Release --target <imetest | eval_quanpin_autocorrect>

两个目标共用同一份引擎库,只多编各自的 main。日常改代码跑 imetest 即可,按需单独构建评测目标。

eval_quanpin_autocorrect:离线评测工具

这是评测工具,不是测试,永远进不了 CI:

  • 依赖真实的 msime.db(用 --db 指定)和 server/assets/tables 资源目录(在仓库根目录运行,或 --resource 指定)。
  • 不挂测试框架、不进断言,产出的是 markdown/CSV 报告,供人工对照基线。
  • 存在的理由:纠错阈值、门逻辑(gate)或错误类型改动后,需要用同一把尺子复测。固定种子保证逐档样本一致,数字与历史基线可比。基线口径是「改动后各档不得低于基线值」的零回归门禁。

注错的变体生成规则(交换/邻键/漏字/多字、QWERTY 邻键表、长度与合法音节过滤)与 server/scripts/generate_quanpin_autocorrect.py 必须逐键一致——两侧漂移会让注错模型脱离纠错表的假设空间,基线失去可比性。改任一侧时在同一个提交里同步另一侧。

--seeds-file <路径> 是独立数据入口:每行 typo<TAB>期望key[<TAB>期望词](# 注释、空行跳过,期望词缺省时取该 key 的最高权重词),产出独立的 Seed suite 报告节与 seeds 聚合 CSV 行。它豁免于上述逐键一致契约——种子表度量的正是契约外与用户反馈直接相关的场景(误报/漏报样例固化)。

资源目录要求:引擎加载 sc.lm(词格)与 sentence-model-*.safetensors(神经重排),而 server/assets/tables 只有 dict_pinyin.dat、helpcode.txt、user_dict.dat——模型文件不入库。本机没有把模型放进 tables 时,用安装数据目录拼一个隔离资源目录(只读模型拷贝 + msime.db 副本),--db 与 --resource 都指过去;直接指安装目录也可以,但评测进程会以读写方式打开 --db,拷贝副本更干净。

沙箱环境下子进程可能被拒绝在 %TEMP% 下新建目录(表现为 create_directories: Access is denied. 后直接退出),把 TEMP/TMP 环境变量指到仓库内的已存在目录再跑即可。

历史基线与采集笔记在归档任务目录:.trellis/tasks/archive/2026-09/09-12-quanpin-autocorrect-patent/eval/(阶段 0 基线)与 09-13-quanpin-insertion-autocorrect/eval/(insertion 上线前后对照)。

运行

# 仓库根目录执行;--model 可选 mixed|deletion|ambiguous|insertion|outside
# outside = 表外形状注错(非相邻替换/远键插入),度量生成式纠错空间的覆盖增益,
# 与静态表形状构造性不相交——该档 R@1 在无生成空间的代码上恒为 0。
./engine/tests/build/bin/Release/eval_quanpin_autocorrect.exe `
    --db <msime.db 路径> `
    --samples 300 --seed 42 --model mixed `
    --csv eval-mixed.csv > eval-mixed.md

产品默认开着词格整句联想,纠错的上下文消解(同档消解、结构性贵档读法按整句分领衔)只在词格开启时生效。要量产品实际的排序,加 --word-lattice,并让 --resource 指向带 sc.lm 的目录;不加时测到的是纯静态排序,与历史基线口径一致。

参数细节与报告分节说明见 src/eval_quanpin_autocorrect.cpp 文件头注释。