 Lu Fan(SonnyCalcr)
|
8a524aa498
|
feat(engine): 全拼纠错扩展到多字/漏字，贵档读法按整句分领衔 (#623)
* feat(engine): 合法输入纠错扩展到多字、漏字，纠错读音按原始区间消耗字母
jiuzheeyang 切成 jiu'zhe'e'yang 全合法，多打的 e 原本纠不回「就这样」；多字纠错的
读音又与原始字母不等长，buuhui 选「不会」后会剩下一个 i。
- legal_input_correction_cuts（原 legal_input_transposition_cuts）认换位、多字、漏字
三类静态表读法，不认邻键与生成式空间；末尾音节按漏字读出的（nia -> nian）视为
还没打完，跳过；k-best 先取 9 条再过滤，长句里纠正不被别处的读法挤掉
- 改变字母数的纠正代价 3.0（换位 2.0）；字面切分本身是真词时不认改变字母数的读法，
少一个音节的句子在语言模型里天然分高（邪恶 -> 些、答案 -> 但）
- 新增 correction_cut_for_reading / corrected_reading_raw_length：选词按纠错切分
记录的原始区间消耗字母，预编辑也按它分隔（jiu'zhee'yang）
- AutocorrectCut 恢复 has_generated，供合法输入路径排除生成式读法
* fix(engine): 被裁掉的合法输入纠错读法不再误标原读法的候选
合法输入上的纠错读法登记进了全局纠错标记表，即使裁决时被丢掉也照样参与按读音字母
的标记匹配：xiee 按多一个 e 读成 xie 被丢掉后，邪恶后面的前缀单字 写/些/血 读音
也是 xie，全被标成纠错。
改为不登记，只在 arbitrate_legal_corrections 里给真正用上的那条纠错读法的整读音
候选打标，标记随结果进缓存。
* feat(engine): 结构性贵档纠错读法可按整句分领衔
shiideya 的换位读法 shi + ide->die（权重 10，是爹呀）比多字读法 shii->shi（权重 12，
是的呀）便宜一档。#592 只在同档内做上下文消解，贵档读法一律排在最后，「是的呀」
连首页都进不了。
- 上下文消解把前 2 条贵档读法也解码，不要求词库有整词；总分 = 路径分 - 手误代价，
代价按纠错表权重换算（权重 x 0.2：换位 2.0、漏字 2.2、多字 2.4）
- 只收由结构性手误（换位、漏字、多字）构成的贵档读法：邻键只比漏字贵 0.4 分，
常用词的语言模型优势会把 zhowei 的「周围」挤成「作为」
- AutocorrectCutSegment 记录每段的纠正权重，用来区分纠正类型
- 预编辑跟随领衔读法分隔也覆盖切不成合法音节的输入（shii'de'ya）
- eval_quanpin_autocorrect 新增 --word-lattice，量产品默认开词格时的排序
评测（--word-lattice，300 样本，seed 42）各档 R@1/R@3 不低于改动前：mixed R@1
79.7/76.7/78.3/70.3 -> 82.3/81.7/81.3/78.0，insertion 83.3/74.7/72.7/52.0 ->
91.3/89.3/90.0/83.7，deletion 持平或上升，ambiguous 持平。
* fix(engine): 纠错上下文消解在任一整句来源开启时生效
上下文消解只认 word_lattice 开关。只开万象重排、不显示 Trigram 整句时（词格在内部
照样解码），整段被跳过，shiideya 退回静态排序，「是爹呀」又领衔。
- 新增 SentenceAssociationOptions::any_sentence_source，门控改看它；全关时仍是纯
静态排序，#592 的「关联关闭 = 静态路径」不变
- 贵档胜者没有整词也没有整句行时（重排模型未载入），由它的最长前缀词领衔，不让
主切的行顶回首位
|
2026-10-05 01:41:37 +08:00 |
|
|
Jia Sui
|
fc3564e4d9
|
feat(engine): 生成式纠错空间兜静态表长尾
静态纠错表四类形状（相邻换位/漏字/QWERTY 邻键替换/限重复邻键插入）均为
穷举式生成，表外单编辑手误（非相邻键替换、任意字母插入）结构性无人管——
这是覆盖反馈的机制根源。新增生成式索引：对全部合法音节枚举表外形状
（48,216 对，首次纠错查询时一次性构建），并入纠错索引，k-best/贵档垫底/
上下文消解全链路复用；换位/漏字静态已穷尽，不枚举。
表内零回归为结构性保证：含生成边的切分在 k-best 排序中整体垫底
（has_generated 先序键），最优切分为纯静态时全部生成切分被丢弃——丢弃
规则在 autocorrect_cut_kbest 单点实现，主解析与 head+简拼尾组合路径同享；
生成读法只在静态空间完全无法解释输入时出场。混表加权仲裁依赖训练权重，
留给方向阶段 3。
评测：eval 新增 outside 注错档（表外形状，与静态表构造性不相交），覆盖
增益量化 R@1 47.7/44.3/36.3/22.7（四率；静态-only 恒为 0）；表内四档
R@1/R@3 与基线逐位一致；种子聚合不回归。fixture 四用例含 head 组合路径
判别（shatngzh）。README 补 outside 档与资源目录说明。
|
2026-10-04 01:27:15 +08:00 |
|
|
Jia Sui
|
49be145bdf
|
feat(engine): 全拼纠错同档歧义按词格上下文消解
同档纠错读法（zhng→{zhang,zheng} 这类 k-best 等权目标）此前只按静态词频
消解、不读上下文，是纠错误报的主要来源。现在整句词格开启时直接解出主切与
同档备选的最佳路径分，边际达标（打分器自身对数单位 1.0）时胜出切分接管
领衔候选，静态词频降级为解码前置过滤；词格不可用或边际不足时与现状逐位
一致（关联关闭、单音节、纠错开关关三条降级路径）。
七项护栏全部保留：贵档绝对垫底、精确键领先位、每来源至多一行、合并池去重、
纠错标记边界、输入门未动，1/100 门槛升格为解码前置过滤。单音节纠错无词格
可搭，维持静态路径（已知限制，fixture 测试钉住）。
评测：eval 新增 --seeds-file 固定精度套件（15 条，豁免逐键一致契约），
四档注错模型 R@1/R@3 与重采基线逐位一致，种子聚合 R@1 73.3%、R@3 80.0%；
机制生效由 test_input_session 隔离 fixture 端到端断言（lattice-on 序列
[办证,辩证,班长,搬账]）。README 补资源目录要求与种子表维护纪律。
|
2026-10-04 01:27:15 +08:00 |
|
|
fanlusky
|
8004bc9250
|
fix(engine): imetest 直接链接正式引擎库，修正与实现不符的重排来源用例
engine/tests 手抄了一份引擎源文件清单，2c3546f8 新增 local_database.cpp
时只登记到 engine/CMakeLists.txt，imetest 自此链接失败；清单还漏了
shuangpin_custom_profile.cpp，也没有正式构建给 googlepinyinime 加的
/FI pinyin_file_io.h 与 /utf-8。改为 add_subdirectory 引擎根目录、链接
MetasequoiaIme::Engine，引擎源只在一处登记；vcpkg 依赖对齐根清单，
删掉无人引用的 includes/main.h。
test_pinyin.cpp 的「重排器同意」用例期望来源记为 NeuralDesktop，但
e7f7addd 引入的实现（word_lattice.h 的契约）是把被认可的三元首选提前、
来源仍为 Generated。以实现为准改测试。imetest 现在完整通过。
|
2026-10-02 00:52:12 +08:00 |
|
|
Jia Sui
|
3c2f3ae374
|
feat(engine): 全拼纠错补齐漏字/多字，k-best 切分按词频消解歧义
此前纠错只有交换（sahng -> shang）与 QWERTY 邻键（shabg -> shang）两类，
生成器在离线阶段就把「一个错串对应多个音节」的变体整个丢掉，运行时也只
取代价最低的一条切分。三类输入因此没有出路：漏字的（shng）、多敲一键的
（shangg、sjhang）、漏声母连基础切分都切不出来的（uanli 想打 quan'li）。
本次按专利 CN 101133411 B 的思路重排整条链路：错串可能对应的读音全部
保留到运行时，先由 k-best 切分带出平行读音，再让词典词频决定谁排前面。
- 纠错类型从两类扩到四类：新增漏字（shng -> shang）与多字（shangg 双打、
sjhang 邻键 -> shang）。两个新位跟随既有 autocorrect_transposition /
autocorrect_neighbor 开关联动（任一打开即生效），定义保持独立，留待
将来的独立配置键。查询与 preedit 重建共用同一映射，两侧纠正空间一致。
- 生成器从两表扩到四表并保留歧义变体（ahan -> {shan, zhan}）；同一条
(错串, 正确) 对被两条规则产出时在两张表各留一份，保证每个类型开关
单独有效。正确音节收敛进 kCorrectSyllables 单表、行内改存 16-bit
下标，一万七千多行不再各自重复音节字符串，--check 拦截过期表头。
- 切分层新增 autocorrect_cut_kbest：按位置自左向右做 top-k 假设传播，
排序键是（纠错边数，边权之和，生成序）——最少纠错优先的契约不变，
权重只在同边数内打破平局，引擎绝不用一条额外纠错换更低权重。边权取
专利 [0052] 允许的估常量（交换 10 / 漏字 11 / 多字 12 / 邻键 13），
标定路径是挖掘用户日志。漏字/多字边不等长，切分段改按 raw 长度推进
位置，preedit 分隔跟着原始字母的区间走。
- 词典层固定 k=9，为离线评测定值：漏声母键 uan 有 10-15 个等权漏字
目标，k=3 按表序截断够不到 quan'li 的正确读音；k=9 提升 R@1/R@3
且 p95 不变。主切分仍是查询键，其余读音交给
merge_alternative_segmentations 与主读法在词频下竞争；备选读音在
缓存命中路径同样发布，corrected_from 标记对全部纠错读音生效；纠错
读音排在音形别名读音之前。结尾单插入（shangg = shang + g）天然是
简拼尾形状，仍被简拼形守卫拦下——多字纠错的可达面在中间/开头插入
与多音节输入。
- 纠错门放宽：!segments.empty() 从门里去掉。BFS 工作在原始字母上，
基础切分为空的丢声母输入恰是最需要纠错的一批，jian -> ian 现在能
走到纠错候选并按词频合并到首位。简拼形守卫保留：合法音节加至多一个
尾字母（zheg）是用户意图，任何纠错表都不得改写。
- preedit 补两道防线：zheg 在显式三位掩码下仍走简拼守卫，不被漏字表
重排为 zheng；只有 BFS 切分的读音与 scheme 别名层完全一致时才按
BFS 位置重画分隔符，否则 sahng 会被切成 sa'hng 而候选实际来自
别名读音 shang。
新增独立评测工具 eval_quanpin_autocorrect：从真实 msime.db 采样高频
词条，按交换/邻键/漏字/多字模型注错，测 R@1/R@3、读音还原率与温态
p50/p95，固定种子可复现。它是评测工具不是测试，永远不进 CI，作为
纠错阈值与门逻辑改动的零回归标尺；注错规则与生成器逐键一致，改任一
侧须同一提交同步另一侧。
表格测试改为按 (错串, 正确) 对断言唯一并加覆盖门（合计 >= 4700 条），
新增歧义保留、漏字/多字变体、k-best 排序与权重定序、preedit 守卫等
用例；engine/tests 的 README 与 AGENTS.md 同步写清 imetest 与评测
工具两个产物的边界。
|
2026-09-13 11:04:34 +08:00 |
|
|
fanlusky
|
a7779d2b05
|
refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。
Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。
引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。
CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。
README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
|
2026-09-12 03:40:48 +08:00 |
|