 fanlusky
|
8004bc9250
|
fix(engine): imetest 直接链接正式引擎库，修正与实现不符的重排来源用例
engine/tests 手抄了一份引擎源文件清单，2c3546f8 新增 local_database.cpp
时只登记到 engine/CMakeLists.txt，imetest 自此链接失败；清单还漏了
shuangpin_custom_profile.cpp，也没有正式构建给 googlepinyinime 加的
/FI pinyin_file_io.h 与 /utf-8。改为 add_subdirectory 引擎根目录、链接
MetasequoiaIme::Engine，引擎源只在一处登记；vcpkg 依赖对齐根清单，
删掉无人引用的 includes/main.h。
test_pinyin.cpp 的「重排器同意」用例期望来源记为 NeuralDesktop，但
e7f7addd 引入的实现（word_lattice.h 的契约）是把被认可的三元首选提前、
来源仍为 Generated。以实现为准改测试。imetest 现在完整通过。
|
2026-10-02 00:52:12 +08:00 |
|
|
fanlusky
|
e7f7addd4f
|
feat(engine): 神经网络整句联想与词格 n-best 重排
- 新增 engine/neural：移植 chinese-ime-lm 的字符级 Transformer 推理，在词格解出的最多 12 条
n-best 里重排挑选整句，desktop / keyboard 两档模型各出一条首选，后台 worker 异步打分
- 词格支持 n-best 输出与重排（quanpin/lattice_rerank），全拼、双拼共用
- 新增 SentenceAssociationOptions，经 QueryRequest 传给各 provider；四个来源默认全关
- 资源契约登记两个 safetensors 与 NOTICE；模型二进制不进仓库，由
scripts/fetch-neural-model.ps1 按 neural-model/lock.json 下载并校验 SHA256
- 新增 neural_sentence 测试
|
2026-09-24 14:03:39 +08:00 |
|
|
fanlusky
|
80b1fc42a1
|
feat(engine): 词格整句改用 kenlm 三元模型打分
词格原先的整句打分是一份没校准过的启发式 unigram，质量很差。这里内嵌 libime
在用的 kenlm 查询子集，改由它的三元模型 sc.lm 来打路径分。
- engine/ngram 只编 kenlm 的 query / trie-build 路径。不定义 WITH_THREADS，
parallel_read.cc 因此退化成串行实现，整个子集零 Boost 依赖。
KENLM_MAX_ORDER=3 必须与建模阶数一致，改它等于读不懂已发布的模型文件。
- ngram::LanguageModel 是唯一 include kenlm 头文件的地方，对外只给出一个纯
std 的头，_HAS_AUTO_PTR_ETC 和 kenlm 的 include 目录都保持 PRIVATE。
- shared_language_model 按资源路径共享一份 mmap。kenlm 的查询是只读的且把
上下文放在调用方的 State 里，所以并发会话不需要额外加锁。
- 模型缺失时 valid() 为假，词格退回原来的启发式打分：整句候选只是变差，不会
停止工作。测试覆盖了缺模型降级与按路径共享。
- 出货的 ARPA 不带 <s>/</s>，所以解码从 null_state() 起算而非 begin_state()。
kenlm 是上游副本，不重排版、不进 clang-format，其 LGPL-2.1+ 与 BSD 例外清单
已补进 THIRD_PARTY_NOTICES.txt。googlepinyinime 那条 Fallback 整句路径不变。
|
2026-09-19 10:08:39 +08:00 |
|
|
Jia Sui
|
3c2f3ae374
|
feat(engine): 全拼纠错补齐漏字/多字，k-best 切分按词频消解歧义
此前纠错只有交换（sahng -> shang）与 QWERTY 邻键（shabg -> shang）两类，
生成器在离线阶段就把「一个错串对应多个音节」的变体整个丢掉，运行时也只
取代价最低的一条切分。三类输入因此没有出路：漏字的（shng）、多敲一键的
（shangg、sjhang）、漏声母连基础切分都切不出来的（uanli 想打 quan'li）。
本次按专利 CN 101133411 B 的思路重排整条链路：错串可能对应的读音全部
保留到运行时，先由 k-best 切分带出平行读音，再让词典词频决定谁排前面。
- 纠错类型从两类扩到四类：新增漏字（shng -> shang）与多字（shangg 双打、
sjhang 邻键 -> shang）。两个新位跟随既有 autocorrect_transposition /
autocorrect_neighbor 开关联动（任一打开即生效），定义保持独立，留待
将来的独立配置键。查询与 preedit 重建共用同一映射，两侧纠正空间一致。
- 生成器从两表扩到四表并保留歧义变体（ahan -> {shan, zhan}）；同一条
(错串, 正确) 对被两条规则产出时在两张表各留一份，保证每个类型开关
单独有效。正确音节收敛进 kCorrectSyllables 单表、行内改存 16-bit
下标，一万七千多行不再各自重复音节字符串，--check 拦截过期表头。
- 切分层新增 autocorrect_cut_kbest：按位置自左向右做 top-k 假设传播，
排序键是（纠错边数，边权之和，生成序）——最少纠错优先的契约不变，
权重只在同边数内打破平局，引擎绝不用一条额外纠错换更低权重。边权取
专利 [0052] 允许的估常量（交换 10 / 漏字 11 / 多字 12 / 邻键 13），
标定路径是挖掘用户日志。漏字/多字边不等长，切分段改按 raw 长度推进
位置，preedit 分隔跟着原始字母的区间走。
- 词典层固定 k=9，为离线评测定值：漏声母键 uan 有 10-15 个等权漏字
目标，k=3 按表序截断够不到 quan'li 的正确读音；k=9 提升 R@1/R@3
且 p95 不变。主切分仍是查询键，其余读音交给
merge_alternative_segmentations 与主读法在词频下竞争；备选读音在
缓存命中路径同样发布，corrected_from 标记对全部纠错读音生效；纠错
读音排在音形别名读音之前。结尾单插入（shangg = shang + g）天然是
简拼尾形状，仍被简拼形守卫拦下——多字纠错的可达面在中间/开头插入
与多音节输入。
- 纠错门放宽：!segments.empty() 从门里去掉。BFS 工作在原始字母上，
基础切分为空的丢声母输入恰是最需要纠错的一批，jian -> ian 现在能
走到纠错候选并按词频合并到首位。简拼形守卫保留：合法音节加至多一个
尾字母（zheg）是用户意图，任何纠错表都不得改写。
- preedit 补两道防线：zheg 在显式三位掩码下仍走简拼守卫，不被漏字表
重排为 zheng；只有 BFS 切分的读音与 scheme 别名层完全一致时才按
BFS 位置重画分隔符，否则 sahng 会被切成 sa'hng 而候选实际来自
别名读音 shang。
新增独立评测工具 eval_quanpin_autocorrect：从真实 msime.db 采样高频
词条，按交换/邻键/漏字/多字模型注错，测 R@1/R@3、读音还原率与温态
p50/p95，固定种子可复现。它是评测工具不是测试，永远不进 CI，作为
纠错阈值与门逻辑改动的零回归标尺；注错规则与生成器逐键一致，改任一
侧须同一提交同步另一侧。
表格测试改为按 (错串, 正确) 对断言唯一并加覆盖门（合计 >= 4700 条），
新增歧义保留、漏字/多字变体、k-best 排序与权重定序、preedit 守卫等
用例；engine/tests 的 README 与 AGENTS.md 同步写清 imetest 与评测
工具两个产物的边界。
|
2026-09-13 11:04:34 +08:00 |
|
|
Jia Sui
|
f28b01faf0
|
test(engine): 修复 imetest 构建树
|
2026-09-13 11:04:34 +08:00 |
|
|
fanlusky
|
a7779d2b05
|
refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。
Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。
引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。
CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。
README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
|
2026-09-12 03:40:48 +08:00 |
|