2 Commits

Include renames

Author	SHA1	Message	Date
fanlusky	e365a8d1b5	perf(engine): 大模型改为只读映射并按需载入，缩短每键查询路径 ... - sc.lm 改用 kenlm 的 LAZY 载入：Windows 上默认的 POPULATE_OR_READ 会退成 READ， 把 33 MB 整份拷进私有堆且永不释放；现在是 MapViewOfFile 只读映射，可被系统回收 - dict_japanese.dat 在 Windows 上同样改为只读映射，与 POSIX 分支一致 - 神经整句模型改为开关首次生效时才载入（LazySentenceModel），默认关闭的桌面模型 不再占用约 24 MB - 新增 reset_sentence_cache()：重排结果与上文只影响词格整句，只清 series 一层， 逐前缀查库与切分缓存保持热；set_rescoring_context 也改用它 - CircularBuffer 新增 find()：命中时返回指针而不复制整份候选列表，并改为真正的 LRU； 全拼、双拼每键的命中路径改用它 - Google 解码器去掉每次调用前的 im_reset_search，沿用上游的公共前缀增量搜索 - 测试：出货 sc.lm 能映射载入并正常打分；增量搜索与从头搜结果逐步一致	2026-09-30 19:58:18 +08:00
fanlusky	80b1fc42a1	feat(engine): 词格整句改用 kenlm 三元模型打分 ... 词格原先的整句打分是一份没校准过的启发式 unigram，质量很差。这里内嵌 libime 在用的 kenlm 查询子集，改由它的三元模型 sc.lm 来打路径分。 - engine/ngram 只编 kenlm 的 query / trie-build 路径。不定义 WITH_THREADS， parallel_read.cc 因此退化成串行实现，整个子集零 Boost 依赖。 KENLM_MAX_ORDER=3 必须与建模阶数一致，改它等于读不懂已发布的模型文件。 - ngram::LanguageModel 是唯一 include kenlm 头文件的地方，对外只给出一个纯 std 的头，_HAS_AUTO_PTR_ETC 和 kenlm 的 include 目录都保持 PRIVATE。 - shared_language_model 按资源路径共享一份 mmap。kenlm 的查询是只读的且把 上下文放在调用方的 State 里，所以并发会话不需要额外加锁。 - 模型缺失时 valid() 为假，词格退回原来的启发式打分：整句候选只是变差，不会 停止工作。测试覆盖了缺模型降级与按路径共享。 - 出货的 ARPA 不带 <s>/</s>，所以解码从 null_state() 起算而非 begin_state()。 kenlm 是上游副本，不重排版、不进 clang-format，其 LGPL-2.1+ 与 BSD 例外清单 已补进 THIRD_PARTY_NOTICES.txt。googlepinyinime 那条 Fallback 整句路径不变。	2026-09-19 10:08:39 +08:00