 Jia Sui
|
d495ea2ad0
|
fix(engine,server,installer): octagram 加成收敛为单一注入，校正量纲与参数，修复〔万象〕同音乱码
|
2026-10-12 13:12:21 +08:00 |
|
|
Jia Sui
|
01c45c8d90
|
fix(server,ui-html,engine): octagram 激活中的模型包也可删除，引擎映射支持动态释放
|
2026-10-02 20:15:41 +08:00 |
|
|
Jia Sui
|
8089841e78
|
fix(engine): octagram 头按外部头暴露，darts.h 收窄告警不再刷屏
|
2026-10-02 20:15:40 +08:00 |
|
|
Jia Sui
|
e1a664a194
|
fix(server): 万象下载器改用格式锁，撤下无依据的评测宣称
锁定值与上游实际资产不符（字节数 409719852 vs 409412652，摘要 ae43724a… vs 873cbbb3…），下载在字节锁处失败。上游 LTS 会被原地重传且无不可变资产 URL，摘要硬锁意味着每次重训都要改代码发签名安装包，否则全用户下载失败，这个成本消不掉。
改为锁格式：删字节数常量，总长取响应 Content-Length 并在收完后比对一次（截断检测）；新增 ValidateFormat 让引擎读取端自己开一次（魔数 + 双数组边界，不按文件自带长度做堆分配）。摘要不再参与放行，只判断 reviewed 并写入旁挂 .sha256（状态查询要频繁调用，不能每次重算 400MB 哈希）。真实上游字节按 open() 判据复核精确贴边通过：array_size=102353152，收尾正好在 409412652。
kReviewedSha256 保留旧值，摘要不符即 reviewed=false，设置页明示「上游已更新，未经评测」，NOTICE 记录实际摘要与字节数并附差异说明。契约无需重生成：sentence_collocation_model_status 是两个宿主各自拼的 ad-hoc JSON，不在 schema.json 内。
撤下无法验证的宣称：设置页删掉「评测 top1 +6 个百分点」（仓里没有评测工具、没有 docs/research，该数字无法复现），改为描述机制；清掉两处对从未进仓的文档与工具的引用（docs/research、tests/src/gram_reader、eval_lm_compare）；修正 octagram_gram.h 里被本次改动失效的「摘要校验在下载侧做」。配置只改注释、未增删键，五件套映射不适用。
|
2026-10-02 20:15:39 +08:00 |
|
|
Jia Sui
|
0976c3072c
|
engine(ngram): 万象语法模型（octagram .gram）读取端转为产品件
从评测工具的移植版升级为引擎库成员：装载从整文件 ReadFile 换成 Win32 mmap（RSS
只随命中页增长），新增进程内按路径共享的 shared_gram_db（照
ngram::shared_language_model 范式，查询全只读、多会话并发安全）。eval_lm_compare
改用同一份实现，评测与产品不再有两套读取器；darts.h（BSD）随目录入库。
|
2026-10-02 20:15:39 +08:00 |
|
|
Jia Sui
|
1da7b06682
|
fix(engine): kenlm 字符流不再解引用 end 迭代器，MSVC Debug 测试可正常运行
|
2026-10-01 15:06:46 +08:00 |
|
|
fanlusky
|
e365a8d1b5
|
perf(engine): 大模型改为只读映射并按需载入，缩短每键查询路径
- sc.lm 改用 kenlm 的 LAZY 载入：Windows 上默认的 POPULATE_OR_READ 会退成 READ，
把 33 MB 整份拷进私有堆且永不释放；现在是 MapViewOfFile 只读映射，可被系统回收
- dict_japanese.dat 在 Windows 上同样改为只读映射，与 POSIX 分支一致
- 神经整句模型改为开关首次生效时才载入（LazySentenceModel），默认关闭的桌面模型
不再占用约 24 MB
- 新增 reset_sentence_cache()：重排结果与上文只影响词格整句，只清 series 一层，
逐前缀查库与切分缓存保持热；set_rescoring_context 也改用它
- CircularBuffer 新增 find()：命中时返回指针而不复制整份候选列表，并改为真正的 LRU；
全拼、双拼每键的命中路径改用它
- Google 解码器去掉每次调用前的 im_reset_search，沿用上游的公共前缀增量搜索
- 测试：出货 sc.lm 能映射载入并正常打分；增量搜索与从头搜结果逐步一致
|
2026-09-30 19:58:18 +08:00 |
|
|
Ouchihao
|
9b867175d7
|
fix(engine): compile ngram sources as UTF-8 on MSVC
|
2026-09-30 03:02:12 +08:00 |
|
|
fanlusky
|
80b1fc42a1
|
feat(engine): 词格整句改用 kenlm 三元模型打分
词格原先的整句打分是一份没校准过的启发式 unigram，质量很差。这里内嵌 libime
在用的 kenlm 查询子集，改由它的三元模型 sc.lm 来打路径分。
- engine/ngram 只编 kenlm 的 query / trie-build 路径。不定义 WITH_THREADS，
parallel_read.cc 因此退化成串行实现，整个子集零 Boost 依赖。
KENLM_MAX_ORDER=3 必须与建模阶数一致，改它等于读不懂已发布的模型文件。
- ngram::LanguageModel 是唯一 include kenlm 头文件的地方，对外只给出一个纯
std 的头，_HAS_AUTO_PTR_ETC 和 kenlm 的 include 目录都保持 PRIVATE。
- shared_language_model 按资源路径共享一份 mmap。kenlm 的查询是只读的且把
上下文放在调用方的 State 里，所以并发会话不需要额外加锁。
- 模型缺失时 valid() 为假，词格退回原来的启发式打分：整句候选只是变差，不会
停止工作。测试覆盖了缺模型降级与按路径共享。
- 出货的 ARPA 不带 <s>/</s>，所以解码从 null_state() 起算而非 begin_state()。
kenlm 是上游副本，不重排版、不进 clang-format，其 LGPL-2.1+ 与 BSD 例外清单
已补进 THIRD_PARTY_NOTICES.txt。googlepinyinime 那条 Fallback 整句路径不变。
|
2026-09-19 10:08:39 +08:00 |
|