 Jia Sui
|
d495ea2ad0
|
fix(engine,server,installer): octagram 加成收敛为单一注入，校正量纲与参数，修复〔万象〕同音乱码
|
2026-10-12 13:12:21 +08:00 |
|
|
Jia Sui
|
01c45c8d90
|
fix(server,ui-html,engine): octagram 激活中的模型包也可删除，引擎映射支持动态释放
|
2026-10-02 20:15:41 +08:00 |
|
|
Jia Sui
|
e1a664a194
|
fix(server): 万象下载器改用格式锁，撤下无依据的评测宣称
锁定值与上游实际资产不符（字节数 409719852 vs 409412652，摘要 ae43724a… vs 873cbbb3…），下载在字节锁处失败。上游 LTS 会被原地重传且无不可变资产 URL，摘要硬锁意味着每次重训都要改代码发签名安装包，否则全用户下载失败，这个成本消不掉。
改为锁格式：删字节数常量，总长取响应 Content-Length 并在收完后比对一次（截断检测）；新增 ValidateFormat 让引擎读取端自己开一次（魔数 + 双数组边界，不按文件自带长度做堆分配）。摘要不再参与放行，只判断 reviewed 并写入旁挂 .sha256（状态查询要频繁调用，不能每次重算 400MB 哈希）。真实上游字节按 open() 判据复核精确贴边通过：array_size=102353152，收尾正好在 409412652。
kReviewedSha256 保留旧值，摘要不符即 reviewed=false，设置页明示「上游已更新，未经评测」，NOTICE 记录实际摘要与字节数并附差异说明。契约无需重生成：sentence_collocation_model_status 是两个宿主各自拼的 ad-hoc JSON，不在 schema.json 内。
撤下无法验证的宣称：设置页删掉「评测 top1 +6 个百分点」（仓里没有评测工具、没有 docs/research，该数字无法复现），改为描述机制；清掉两处对从未进仓的文档与工具的引用（docs/research、tests/src/gram_reader、eval_lm_compare）；修正 octagram_gram.h 里被本次改动失效的「摘要校验在下载侧做」。配置只改注释、未增删键，五件套映射不适用。
|
2026-10-02 20:15:39 +08:00 |
|
|
Jia Sui
|
cc738f19ca
|
feat(engine): 词格接入万象搭配加成与 n-best 重排
SentenceAssociationOptions 新增四个字段（模型路径、加性权重、重排开关、重排权重），
随 QueryRequest 下发到全拼与双拼词典：
- 加性（接入点 A）：collocation_scorer 在 Viterbi 逐边叠加字级搭配分，与三元模型
同域竞争，离线评测 top1 89.4% -> 95.6%（w=0.25）
- 重排（接入点 B）：make_octagram_reranker 在解出的 n-best 上按整句搭配分重排，
以独立来源 CandidateSource::Collocation 出行（徽标〔万象〕），落库/学习判定与
神经整句同类
- 模型路径由宿主按模型包解析后传入，UTF-8 经 path_from_utf8 显式转换；模型缺席
时词格静默降级，与其余整句来源同范式
同时修正 test_pinyin 里一处 9 月底起与实现矛盾的断言：重排器同意词格排序时，
行保持词格来源（Generated）而非记到重排名下——以 word_lattice.h 的单重排器契约
与 merge 实现为准。原断言所在的 imetest 不进 CI，因此一直没被发现。
|
2026-10-02 20:15:39 +08:00 |
|
|
fanlusky
|
e7f7addd4f
|
feat(engine): 神经网络整句联想与词格 n-best 重排
- 新增 engine/neural：移植 chinese-ime-lm 的字符级 Transformer 推理，在词格解出的最多 12 条
n-best 里重排挑选整句，desktop / keyboard 两档模型各出一条首选，后台 worker 异步打分
- 词格支持 n-best 输出与重排（quanpin/lattice_rerank），全拼、双拼共用
- 新增 SentenceAssociationOptions，经 QueryRequest 传给各 provider；四个来源默认全关
- 资源契约登记两个 safetensors 与 NOTICE；模型二进制不进仓库，由
scripts/fetch-neural-model.ps1 按 neural-model/lock.json 下载并校验 SHA256
- 新增 neural_sentence 测试
|
2026-09-24 14:03:39 +08:00 |
|