 Lu Fan(SonnyCalcr)
|
649747f8cd
|
feat(server): 神经网络整句效果优先模型改为按需下载 (#838)
效果优先模型（sentence-model-desktop.safetensors，约 25 MB）不再随安装包分发，
改为和八股文模型一样在设置页下载后才能使用。
- engine：SentenceAssociationOptions 新增 neural_desktop_model 路径，留空即模型缺席、
静默不重排；词典不再从资源目录固定加载效果档。load_file 按 UTF-8 打开路径，
数据目录在非 ASCII 用户目录下也能读到模型
- server：新增 settings/neural_model，下载到 <数据目录>\models\neural-desktop\，
下载与导入都按 neural-model/lock.json 的字节数和 SHA256 校验后原子落位；
会话层只在开关打开时解析模型路径
- ui-html：设置页增加下载 / 导入 / 删除 / 浏览器下载，模型未就绪时开关置灰
- installer：不再打包效果档模型；旧版装进数据目录根下的那份在覆盖安装与卸载时清掉
原有配置项 sentence_neural_desktop 保持不变，用户的开关状态升级后保留。
|
2026-10-11 18:08:33 +08:00 |
|
|
fanlusky
|
e365a8d1b5
|
perf(engine): 大模型改为只读映射并按需载入，缩短每键查询路径
- sc.lm 改用 kenlm 的 LAZY 载入：Windows 上默认的 POPULATE_OR_READ 会退成 READ，
把 33 MB 整份拷进私有堆且永不释放；现在是 MapViewOfFile 只读映射，可被系统回收
- dict_japanese.dat 在 Windows 上同样改为只读映射，与 POSIX 分支一致
- 神经整句模型改为开关首次生效时才载入（LazySentenceModel），默认关闭的桌面模型
不再占用约 24 MB
- 新增 reset_sentence_cache()：重排结果与上文只影响词格整句，只清 series 一层，
逐前缀查库与切分缓存保持热；set_rescoring_context 也改用它
- CircularBuffer 新增 find()：命中时返回指针而不复制整份候选列表，并改为真正的 LRU；
全拼、双拼每键的命中路径改用它
- Google 解码器去掉每次调用前的 im_reset_search，沿用上游的公共前缀增量搜索
- 测试：出货 sc.lm 能映射载入并正常打分；增量搜索与从头搜结果逐步一致
|
2026-09-30 19:58:18 +08:00 |
|
|
fanlusky
|
e7f7addd4f
|
feat(engine): 神经网络整句联想与词格 n-best 重排
- 新增 engine/neural：移植 chinese-ime-lm 的字符级 Transformer 推理，在词格解出的最多 12 条
n-best 里重排挑选整句，desktop / keyboard 两档模型各出一条首选，后台 worker 异步打分
- 词格支持 n-best 输出与重排（quanpin/lattice_rerank），全拼、双拼共用
- 新增 SentenceAssociationOptions，经 QueryRequest 传给各 provider；四个来源默认全关
- 资源契约登记两个 safetensors 与 NOTICE；模型二进制不进仓库，由
scripts/fetch-neural-model.ps1 按 neural-model/lock.json 下载并校验 SHA256
- 新增 neural_sentence 测试
|
2026-09-24 14:03:39 +08:00 |
|