 古明四季andfanlusky
|
0bad4c1aaa
|
fix(engine): 修复日语分段选词吞掉后续输入 (#1020)
* fix(engine): 修复日语分段选词吞掉后续输入
* fix(engine): 日语分段选词后重建混排候选并去掉剩余输入开头的分隔符
固定候选位打开时 candidates() 返回混排列表，分段选词后不重建就还是选词前整串的候选，
下一次选词会选到过期项。ka'ta 选「か」剩下 'ta，开头的分隔符转不出假名，剩余输入一个
候选都没有；现在和拼音路径一样去掉，去掉后为空就按整串上屏处理。
已转换部分的边界改用 segments，与整句候选同一来源。
---------
Co-authored-by: fanlusky <1730976608@qq.com>
|
2026-10-17 17:41:01 +08:00 |
|
|
沐雪清泽andmushiyuki
|
93c7b8121d
|
fix(engine): consume Japanese nn as a single nasal (#669)
Co-authored-by: mushiyuki <248113054+muxueqingze@users.noreply.github.com>
|
2026-10-11 20:39:55 +09:00 |
|
|
fanlusky
|
9a08042586
|
fix(engine): 日语预测紧跟整读音转换，不再被前缀片段压后
完整读音时的候选顺序改为：最佳整句路径与整读音精确词条在前，前缀预测随后，
其余整句结果（次优路径、假名兜底、只覆盖前缀的词条）殿后。预测只取读音严格
长于输入的词条，不再重复扫描精确词条；预测权重不高于其上方的转换，避免按权
重重排时把顺序翻回去。测试补齐头文件、清理目录不再抛异常，并新增前缀片段回归。
|
2026-10-08 16:48:39 +08:00 |
|
|
fanlusky
|
e365a8d1b5
|
perf(engine): 大模型改为只读映射并按需载入，缩短每键查询路径
- sc.lm 改用 kenlm 的 LAZY 载入：Windows 上默认的 POPULATE_OR_READ 会退成 READ，
把 33 MB 整份拷进私有堆且永不释放；现在是 MapViewOfFile 只读映射，可被系统回收
- dict_japanese.dat 在 Windows 上同样改为只读映射，与 POSIX 分支一致
- 神经整句模型改为开关首次生效时才载入（LazySentenceModel），默认关闭的桌面模型
不再占用约 24 MB
- 新增 reset_sentence_cache()：重排结果与上文只影响词格整句，只清 series 一层，
逐前缀查库与切分缓存保持热；set_rescoring_context 也改用它
- CircularBuffer 新增 find()：命中时返回指针而不复制整份候选列表，并改为真正的 LRU；
全拼、双拼每键的命中路径改用它
- Google 解码器去掉每次调用前的 im_reset_search，沿用上游的公共前缀增量搜索
- 测试：出货 sc.lm 能映射载入并正常打分；增量搜索与从头搜结果逐步一致
|
2026-09-30 19:58:18 +08:00 |
|
|
fanlusky
|
5a5dea6b7e
|
feat(japanese): 日语模式禁用 -/= 翻页并用 - 打长音符
日语模式下把 - 让给长音符（ー）输入，同时禁掉 -/= 的候选翻页：
- 罗马字方案接受 VK_OEM_MINUS，set_raw_input 不再把 - 过滤掉；
罗马字表里本来就有 - 到 ー 的条目，只缺按键准入。
- n 后面接 - 时按辅音处理，让前面的 n 收成 ん，避免 n- 卡在 pending。
- 空编码时单独按 - 也起头组合，候选框第一项是 ー、第二项是普通 -。
- 组词流程同样适用：判据只看日语模式加组合状态，不再走翻页和词转字。
- -/= 在日语模式下不翻页，_ = + 这些没有假名写法的字符退回标点上屏，
并把 = _ 补进服务端的标点集合，和 TSF 侧保持一致，否则会等不到回包。
TSF 侧的影子分类、IsVirtualKeyNeed(ForFreshComposition) 和服务端按键策略
三处同时改，统一以配置项 input_mode == japanese 为判据（R 模式不在范围内，
TSF 侧看不到临时会话，用会话类型判断会让两侧分类打架）。
|
2026-09-15 01:57:50 +08:00 |
|
|
fanlusky
|
a7779d2b05
|
refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。
Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。
引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。
CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。
README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
|
2026-09-12 03:40:48 +08:00 |
|