okooooooo/msime-windows
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
2,475 Commits 1 Branch 0 Tags
develop
Commit Graph
62 Commits
Author SHA1 Message Date
Lu Fan(SonnyCalcr) 58a27f3edb fix(engine,server): 候选末页满页且无法再展开时置灰下一页箭头 (#1070) 
下一页箭头原先在当前页满时一律可点，为首字母候选分批展开留口子；
但只有单个首字母且首字母候选恰好截在 24 条时才能展开，其余情况
末页满页的右箭头点了没反应也不会变灰。

引擎新增只判断不查库的 can_expand_initial_candidates，与实际展开
共用前置条件；Server 发布候选页快照时，满页只有在还能展开时才算
有下一页。

Refs #1069
 2026-10-18 23:11:22 +08:00
Lu Fan(SonnyCalcr) 5de73de7a6 feat(engine,server,windows): 双拼末尾辅助码支持间接触发，句中辅助码单独成区 (#1068) 
双拼辅助码新增「直接辅助码」开关（默认开，行为不变）。关掉后末尾辅助码改由引导键触发：
反引号、分号、大写字母可多选，触发键后接一到两个辅码（如 ulpb;xy、ulpbXy），一码重排、
两码筛选，只在输入末尾生效。触发键在 TSF 缓冲与 Server raw 里统一记成 |，与句中辅助码的
反引号段区分。

两组触发键互斥：一边勾上某个键会取消另一边的同一个键；手改配置两边都勾时归句中辅助码。
新增 Worker 消息 EndHelpcodeTriggersChanged（37），旧 DLL 忽略。

设置页把句中辅助码单独成区（仅双拼），其中间接（引导键）与直接（万象式）两种方式互斥。
新配置项同时写进出厂模板与开发配置。
 2026-10-18 22:54:17 +08:00
Lu Fan(SonnyCalcr) 23bfdd4d51 feat(engine,server): 符号混输放开拼音读音，emoji 混输改为整串精确匹配 (#1050) 
- 符号混输不再挡读得成拼音的编码：混输本来就只认整串精确匹配，xi → ξ 也照样混入；单字母编码仍不混。
- 构建器读取 msime-dictionary 新增的 custom/symbols.txt（拼音<TAB>符号），把 dian → · 、、
  shuminghao → 《》 〈〉 等标点读音写进 symbol_code，书名号、引号、括号成对给出。
- emoji 混输改用新的 query_mixed_emoji，只认整串精确等于关键词，不再按前缀带出 emoji；双拼下只查
  展开后的全拼，并和符号一样只在光标位于末尾时查询。Shift+E 的 emoji 模式仍按前缀查。
- 同步更新设置页说明、出厂与开发配置注释和 README。
 2026-10-18 11:23:26 +08:00
Lu Fan(SonnyCalcr) 3cd429b19d feat(server): 加入 S 模式符号输入与符号混输 (#1047) 
符号数据改用 rime-wanxiang 的符号表与 typst/codex 符号名，源数据放在
msime-dictionary 的 sources/symbols/，替换原来的 piliapp 符号表。

- 建库：新增 symbols_db.py，生成表情面板用的 symbol_catalog（中文分类）和
  S 模式、符号混输用的 symbol_code；剔除 wanxiang-unrenderable.txt 列出的
  Windows 自带字体显示不了的符号，以及与 ① ❶ 看不出区别的 Dingbats 带圈数字
- 新增 scripts/check-symbol-rendering.py，用 Windows 字体生成上面的剔除清单
- Shift+S 进入符号模式，按万象分组码（xl、sx、szq）、数字读音（yi → 一 ① ⑴）
  或符号名（alpha、infinity）检索
- 符号混输：整串精确等于编码时混入，首个紧跟首选；读得成拼音的编码只混数字
  序号写法；双拼先按方案换算成全拼再查（小鹤 sj → san → ③）
- 表情面板符号页：中文分类，搜索把整词命中的符号列在「最佳匹配」
- 配置：utility.symbol_mode（默认开）、general.symbol_mixed_input（默认关）

Refs #795
 2026-10-18 02:08:39 +08:00
古明四季andfanlusky 0bad4c1aaa fix(engine): 修复日语分段选词吞掉后续输入 (#1020) 
* fix(engine): 修复日语分段选词吞掉后续输入

* fix(engine): 日语分段选词后重建混排候选并去掉剩余输入开头的分隔符

固定候选位打开时 candidates() 返回混排列表，分段选词后不重建就还是选词前整串的候选，
下一次选词会选到过期项。ka'ta 选「か」剩下 'ta，开头的分隔符转不出假名，剩余输入一个
候选都没有；现在和拼音路径一样去掉，去掉后为空就按整串上屏处理。
已转换部分的边界改用 segments，与整句候选同一来源。

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-17 17:41:01 +08:00
Lu Fan(SonnyCalcr)andli shiyan c67814caf8 feat(server): 改进中文模式下英文补全词形和首页候选 (#1010) 
* feat(server): expand mixed English completion choices

* fix(server): count fixed English in the first-page English budget

- Fixed-position English never takes the slot, regardless of
  first_page_count; fixed English on the first page counts toward the
  budget and the page room, and the first-page emoji is placed so that
  re-inserting fixed words returns it to the last slot.
- SlottedEnglishIndex returns the first unfixed English, so slot
  learning keeps working when the top-ranked English is fixed.
- Drop the protected-prefix lower bound on the completion target: it
  pushed the single default completion off the first page.
- Protect cloud/AI (and AI following English) from the extra English
  even with a learned slot.
- Keep the legacy five-row prefix query for the default single English
  candidate; only first_page_count > 1 uses the mixed distinct-word query.
- Let SetConfiguredEnglishMixedInputFirstPageCount own the range check.

---------

Co-authored-by: li shiyan <150001555+lsy9966303@users.noreply.github.com>
 2026-10-16 23:00:06 +08:00
HowGeGeandfanlusky 1671c3a467 fix(engine): recognize complete umlaut aliases in quanpin (#994) 
* fix(engine): recognize complete umlaut aliases in quanpin

* refactor(engine): 移除九键输入

九键会话只有引擎公共 Session 门面在用，Server 与 TSF 都没有接入。删掉
NineKeySession、Session 的九键入口与 SessionSnapshot::nine_key_spellings，
以及对应测试和注释。

* fix(engine,server): ü 别名共用一条归一规则，入库与纠错不再产出查不到的键

- 新增 quanpin::is_jqxy_v_alias / canonical_umlaut_spelling，替换 canonical_syllable
  与 to_google_spelling 里各自手抄的别名表，normalize_umlaut_aliases 也改用它。
- 纠错表生成器与运行时生成式空间不再从 jqxy+v 别名派生纠错键（nvan -> jvan 之类），
  手误只纠到 u 的标准写法；重新生成 autocorrect_table.h。
- 个人词库新写入的拼音词、设置页导入的全拼按词库写法入库（xvan -> xuan、lue -> lve），
  否则查询归一后永远查不到；被替换的旧词保留原键，旧行仍可删除。
- 双拼音节集统一排除 jqxy+v 别名，round-trip 检查不再特判。

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-16 20:48:33 +08:00
Jia Suiandfanlusky d414268b5f [Feat] U 模式重构为部件拆字反查 (#973) 
* feat(engine,server,windows,ui-html,installer): U 模式重构为部件拆字反查 (#971)

把 U 模式从 Unicode 十六进制码位输入改成部件拆字反查：Shift+U 后输入各
组成部分的拼音连写（晶 = ririri）即可出字，候选上反显注音。

- 引擎：新增 local_modes/radical_query（前缀匹配、字频降序），数据表
  engine/radical/decomposition.txt 与生成脚本；LocalInputMode::Unicode
  改为 Radical；删除 unicode_query。
- Server：g_radical_mode_triggered + IsRadicalCompositionActive + 候选分发，
  用 cpp-pinyin 反显注音；删除 Unicode 码位路径。
- 前端 TSF：删除 U 模式的十六进制/数字特例与影子预判，按普通组合处理。
- 配置：utility.unicode_mode 改为 utility.radical_mode。
- 部署：assets 登记 radical_decomposition，安装器与 CI 拷表。

数据来源 mirtlecn/rime-radical-pinyin (GPL-3.0)，授权见 engine/radical/NOTICE.md。

* feat(server): U 模式反显拼音改为带调风格（jīng）

* fix(server,installer): 修复 U 模式 CI（拆字表打包夹具与 clang-format）

* fix(engine,server): 修正 U 模式按键错位、重复候选与配置迁移

- Server 在 U 模式不再吞掉撇号、分号、斜杠、大写字母等键：TSF 已把它们记进按键缓冲，
  吞掉又不重同步会让两侧串和光标错位。照常插入，含非 a-z 的码查不出候选
- 拆字查询全码命中排在仅前缀命中之前，同一个字的几种拆法只出一次
- 升级合并把旧键 utility.unicode_mode 的值带到 utility.radical_mode，读取时也兜底旧键
- 生成脚本只收汉字，重建拆字表去掉 abc 码下的 51 行数字、字母与符号
- 开着 U 模式时在后台预热拆字表与 cpp-pinyin 词典，避开首个按键的冷加载
- Server 按会话的 RuntimePaths 查拆字表，删掉走全局数据目录的便捷重载
- cpp-pinyin 初始化合并到 utils/hanzi_pinyin，设置页导入注音共用；U 模式与快捷短语的收键分支合并

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-16 01:01:18 +08:00
Jia Suiandfanlusky 456b23ed94 feat(engine,server): 五笔支持 T 模式与 V 模式 (#942) 
* feat(engine,server): 五笔支持 T 模式与 V 模式

五笔方案此前被排除在 Shift+T 日期时间模式与 V 模式之外。根因是方案层就把
raw 归一成小写 a–y、丢弃数字与运算符，Server 的形状判定读不到大写 T/V 前缀。

- 引擎 WubiScheme 新增 raw_input_with_cases_：保留大小写与 T/V 模式的非字母键
  （数字、运算符、: /），但按码字域丢掉越域字母（默认配置下 z）。查询码仍由
  normalize_wubi_code 派生，普通码下两者长度相等——Server 用原样串长度数四码。
- Server：T 触发新增独立谓词 date_time_scheme（chinese_scheme || Wubi），不并入
  chinese_scheme 本身；FormatVModeWorkerPayload 对五笔返回 UppercaseOnly。
- 自动上屏 / 顶字两个谓词新增 special_mode_active 前置：T 模式关键词归一后可能与
  合法四码重合（Tdate → tdat），不挡会在第四个字母上结束模式。
- 引擎与 Server 测试、README 与两份配置模板文案同步。

* fix(engine,server,ui-html): 五笔 T/V 模式由宿主标注字面输入

原实现让五笔原样串不再裁到码长，普通码下原样串可以比码长（混输关、z 通配时 wqazb 对 wqaz），
Server 读回后光标、退格和上屏都会错位；守卫也只认 T 模式的全小写主体，TdatE 仍会顶出 tdat。

- 引擎：InputSession::set_wubi_literal_input 随 pending 序列一起下发，只作用于同一次设置。
  普通码的原样串就是带大小写的码，与查询码逐位对应、一起截断；字面输入原样保留，
  不查码表与拼音，也不算完整四码。退格从原样串重新派生码，字母键两份视图取同一个字母。
- Server：ApplyCompositionEditKey 按 IsWubiLiteralComposition（T 模式触发标记或 V 模式形状）
  标注字面输入；两个五笔上屏策略恢复原签名，不再需要 special_mode_active。
- 设置页 T/V 模式说明补上五笔。

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-15 02:08:36 +08:00
Jia Suiandfanlusky 1499027f04 fix(engine,server): 光标落在拼音首单元内部不再收起候选窗 (#940) 
* fix(engine,server): 光标落在拼音首单元内部不再收起候选窗

quantized_prefix_end() 把光标 floor 到完整单元边界后，prefix_end==0 同时表示「真串首」与「首单元内部」。后者被 Server 的 IsCaretPrefixEmpty 当成串首，候选窗整窗收起（全拼 nihaoya 选你好后剩 ya 左移即消失）。

floor 结果为 0 且 caret>0（首单元内部）时改返回 raw.size()，落回整串解码；prefix_end()==0 当且仅当 caret==0，只有真串首才隐藏。segment_raw_boundaries() 与 #187「前缀只切完整单元」的契约不变。

* fix(engine,server): 首单元内部的光标向上取整到首单元末尾

上一提交让首单元内部的光标落回整串解码，prefix_end() 因此报告整串已解码，
与实际光标位置不符：Server 选词时 caret_prefix_selection 为假，不复位组合
光标，造词后剩余串带着旧光标位置；首单元与后续单元的取整方向也不一致。

改为向上取整到首单元末尾（只有一个单元时即整串）。prefix_end() == 0 仍当且
仅当 caret == 0，前缀选词走正常的光标复位路径。同步更新引擎与
input_key_policy.h 中描述旧规则的注释和相应测试。

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-15 01:37:58 +08:00
Jia Suiandfanlusky 60c2b26698 fix(engine,server): 全拼纠错收窄「多字」纠错并让开关真正关闭纠错 (#889) 
* fix(engine,server): 全拼多字纠错收窄为仅 QWERTY 邻键插入

多字（插入）纠错只保留「误插 QWERTY 邻键」：生成器 insertion_variants 不再生成重复相邻键（双击），生成式空间不再生成任意字母插入（远键插入）。autocorrect_table.h 随生成器重新生成。

* fix(engine): 全拼纠错开关关闭时真正不再改写切分

纠错开关关掉后真正不纠错：把手误拼写别名层从常开改为跟掩码走（ü 归一 jv->ju / nue->nve 仍常开）；两个早于掩码可知的切分入口 QuanpinScheme::build_request 与 QuanpinDictionary::get_or_compute_segments 显式带上掩码，切分缓存键随之隔离。

* fix(engine,server): 纠错开关关闭时辅助码、写回与排序上下文也按字面切分

关掉全拼纠错后，只有方案的 build_request 和查询自身切分不再跑手误别名层，
其余几条路径仍用默认（带别名）的切分，和查询落在不同的键上：

- 辅助码路径自己切底串作为显式切分交给词典，haoyonga 仍被切成 hao'yong'ga；
- 调频、造词、删词、建 SQL、校验去掉分隔符后重切，开关关掉时选中 hao'yong'a
  的词会去更新 hao'yong'ga，调频静默失败；
- 排序 / 固定位置的上下文 key（引擎与 server 两处）仍按别名切，laing 与 liang
  的固定位置互相串。

改动：
- cut_pinyin_by_mode 的 include_correction_aliases 改为必填，每个调用点显式决定；
  双拼词典、设置页词库校验和离线工具传 true，保持原行为。
- 新增 quanpin::correction_aliases_enabled，方案、词典、辅助码与排序 key 共用
  （只看换位、邻键两位），修正只带删除 / 插入位的掩码在方案与词典两层判断不一致。
- 词典按最近一次 query 的掩码记录别名开关，写回路径统一走 cut_for_write。
- 会话改为在换方案、改开关时 bind_quanpin_scheme 一次，不再每次 refresh 下发。
- 方案只存 bool；jv -> ju 放回纠错表，去掉合并表。
- 在 CI 实际执行的 test_input_session 中补回归用例（写回、辅助码、固定位置、
  方案掩码），每条都确认回退修复后会失败。

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-12 20:41:23 +08:00
Jia Sui d495ea2ad0 fix(engine,server,installer): octagram 加成收敛为单一注入，校正量纲与参数，修复〔万象〕同音乱码 2026-10-12 13:12:21 +08:00
fanlusky cf07b77df6 feat(engine): 等音节数字面切分按整句打分裁决，预编辑跟随首选 
最少音节切分平局时固定取较短首音节，切分又在查词之前定死，yibananzhao 只会切成
yi'ba'nan'zhao 出「一把难找」，「一般按照」「这个方案很好」这类 n/ng 边界歧义的整句没有机会。

- arbitrate_literal_segmentations：合法输入的等音节数字面切分各解一遍词格，路径分最高的领衔，
  同分仍取原切分；输方分差在 3.0 以内时它的整句占第 2 位，更远不出。任一切分在词库里有整词时
  不介入（单词级仍按词频），整句来源全关时与原来一致，用户调过频的读音不让出领衔
- 合法输入纠错的原读法改为领衔的字面切分：纠错胜出时第 2 位是得分最高的字面读法
- 首选是另一种等音节数字面切分时预编辑跟着它分（yi'ban'an'zhao、fang'an）
- 胜出切分的前缀词替换原切分前缀区间扫出的同名行，选「一般」按 yi'ban 消耗
- 词格跨度查询与最佳路径加缓存，随 reset_cache 清空；普通输入每键 p90 也随之下降
- 新增 eval_quanpin_sentence 与句子级评测集 tests/data/quanpin_sentence_cases.tsv
 2026-10-12 03:05:44 +08:00
Lu Fan(SonnyCalcr) 649747f8cd feat(server): 神经网络整句效果优先模型改为按需下载 (#838) 
效果优先模型（sentence-model-desktop.safetensors，约 25 MB）不再随安装包分发，
改为和八股文模型一样在设置页下载后才能使用。

- engine：SentenceAssociationOptions 新增 neural_desktop_model 路径，留空即模型缺席、
  静默不重排；词典不再从资源目录固定加载效果档。load_file 按 UTF-8 打开路径，
  数据目录在非 ASCII 用户目录下也能读到模型
- server：新增 settings/neural_model，下载到 <数据目录>\models\neural-desktop\，
  下载与导入都按 neural-model/lock.json 的字节数和 SHA256 校验后原子落位；
  会话层只在开关打开时解析模型路径
- ui-html：设置页增加下载 / 导入 / 删除 / 浏览器下载，模型未就绪时开关置灰
- installer：不再打包效果档模型；旧版装进数据目录根下的那份在覆盖安装与卸载时清掉

原有配置项 sentence_neural_desktop 保持不变，用户的开关状态升级后保留。
 2026-10-11 18:08:33 +08:00
chr331 36ab259c43 fix(engine): 保留原样混拼候选优先级 2026-10-11 13:56:14 +08:00
Ouchihao 29c8917e8c fix(engine): preserve leading-initial mixed jianpin 2026-10-10 14:46:13 +08:00
normaltank c2bd59d448 fix(server): 翻页扩展时保留混输候选并同步 Emoji 末尾排序 2026-10-08 22:10:13 +08:00
Lu Fan(SonnyCalcr) 53ee180ec3 feat(engine): 直接辅助码句中四码可用第二位辅码大写结束 (#630) 
直接辅助码的四码在句中原来只能补 / 结束（uiab/），现在也可以把第二位辅码敲成大写（uiaB）。
设置页「直接辅助码句中四码标记」两个勾选框可多选、至少留一个，默认只勾 /。

- 引擎：拼写图新增 Aux2Upper（非缩写）。开着大写标记时大写字母只能当第二位辅码，
  走不通再退回不分大小写的旧规则，第一位辅码敲大写（uiAuiQ）照常可用。/ 的收键受勾选控制。
- 协议：DirectHelpcodeChanged 载荷改为 "0"/"1"/"2"（2 = 开着但 / 不是编码键），
  TSF 据此决定吃不吃 /。
- 配置：新增 helpcode.shuangpin_direct_helpcode_slash / _uppercase，同步写入出厂模板、
  工作配置和两个设置宿主的读写映射。
 2026-10-05 20:43:02 +08:00
fanlusky 352c7e2b12 perf(engine): 混排未开启时不再每键复制候选列表 
update_mixed_candidates 无条件把候选按值传进 CandidateQueries::mixed，Server
自己混排、candidates() 也只在混排开启时才读这份副本。未开启时直接清空返回；
混排开关、方案与固定位置每次变化都会重新调用本函数，不会读到旧列表。
 2026-10-05 13:02:46 +08:00
Lu Fan(SonnyCalcr) 1da1c1bcd6 fix(engine): 辅助码串上的 Ctrl+方向与 Ctrl+Backspace 按单元编辑 (#627) 
双拼串里带句中辅助码（反引号段 / 大写段）或开着直接辅助码时，segment_raw_boundaries
直接返回空，Server 只能退回逐字符移动和删除。

现在按请求带着的辅助码段布局切单元：每个音节和挂在它后面的辅码段各算一个单元，
Ctrl+Backspace 可以只删辅码，Ctrl+方向也能停在音节与辅码之间。布局对不上原串时仍
不给边界、退回逐字符。直接辅助码没解析出辅码时请求原样放行，沿用普通双拼切分。

光标前缀重算与按段编辑共用同一套边界，带辅助码的串也随之按光标前缀出候选。
 2026-10-05 04:19:23 +08:00
Lu Fan(SonnyCalcr) b391fd616b feat: T 模式支持输入指定的日期和时间 (#626) 
Shift+T 后面除了 rq / sj / xq 唤醒词，还可以直接写数字：

- YYYYMMDD、YYYY/M/D、M/D（年份取今年）出那一天的日期格式，星期按那一天算
- YYYY/M 出年月格式（新增 date:ym_* 五种）
- h:mm、h:mm:ss 出时间格式，写了秒才给带秒的格式
- YYYYMMDDhh[:mm[:ss]] 出日期加时间的格式

指定的日期时间沿用唤醒词的格式 ID，学到的顺序、置顶、固定位置跟着走。

输入形状放在 engine/contracts/date_time_input.h，TSF、Server、引擎共用：
数字、/ 和 : 只在还能接成某种形状时才进输入串，接不上的数字仍是选词键，
/ 和 : 仍是标点，Shift+数字始终选词。小键盘数字同样可以输入。

Refs #531
 2026-10-05 03:42:12 +08:00
Lu Fan(SonnyCalcr) 8a524aa498 feat(engine): 全拼纠错扩展到多字/漏字，贵档读法按整句分领衔 (#623) 
* feat(engine): 合法输入纠错扩展到多字、漏字，纠错读音按原始区间消耗字母

jiuzheeyang 切成 jiu'zhe'e'yang 全合法，多打的 e 原本纠不回「就这样」；多字纠错的
读音又与原始字母不等长，buuhui 选「不会」后会剩下一个 i。

- legal_input_correction_cuts（原 legal_input_transposition_cuts）认换位、多字、漏字
  三类静态表读法，不认邻键与生成式空间；末尾音节按漏字读出的（nia -> nian）视为
  还没打完，跳过；k-best 先取 9 条再过滤，长句里纠正不被别处的读法挤掉
- 改变字母数的纠正代价 3.0（换位 2.0）；字面切分本身是真词时不认改变字母数的读法，
  少一个音节的句子在语言模型里天然分高（邪恶 -> 些、答案 -> 但）
- 新增 correction_cut_for_reading / corrected_reading_raw_length：选词按纠错切分
  记录的原始区间消耗字母，预编辑也按它分隔（jiu'zhee'yang）
- AutocorrectCut 恢复 has_generated，供合法输入路径排除生成式读法

* fix(engine): 被裁掉的合法输入纠错读法不再误标原读法的候选

合法输入上的纠错读法登记进了全局纠错标记表，即使裁决时被丢掉也照样参与按读音字母
的标记匹配：xiee 按多一个 e 读成 xie 被丢掉后，邪恶后面的前缀单字 写/些/血 读音
也是 xie，全被标成纠错。

改为不登记，只在 arbitrate_legal_corrections 里给真正用上的那条纠错读法的整读音
候选打标，标记随结果进缓存。

* feat(engine): 结构性贵档纠错读法可按整句分领衔

shiideya 的换位读法 shi + ide->die（权重 10，是爹呀）比多字读法 shii->shi（权重 12，
是的呀）便宜一档。#592 只在同档内做上下文消解，贵档读法一律排在最后，「是的呀」
连首页都进不了。

- 上下文消解把前 2 条贵档读法也解码，不要求词库有整词；总分 = 路径分 - 手误代价，
  代价按纠错表权重换算（权重 x 0.2：换位 2.0、漏字 2.2、多字 2.4）
- 只收由结构性手误（换位、漏字、多字）构成的贵档读法：邻键只比漏字贵 0.4 分，
  常用词的语言模型优势会把 zhowei 的「周围」挤成「作为」
- AutocorrectCutSegment 记录每段的纠正权重，用来区分纠正类型
- 预编辑跟随领衔读法分隔也覆盖切不成合法音节的输入（shii'de'ya）
- eval_quanpin_autocorrect 新增 --word-lattice，量产品默认开词格时的排序

评测（--word-lattice，300 样本，seed 42）各档 R@1/R@3 不低于改动前：mixed R@1
79.7/76.7/78.3/70.3 -> 82.3/81.7/81.3/78.0，insertion 83.3/74.7/72.7/52.0 ->
91.3/89.3/90.0/83.7，deletion 持平或上升，ambiguous 持平。

* fix(engine): 纠错上下文消解在任一整句来源开启时生效

上下文消解只认 word_lattice 开关。只开万象重排、不显示 Trigram 整句时（词格在内部
照样解码），整段被跳过，shiideya 退回静态排序，「是爹呀」又领衔。

- 新增 SentenceAssociationOptions::any_sentence_source，门控改看它；全关时仍是纯
  静态排序，#592 的「关联关闭 = 静态路径」不变
- 贵档胜者没有整词也没有整句行时（重排模型未载入），由它的最长前缀词领衔，不让
  主切的行顶回首位
 2026-10-05 01:41:37 +08:00
Lu Fan(SonnyCalcr) adde5c188c feat(engine): 合法输入的换位手误按整句打分纠错 (#622) 
ziazheliya、jioa、liazheli、nia 能整串切成合法音节（zi'a'zhe'li'ya、ji'o'a），
纠错入口按「切不成合法音节」设闸，原本完全不进纠错。

- legal_input_transposition_cuts 列出合法输入上的换位读法：纠正段须盖住字面
  切分里被挤出的非首位零声母音节（排除 dao'lu 读成「大楼」这类跨边界重切），
  另有罕见音节小表（lia->lai、dia->dai），只用于多音节输入
- arbitrate_legal_corrections 按噪声信道整句打分：词格最佳路径分 + 每处换位
  -2.0，不看整句候选显示开关；纠错领衔时原读法固定第 2 位，原读法领衔时纠错
  在 3.0 分差内占第 2 位，否则不出
- 字面整词保住首位：候选里有读音字母与输入相同的词库词时，改写字母的读法
  （换位纠错，以及已有的辅音复制别名 yongan -> 勇敢）最多排第 2
- 纠错领衔时预编辑按领衔读法分隔（zia'zhe'li'ya）
 2026-10-04 23:54:18 +08:00
Lu Fan(SonnyCalcr) 5208753ce8 feat: 句中辅助码新增大写字母触发方式 (#620) 
* feat(engine): add uppercase trigger for shuangpin mid-sentence helpcode

With the uppercase trigger on, an uppercase letter right after a complete
two-key syllable opens a mid-sentence helpcode block by itself, as if the
backtick had been typed before it: ulpbXihfa is ulpb`xihfa, and a following
uppercase letter is still the second code (ulpbXYih is ulpb`xYih). The raw
input keeps the typed letters; the block rules live in
contracts/mid_sentence_helpcode.h so TSF, Server and engine parse alike,
including the semicolon final, which no longer counts uppercase blocks.

The scheme now hands the parsed layout (source index and decorations) to the
request, so selection advance and preedit no longer re-parse the raw input.
Adds the MidSentenceHelpcodeUppercaseChanged worker opcode (31).

* feat(windows): count uppercase helpcode blocks before backtick and semicolon

With MidSentenceHelpcodeUppercaseChanged on, TSF uses the shared block rules
when deciding whether '`' opens a block and whether ';' is the ing final, in
both the synchronous and the deferred key classification.

* feat(server): wire the mid-sentence helpcode uppercase trigger

New helpcode.shuangpin_mid_sentence_helpcode_uppercase (default off) in both
config templates, both settings hosts and the settings page as a third
trigger checkbox. It takes effect only with mid-sentence helpcode on and
direct helpcode off; the Server applies it to the semicolon final rule and
broadcasts MidSentenceHelpcodeUppercaseChanged to TSF.
 2026-10-04 21:00:41 +08:00
Lu Fan(SonnyCalcr) 22fb1e2569 Merge pull request #619 from fanlusky/feat/shuangpin-direct-helpcode 
feat: 双拼直接辅助码（万象式，无需引导键）
 2026-10-04 19:32:10 +08:00
Jia Sui cc738f19ca feat(engine): 词格接入万象搭配加成与 n-best 重排 
SentenceAssociationOptions 新增四个字段（模型路径、加性权重、重排开关、重排权重），
随 QueryRequest 下发到全拼与双拼词典：

- 加性（接入点 A）：collocation_scorer 在 Viterbi 逐边叠加字级搭配分，与三元模型
  同域竞争，离线评测 top1 89.4% -> 95.6%（w=0.25）
- 重排（接入点 B）：make_octagram_reranker 在解出的 n-best 上按整句搭配分重排，
  以独立来源 CandidateSource::Collocation 出行（徽标〔万象〕），落库/学习判定与
  神经整句同类
- 模型路径由宿主按模型包解析后传入，UTF-8 经 path_from_utf8 显式转换；模型缺席
  时词格静默降级，与其余整句来源同范式

同时修正 test_pinyin 里一处 9 月底起与实现矛盾的断言：重排器同意词格排序时，
行保持词格来源（Generated）而非记到重排名下——以 word_lattice.h 的单重排器契约
与 merge 实现为准。原断言所在的 imetest 不进 CI，因此一直没被发现。
 2026-10-02 20:15:39 +08:00
fanlusky 45c473158a feat(engine,server,windows,ui-html): 双拼预编辑可显示转换后的全拼 
外观里行内预编辑与候选窗预编辑各加一个「双拼显示转换后的全拼」开关，默认关闭。
开启后在双拼方案下：行内原始按键显示不带分词符号的全拼，拼音分词显示带分词符号的
全拼；候选窗显示带分词符号的全拼。

- 引擎新增 get_shuangpin_preedit_forms，同时给出原串切分与全拼切分，不受
  shuangpin_preedit_mode 影响。
- 原始按键样式下 TSF 不等 Server 回包，开关开启且为双拼时 Server 下发的实际样式
  改为 pinyin，回包里再按用户样式去掉分词符号；换方案时重新下发。
- 转换后字母数与按键不再对应，Server 在预编辑末尾附光标映射表
  （engine/contracts/preedit_caret_map.h），DLL 用它定位光标和处理方向键，
  无表或长度不符时回落到原有字母映射。
 2026-10-02 16:14:50 +08:00
fanlusky 31241d22ed fix(engine,server,windows): 句中辅助码支持光标在句中插入，上屏按不带约束的排序调频 
光标用箭头或 Ctrl+箭头移回句中后敲反引号，TSF、Server、引擎三处都要求光标在串尾，
反引号被当成标点，光标前的预编辑连同「·」一起上屏。改为只看光标前的部分：光标前是
完整的两键音节就收，落在音节中间或已有段的前面不收。形状规则新增
FanyImeMidSentenceHelpcode::AcceptsMarkerAt，三处共用；引擎的光标插入路径同时接受
句中的第一码和大写第二码。

句中辅助码筛过的列表里，要的词往往已经排第一，选第一个不调频，调了也是在筛过的列表
里排位，下次不敲辅助码时排序不变。现在带句中辅助码上屏词库候选时，改用去掉约束后的
候选作排位参照，选的是第一个也照样调；空格、数字键、鼠标点选都走 ProcessSelectionKey，
引擎自己的上屏路径同样处理。
 2026-10-02 12:43:16 +08:00
fanlusky cec3118324 feat(engine): 新增日期时间混输候选来源 
CandidateSource 末尾追加 DateTime，标记全拼 / 双拼里由 rq / sj / xq 等唤醒词混进普通候选的
日期、时间、星期；Shift+T 模式里的同一批文本仍记 Generated。快捷短语槽位计数不把它算作普通候选。
 2026-10-02 03:39:13 +08:00
fanlusky fae80660c1 feat(engine,server,windows,ui-html): 双拼句中辅助码 
在完整音节后敲反引号，接着的字母筛这个音节上的字：第一码大小写均可，
紧跟的大写字母是第二码，之后可以接着打，一个输入里可以有多段。开关
helpcode.shuangpin_mid_sentence_helpcode 默认关闭。

约束在整句解码时生效，而不是解完再筛：
- Google 解码器在 add_char_qwerty 里送 extend_mtrx_nd 之前按约束过滤词条，
  锁住的字带着上下文重新整句解码；约束变化时整段重解，不污染增量搜索。
- kenlm 词格建图时按约束筛边，受约束的跨度不截断地查词库；神经重排只在
  词格 n-best 里挑，自动满足约束。
- 普通词条、云和 AI 候选按同一规则收尾校验；满足不了就不出整句。

反引号段在请求里换成手动分隔符，原串留给宿主回读与预编辑显示；选词推进
时剩余音节上的约束随原串保留。输入形状规则放在 contracts/mid_sentence_helpcode.h，
TSF、Server、引擎共用，新增 Worker opcode MidSentenceHelpcodeChanged = 28。
googlepinyinime-rev 已与上游解绑，AGENTS 与 UPSTREAM.md 同步说明。
 2026-10-02 02:20:37 +08:00
fanlusky e502201fd9 fix(engine): 全拼别名改写后的 preedit 保留合法切分与手动分隔符 
#565 让合法键入在被别名改写后退回无分隔的原始字母，多打一个字母就会丢掉
已显示的全部分隔符（hao'yong -> haoyonga）。现在按键入字母自身的合法读音
重新切分（hao'yong'a、dong'an）。BFS 无法解释时的退路改为原样显示键入，
不再吞掉用户手打的分隔符（haoyonga' 不再显示为 haoyonga）。

测试拆成两组：走简拼守卫的合法拼写，与走退路的输入。dongua、zhonguo 不经
过守卫，归入退路组，此前它们在修复前也能通过，不构成守卫分支的回归用例。
 2026-10-01 22:57:51 +08:00
Jia Sui efdea2c14f fix(engine): 全拼合法键入被别名改写后 preedit 不再照搬改写串 2026-10-01 15:09:32 +08:00
fanlusky 3f430cd68e fix(server): 双拼辅助码开启时快捷短语奇数长编码不再被拦掉 
双拼开着辅助码时，「完整音节 + 一个字母」的编码（如 dia = di + a）会被认成带辅助码，
快捷短语混排见到辅助码就直接退出，这类编码的短语永远进不了候选。整串精确等于用户编码时
按短语处理，Server 的 PlaceQuickPhrases 与引擎的 quick_phrase_code 一并去掉辅助码判断，
并补双拼 dia 的回归用例。
 2026-10-01 02:35:55 +08:00
fanlusky c99fb8d585 fix(engine): 英文调频不再以中文权重为基准，并按输入记英文槽位 
混输列表里英文调频把「全表最高权重 + 1000」写成新权重，中文候选也算在内。
在 zai 下选一次 zaire，它的权重就变成 19,196,987，超过「在」，并且对所有能查出它的输入永久生效。

- adjust_english_candidate_ranking 只用英文候选的权重当基准
- 新增 english_slots 表和 english_slot / set_english_slot /
  learn_english_slot_selection / learn_english_slot_bypass：按输入记录首个英文候选在列表中的位置，
  选中时按调频名次前移（可以升到首位），越过它时后退一位，最多到首页末位
- 新增 InputSession::reads_as_pinyin：整串能否读成拼音（允许简拼声母和打到一半的音节）
 2026-09-30 22:49:27 +08:00
fanlusky e365a8d1b5 perf(engine): 大模型改为只读映射并按需载入，缩短每键查询路径 
- sc.lm 改用 kenlm 的 LAZY 载入：Windows 上默认的 POPULATE_OR_READ 会退成 READ，
  把 33 MB 整份拷进私有堆且永不释放；现在是 MapViewOfFile 只读映射，可被系统回收
- dict_japanese.dat 在 Windows 上同样改为只读映射，与 POSIX 分支一致
- 神经整句模型改为开关首次生效时才载入（LazySentenceModel），默认关闭的桌面模型
  不再占用约 24 MB
- 新增 reset_sentence_cache()：重排结果与上文只影响词格整句，只清 series 一层，
  逐前缀查库与切分缓存保持热；set_rescoring_context 也改用它
- CircularBuffer 新增 find()：命中时返回指针而不复制整份候选列表，并改为真正的 LRU；
  全拼、双拼每键的命中路径改用它
- Google 解码器去掉每次调用前的 im_reset_search，沿用上游的公共前缀增量搜索
- 测试：出货 sc.lm 能映射载入并正常打分；增量搜索与从头搜结果逐步一致
 2026-09-30 19:58:18 +08:00
fanlusky 42fbb9541c feat(engine): 快捷短语混入全拼 / 双拼候选并参与调频 
Shift+K 快捷短语模式保留，仍按编码前缀查询（query_quick_phrases）。另外全拼 / 双拼下
编码精确匹配（query_quick_phrases_by_code）的快捷短语作为一组插在固定位置候选之后，由
LocalModeOptions::quick_phrase_candidates 单独开关；五笔不混。

用户日志新增 quick_phrase_slots 表记录快捷短语组前的普通候选数：选中短语让组前移，
越过组选普通候选让组后移，后移上限为页长减一。quick_phrase_frequency 关掉时组固定在
首位。与普通候选同文本时保留快捷短语那份。
 2026-09-29 14:31:51 +08:00
fanlusky f56551c34b feat(engine): 内置搜狗、紫光、智能ABC、国标和拼音加加双拼方案 
新增五套双拼方案表，零声母规则：
- 搜狗、紫光、智能ABC：o + 韵母所在键
- 国标：a + 韵母所在键
- 拼音加加：韵母第一个字母 + 韵母所在键

搜狗和紫光与微软一样把 ing 放在分号上。分号作韵母键原先按方案名写死为
microsoft，现改为 ShuangpinProfileUsesSemicolonFinal 按方案表判断，
引擎、Server 按键处理和下发给 TSF 的开关一并生效。

智能ABC 键位图把 ve 也标在 V 上，但这样 lv/nv 会同时解成 lü 与 lüe，
这里按标准智能ABC 把 ve 放在 M（与 ue 同键）。

Server 配置校验改为按方案解析结果判断；设置页下拉框、配置模板注释和
README 同步更新；新增各方案键位、零声母、分号及全方案逐音节往返测试。
 2026-09-29 03:52:19 +08:00
fanlusky d0feee74cc fix(engine): 修正五笔混输的候选方案标记、通配排序与固定位置去重 
- 首字母展开与固定位置补入的拼音候选不经过 query()，此前保留默认 Quanpin，
  双拼会话里调频/删除会落到全拼引擎；现在按查询方案打标。
- 混输与 z 通配同时开启时，含 z 的编码拼音候选排在通配结果之前，避免通配
  整页码行把 zi/zu 这类拼写的正解挤到后几页。
- 固定位置分区合并时，拼音分区 include_missing 补回的词若五笔分区已列出则去掉，
  保持同词只留五笔一份。
 2026-09-29 00:12:46 +08:00
Jia Sui a9920cb40f perf(engine): 五笔设置未变化时不再重建候选 2026-09-28 18:29:50 +08:00
Jia Sui a50232f06c fix(engine): set_wubi_mixed_pinyin 不再复位 z 通配开关 2026-09-28 18:28:42 +08:00
Jia Sui 456fdb819c feat(engine,server,ui-html,installer): 五笔拼音混输改为同时混排并拆出独立开关 
Signed-off-by: Jia Sui <jsfaint@gmail.com>
 2026-09-28 17:55:36 +08:00
fanlusky fc6f6469f7 perf(engine): 上屏不再清空候选缓存，按键不再重复重建混合候选 
- set_rescoring_context：每次选词都会换上文并清空 cache_、series_cache_ 和
  segmentation_cache_，下一个词的前几键因此都是冷查询。上文只经神经重排
  进入候选，没有生效的神经模型时与缓存无关，此时不清；之后打开神经重排
  会经 set_sentence_association 清缓存。全拼、双拼同改。
- set_quanpin_autocorrect_types：Server 每键重新应用配置，值没变也会调用
  update_mixed_candidates 复制整份候选列表。值不变时直接返回；构造时已把
  初值同步给引擎。
 2026-09-27 15:03:17 +08:00
fanlusky 57dd0fc2f3 fix(engine,server): 整句来源标签只挂在整句联想候选上 
候选窗按 CandidateSource 挂〔Trigram〕/〔Unigram〕，但 Generated/Fallback 同时被
原样上屏兜底、英文模式原文、日期、Unicode、假名、译文义项等合成候选借用，导致
输入 E 等特殊模式前缀时原样候选被误标为〔Unigram〕。

WordItem 新增 sentence_association 标记，只由 Google 解码器整句（全拼、双拼）与
kenlm 词格整句置位；Server 挂标签时同时要求来源与标记。source 本身不变，落库与
学习策略不受影响。
 2026-09-27 08:25:51 +08:00
fanlusky e7f7addd4f feat(engine): 神经网络整句联想与词格 n-best 重排 
- 新增 engine/neural：移植 chinese-ime-lm 的字符级 Transformer 推理，在词格解出的最多 12 条
  n-best 里重排挑选整句，desktop / keyboard 两档模型各出一条首选，后台 worker 异步打分
- 词格支持 n-best 输出与重排（quanpin/lattice_rerank），全拼、双拼共用
- 新增 SentenceAssociationOptions，经 QueryRequest 传给各 provider；四个来源默认全关
- 资源契约登记两个 safetensors 与 NOTICE；模型二进制不进仓库，由
  scripts/fetch-neural-model.ps1 按 neural-model/lock.json 下载并校验 SHA256
- 新增 neural_sentence 测试
 2026-09-24 14:03:39 +08:00
Jia Sui 5b0be4e71d Merge branch 'develop' into feat/caret-driven-resegmentation 2026-09-24 08:45:54 +08:00
Jia Sui 54c41d34b2 fix(engine): reset_cache 连带失效 caret 前缀候选缓存 2026-09-23 21:32:59 +08:00
fanlusky 7b7b19f449 fix(wubi): 前缀提示不挡混合拼音、候选去重，修复顶字/自动上屏后快打丢字母 
- 只有精确码行才算五笔表已回答，前缀提示不再阻止混合拼音回退；拼音无结果时保留提示
- 五笔前缀查询按词去重，保留精确码行
- HideCandidate 抑制改为推送成功记账、Hide 消费（带 1s 时限），不再被下一个按键撤销；
  四码唯一自动上屏路径同样记账
 2026-09-23 15:41:04 +08:00
Jia Sui 1cfba58eba feat(engine): 光标驱动的拼音前缀解码与候选重算 
caret 从纯显示状态升级为查询管线输入：set_caret 量化到最后一个完整
音节单元边界（只消费 segment_raw_boundaries，#187 契约），前缀候选
独立解码、preedit 保持全串拼音风格；纯移动光标同样重算候选。
IInputScheme::set_raw_input 提升为接口方法以支持不动现场组合的
独立前缀查询。runtime_isolation 两处按 R3/R4 新语义改写（caret 在
音节中间 floor 到空前缀、候选为空是预期状态）；新增 caret 前缀
会话单测（engine/tests + server CI 目标，隔离词库夹具，覆盖
全拼 floor、双拼贪心配对、五笔无单元模型、boundary=0 空候选）。
 2026-09-22 14:56:22 +08:00
Jia Sui 536d0a95ef feat(windows): 五笔四码后继续输入不丢字（顶字） 
四码（不论是否唯一）之后继续敲字母时，先上屏该码的首选候选，再把这个字母
保留为下一次组合的开头。根因是两侧对「组合里有几个字母」认知不一致：TSF 的
本地按键缓冲跟着敲键涨（raw 预编辑样式下 preedit 就是它），服务端的五笔 raw
被引擎裁在四码；空格提交时组合文本被整段替换成候选并清掉本地缓冲，多敲的
字母随之丢失。

- 新增 worker 消息 CommitCandidateAndContinue(27)，payload "<consumed>\t<text>"：
  TSF 按服务端给出的消费数裁**自己**的组合缓冲，而不是套用服务端按旧视图算好
  的剩余串——快打时用户已多敲的字母因此不会被覆盖
- TSF 处理序列全部复用既有原语：_InsertTextToComposition + _HandleCompleteCommitFirst
  真提交，_StartComposition + AddVirtualKey + _HandleCompositionInputWorker(NO_REQUEST_ID)
  重建余下字母的组合；无组合时退化为直写
- 服务端顶字不看自动上屏开关：开关只决定唯一码要不要多敲一键才上屏，
  不决定丢不丢输入；自动上屏那条路也改用同一消息，顺带收掉快打竞态
- 引擎新增 wubi_four_code_is_complete（完整四码、码表作答、不要求唯一；
  空码不算——没有候选可提交时不触发顶字）

已知限制：光标在组合中间时的改码行为维持现状；空码继续敲字母仍会被忽略。
 2026-09-22 09:23:25 +08:00
Jia Sui 5d1a9a6cc2 feat(server): 五笔四码唯一自动上屏 
五笔敲满四码且码表只答一个候选时不再需要空格：第四个字母落下即上屏，下一个
字母直接开新组合。行为无条件生效，不设配置开关：业界默认开启（微软五笔、
搜狗五笔、极点、Rime 主流五笔方案），唯一候选没有第二选择，确认空格是纯冗余；
而一条开关要牵动配置五处同步，换不来可形成预期的行为差异，不值。

- engine 只报告事实（wubi_unique_four_code：完整四码、码表作答、候选恰好一个），
  是否上屏由 Server 决定；判定收在 input_key_policy.h 的纯函数里，随 portable
  目标进 ASan/UBSan；组词（creating_word）激活时组合保持打开，唯一四码不会把
  正在拼的词截断上屏
- 提交复用 ProcessSelectionKey，与空格上屏同一套记账；但只能走 worker 管道推送
  CommitCandidate：字母键在默认 raw 预编辑样式下不读请求-回复管道，回一帧 Normal
  既不会上屏，还会在 TSF 侧留下永不释放的回复帧，而 Server 已按 Normal 清掉组合
- 上屏前按当前组合同步重建候选页：候选页异步发布，提交路径读的 ui.items /
  page_words 否则可能还停在第三码那一拍
- 非唯一四码不做顶字上屏：一个按键只能回一条管道消息，真顶字需要扩 IPC 协议
 2026-09-22 09:23:24 +08:00