okooooooo/msime-windows
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
2,475 Commits 1 Branch 0 Tags
develop
Commit Graph
17 Commits
Author SHA1 Message Date
Lu Fan(SonnyCalcr) 58a27f3edb fix(engine,server): 候选末页满页且无法再展开时置灰下一页箭头 (#1070) 
下一页箭头原先在当前页满时一律可点，为首字母候选分批展开留口子；
但只有单个首字母且首字母候选恰好截在 24 条时才能展开，其余情况
末页满页的右箭头点了没反应也不会变灰。

引擎新增只判断不查库的 can_expand_initial_candidates，与实际展开
共用前置条件；Server 发布候选页快照时，满页只有在还能展开时才算
有下一页。

Refs #1069
 2026-10-18 23:11:22 +08:00
Lu Fan(SonnyCalcr) 5de73de7a6 feat(engine,server,windows): 双拼末尾辅助码支持间接触发，句中辅助码单独成区 (#1068) 
双拼辅助码新增「直接辅助码」开关（默认开，行为不变）。关掉后末尾辅助码改由引导键触发：
反引号、分号、大写字母可多选，触发键后接一到两个辅码（如 ulpb;xy、ulpbXy），一码重排、
两码筛选，只在输入末尾生效。触发键在 TSF 缓冲与 Server raw 里统一记成 |，与句中辅助码的
反引号段区分。

两组触发键互斥：一边勾上某个键会取消另一边的同一个键；手改配置两边都勾时归句中辅助码。
新增 Worker 消息 EndHelpcodeTriggersChanged（37），旧 DLL 忽略。

设置页把句中辅助码单独成区（仅双拼），其中间接（引导键）与直接（万象式）两种方式互斥。
新配置项同时写进出厂模板与开发配置。
 2026-10-18 22:54:17 +08:00
Jia Suiandfanlusky 456b23ed94 feat(engine,server): 五笔支持 T 模式与 V 模式 (#942) 
* feat(engine,server): 五笔支持 T 模式与 V 模式

五笔方案此前被排除在 Shift+T 日期时间模式与 V 模式之外。根因是方案层就把
raw 归一成小写 a–y、丢弃数字与运算符，Server 的形状判定读不到大写 T/V 前缀。

- 引擎 WubiScheme 新增 raw_input_with_cases_：保留大小写与 T/V 模式的非字母键
  （数字、运算符、: /），但按码字域丢掉越域字母（默认配置下 z）。查询码仍由
  normalize_wubi_code 派生，普通码下两者长度相等——Server 用原样串长度数四码。
- Server：T 触发新增独立谓词 date_time_scheme（chinese_scheme || Wubi），不并入
  chinese_scheme 本身；FormatVModeWorkerPayload 对五笔返回 UppercaseOnly。
- 自动上屏 / 顶字两个谓词新增 special_mode_active 前置：T 模式关键词归一后可能与
  合法四码重合（Tdate → tdat），不挡会在第四个字母上结束模式。
- 引擎与 Server 测试、README 与两份配置模板文案同步。

* fix(engine,server,ui-html): 五笔 T/V 模式由宿主标注字面输入

原实现让五笔原样串不再裁到码长，普通码下原样串可以比码长（混输关、z 通配时 wqazb 对 wqaz），
Server 读回后光标、退格和上屏都会错位；守卫也只认 T 模式的全小写主体，TdatE 仍会顶出 tdat。

- 引擎：InputSession::set_wubi_literal_input 随 pending 序列一起下发，只作用于同一次设置。
  普通码的原样串就是带大小写的码，与查询码逐位对应、一起截断；字面输入原样保留，
  不查码表与拼音，也不算完整四码。退格从原样串重新派生码，字母键两份视图取同一个字母。
- Server：ApplyCompositionEditKey 按 IsWubiLiteralComposition（T 模式触发标记或 V 模式形状）
  标注字面输入；两个五笔上屏策略恢复原签名，不再需要 special_mode_active。
- 设置页 T/V 模式说明补上五笔。

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-15 02:08:36 +08:00
Jia Suiandfanlusky 60c2b26698 fix(engine,server): 全拼纠错收窄「多字」纠错并让开关真正关闭纠错 (#889) 
* fix(engine,server): 全拼多字纠错收窄为仅 QWERTY 邻键插入

多字（插入）纠错只保留「误插 QWERTY 邻键」：生成器 insertion_variants 不再生成重复相邻键（双击），生成式空间不再生成任意字母插入（远键插入）。autocorrect_table.h 随生成器重新生成。

* fix(engine): 全拼纠错开关关闭时真正不再改写切分

纠错开关关掉后真正不纠错：把手误拼写别名层从常开改为跟掩码走（ü 归一 jv->ju / nue->nve 仍常开）；两个早于掩码可知的切分入口 QuanpinScheme::build_request 与 QuanpinDictionary::get_or_compute_segments 显式带上掩码，切分缓存键随之隔离。

* fix(engine,server): 纠错开关关闭时辅助码、写回与排序上下文也按字面切分

关掉全拼纠错后，只有方案的 build_request 和查询自身切分不再跑手误别名层，
其余几条路径仍用默认（带别名）的切分，和查询落在不同的键上：

- 辅助码路径自己切底串作为显式切分交给词典，haoyonga 仍被切成 hao'yong'ga；
- 调频、造词、删词、建 SQL、校验去掉分隔符后重切，开关关掉时选中 hao'yong'a
  的词会去更新 hao'yong'ga，调频静默失败；
- 排序 / 固定位置的上下文 key（引擎与 server 两处）仍按别名切，laing 与 liang
  的固定位置互相串。

改动：
- cut_pinyin_by_mode 的 include_correction_aliases 改为必填，每个调用点显式决定；
  双拼词典、设置页词库校验和离线工具传 true，保持原行为。
- 新增 quanpin::correction_aliases_enabled，方案、词典、辅助码与排序 key 共用
  （只看换位、邻键两位），修正只带删除 / 插入位的掩码在方案与词典两层判断不一致。
- 词典按最近一次 query 的掩码记录别名开关，写回路径统一走 cut_for_write。
- 会话改为在换方案、改开关时 bind_quanpin_scheme 一次，不再每次 refresh 下发。
- 方案只存 bool；jv -> ju 放回纠错表，去掉合并表。
- 在 CI 实际执行的 test_input_session 中补回归用例（写回、辅助码、固定位置、
  方案掩码），每条都确认回退修复后会失败。

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-12 20:41:23 +08:00
Lu Fan(SonnyCalcr) 53ee180ec3 feat(engine): 直接辅助码句中四码可用第二位辅码大写结束 (#630) 
直接辅助码的四码在句中原来只能补 / 结束（uiab/），现在也可以把第二位辅码敲成大写（uiaB）。
设置页「直接辅助码句中四码标记」两个勾选框可多选、至少留一个，默认只勾 /。

- 引擎：拼写图新增 Aux2Upper（非缩写）。开着大写标记时大写字母只能当第二位辅码，
  走不通再退回不分大小写的旧规则，第一位辅码敲大写（uiAuiQ）照常可用。/ 的收键受勾选控制。
- 协议：DirectHelpcodeChanged 载荷改为 "0"/"1"/"2"（2 = 开着但 / 不是编码键），
  TSF 据此决定吃不吃 /。
- 配置：新增 helpcode.shuangpin_direct_helpcode_slash / _uppercase，同步写入出厂模板、
  工作配置和两个设置宿主的读写映射。
 2026-10-05 20:43:02 +08:00
Lu Fan(SonnyCalcr) 5208753ce8 feat: 句中辅助码新增大写字母触发方式 (#620) 
* feat(engine): add uppercase trigger for shuangpin mid-sentence helpcode

With the uppercase trigger on, an uppercase letter right after a complete
two-key syllable opens a mid-sentence helpcode block by itself, as if the
backtick had been typed before it: ulpbXihfa is ulpb`xihfa, and a following
uppercase letter is still the second code (ulpbXYih is ulpb`xYih). The raw
input keeps the typed letters; the block rules live in
contracts/mid_sentence_helpcode.h so TSF, Server and engine parse alike,
including the semicolon final, which no longer counts uppercase blocks.

The scheme now hands the parsed layout (source index and decorations) to the
request, so selection advance and preedit no longer re-parse the raw input.
Adds the MidSentenceHelpcodeUppercaseChanged worker opcode (31).

* feat(windows): count uppercase helpcode blocks before backtick and semicolon

With MidSentenceHelpcodeUppercaseChanged on, TSF uses the shared block rules
when deciding whether '`' opens a block and whether ';' is the ing final, in
both the synchronous and the deferred key classification.

* feat(server): wire the mid-sentence helpcode uppercase trigger

New helpcode.shuangpin_mid_sentence_helpcode_uppercase (default off) in both
config templates, both settings hosts and the settings page as a third
trigger checkbox. It takes effect only with mid-sentence helpcode on and
direct helpcode off; the Server applies it to the semicolon final rule and
broadcasts MidSentenceHelpcodeUppercaseChanged to TSF.
 2026-10-04 21:00:41 +08:00
Lu Fan(SonnyCalcr) 22fb1e2569 Merge pull request #619 from fanlusky/feat/shuangpin-direct-helpcode 
feat: 双拼直接辅助码（万象式，无需引导键）
 2026-10-04 19:32:10 +08:00
fanlusky 31241d22ed fix(engine,server,windows): 句中辅助码支持光标在句中插入，上屏按不带约束的排序调频 
光标用箭头或 Ctrl+箭头移回句中后敲反引号，TSF、Server、引擎三处都要求光标在串尾，
反引号被当成标点，光标前的预编辑连同「·」一起上屏。改为只看光标前的部分：光标前是
完整的两键音节就收，落在音节中间或已有段的前面不收。形状规则新增
FanyImeMidSentenceHelpcode::AcceptsMarkerAt，三处共用；引擎的光标插入路径同时接受
句中的第一码和大写第二码。

句中辅助码筛过的列表里，要的词往往已经排第一，选第一个不调频，调了也是在筛过的列表
里排位，下次不敲辅助码时排序不变。现在带句中辅助码上屏词库候选时，改用去掉约束后的
候选作排位参照，选的是第一个也照样调；空格、数字键、鼠标点选都走 ProcessSelectionKey，
引擎自己的上屏路径同样处理。
 2026-10-02 12:43:16 +08:00
fanlusky fae80660c1 feat(engine,server,windows,ui-html): 双拼句中辅助码 
在完整音节后敲反引号，接着的字母筛这个音节上的字：第一码大小写均可，
紧跟的大写字母是第二码，之后可以接着打，一个输入里可以有多段。开关
helpcode.shuangpin_mid_sentence_helpcode 默认关闭。

约束在整句解码时生效，而不是解完再筛：
- Google 解码器在 add_char_qwerty 里送 extend_mtrx_nd 之前按约束过滤词条，
  锁住的字带着上下文重新整句解码；约束变化时整段重解，不污染增量搜索。
- kenlm 词格建图时按约束筛边，受约束的跨度不截断地查词库；神经重排只在
  词格 n-best 里挑，自动满足约束。
- 普通词条、云和 AI 候选按同一规则收尾校验；满足不了就不出整句。

反引号段在请求里换成手动分隔符，原串留给宿主回读与预编辑显示；选词推进
时剩余音节上的约束随原串保留。输入形状规则放在 contracts/mid_sentence_helpcode.h，
TSF、Server、引擎共用，新增 Worker opcode MidSentenceHelpcodeChanged = 28。
googlepinyinime-rev 已与上游解绑，AGENTS 与 UPSTREAM.md 同步说明。
 2026-10-02 02:20:37 +08:00
fanlusky e365a8d1b5 perf(engine): 大模型改为只读映射并按需载入，缩短每键查询路径 
- sc.lm 改用 kenlm 的 LAZY 载入：Windows 上默认的 POPULATE_OR_READ 会退成 READ，
  把 33 MB 整份拷进私有堆且永不释放；现在是 MapViewOfFile 只读映射，可被系统回收
- dict_japanese.dat 在 Windows 上同样改为只读映射，与 POSIX 分支一致
- 神经整句模型改为开关首次生效时才载入（LazySentenceModel），默认关闭的桌面模型
  不再占用约 24 MB
- 新增 reset_sentence_cache()：重排结果与上文只影响词格整句，只清 series 一层，
  逐前缀查库与切分缓存保持热；set_rescoring_context 也改用它
- CircularBuffer 新增 find()：命中时返回指针而不复制整份候选列表，并改为真正的 LRU；
  全拼、双拼每键的命中路径改用它
- Google 解码器去掉每次调用前的 im_reset_search，沿用上游的公共前缀增量搜索
- 测试：出货 sc.lm 能映射载入并正常打分；增量搜索与从头搜结果逐步一致
 2026-09-30 19:58:18 +08:00
fanlusky d0feee74cc fix(engine): 修正五笔混输的候选方案标记、通配排序与固定位置去重 
- 首字母展开与固定位置补入的拼音候选不经过 query()，此前保留默认 Quanpin，
  双拼会话里调频/删除会落到全拼引擎；现在按查询方案打标。
- 混输与 z 通配同时开启时，含 z 的编码拼音候选排在通配结果之前，避免通配
  整页码行把 zi/zu 这类拼写的正解挤到后几页。
- 固定位置分区合并时，拼音分区 include_missing 补回的词若五笔分区已列出则去掉，
  保持同词只留五笔一份。
 2026-09-29 00:12:46 +08:00
Jia Sui 456fdb819c feat(engine,server,ui-html,installer): 五笔拼音混输改为同时混排并拆出独立开关 
Signed-off-by: Jia Sui <jsfaint@gmail.com>
 2026-09-28 17:55:36 +08:00
fanlusky e7f7addd4f feat(engine): 神经网络整句联想与词格 n-best 重排 
- 新增 engine/neural：移植 chinese-ime-lm 的字符级 Transformer 推理，在词格解出的最多 12 条
  n-best 里重排挑选整句，desktop / keyboard 两档模型各出一条首选，后台 worker 异步打分
- 词格支持 n-best 输出与重排（quanpin/lattice_rerank），全拼、双拼共用
- 新增 SentenceAssociationOptions，经 QueryRequest 传给各 provider；四个来源默认全关
- 资源契约登记两个 safetensors 与 NOTICE；模型二进制不进仓库，由
  scripts/fetch-neural-model.ps1 按 neural-model/lock.json 下载并校验 SHA256
- 新增 neural_sentence 测试
 2026-09-24 14:03:39 +08:00
Jia Sui 5b0be4e71d Merge branch 'develop' into feat/caret-driven-resegmentation 2026-09-24 08:45:54 +08:00
fanlusky 7b7b19f449 fix(wubi): 前缀提示不挡混合拼音、候选去重，修复顶字/自动上屏后快打丢字母 
- 只有精确码行才算五笔表已回答，前缀提示不再阻止混合拼音回退；拼音无结果时保留提示
- 五笔前缀查询按词去重，保留精确码行
- HideCandidate 抑制改为推送成功记账、Hide 消费（带 1s 时限），不再被下一个按键撤销；
  四码唯一自动上屏路径同样记账
 2026-09-23 15:41:04 +08:00
Jia Sui 1cfba58eba feat(engine): 光标驱动的拼音前缀解码与候选重算 
caret 从纯显示状态升级为查询管线输入：set_caret 量化到最后一个完整
音节单元边界（只消费 segment_raw_boundaries，#187 契约），前缀候选
独立解码、preedit 保持全串拼音风格；纯移动光标同样重算候选。
IInputScheme::set_raw_input 提升为接口方法以支持不动现场组合的
独立前缀查询。runtime_isolation 两处按 R3/R4 新语义改写（caret 在
音节中间 floor 到空前缀、候选为空是预期状态）；新增 caret 前缀
会话单测（engine/tests + server CI 目标，隔离词库夹具，覆盖
全拼 floor、双拼贪心配对、五笔无单元模型、boundary=0 空候选）。
 2026-09-22 14:56:22 +08:00
fanlusky a7779d2b05 refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件 
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。

Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。

引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。

CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。

README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
 2026-09-12 03:40:48 +08:00