okooooooo/msime-windows
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
2,475 Commits 1 Branch 0 Tags
develop
Commit Graph
8 Commits
Author SHA1 Message Date
Lu Fan(SonnyCalcr) 3cd429b19d feat(server): 加入 S 模式符号输入与符号混输 (#1047) 
符号数据改用 rime-wanxiang 的符号表与 typst/codex 符号名，源数据放在
msime-dictionary 的 sources/symbols/，替换原来的 piliapp 符号表。

- 建库：新增 symbols_db.py，生成表情面板用的 symbol_catalog（中文分类）和
  S 模式、符号混输用的 symbol_code；剔除 wanxiang-unrenderable.txt 列出的
  Windows 自带字体显示不了的符号，以及与 ① ❶ 看不出区别的 Dingbats 带圈数字
- 新增 scripts/check-symbol-rendering.py，用 Windows 字体生成上面的剔除清单
- Shift+S 进入符号模式，按万象分组码（xl、sx、szq）、数字读音（yi → 一 ① ⑴）
  或符号名（alpha、infinity）检索
- 符号混输：整串精确等于编码时混入，首个紧跟首选；读得成拼音的编码只混数字
  序号写法；双拼先按方案换算成全拼再查（小鹤 sj → san → ③）
- 表情面板符号页：中文分类，搜索把整词命中的符号列在「最佳匹配」
- 配置：utility.symbol_mode（默认开）、general.symbol_mixed_input（默认关）

Refs #795
 2026-10-18 02:08:39 +08:00
Jia Suiandfanlusky d414268b5f [Feat] U 模式重构为部件拆字反查 (#973) 
* feat(engine,server,windows,ui-html,installer): U 模式重构为部件拆字反查 (#971)

把 U 模式从 Unicode 十六进制码位输入改成部件拆字反查：Shift+U 后输入各
组成部分的拼音连写（晶 = ririri）即可出字，候选上反显注音。

- 引擎：新增 local_modes/radical_query（前缀匹配、字频降序），数据表
  engine/radical/decomposition.txt 与生成脚本；LocalInputMode::Unicode
  改为 Radical；删除 unicode_query。
- Server：g_radical_mode_triggered + IsRadicalCompositionActive + 候选分发，
  用 cpp-pinyin 反显注音；删除 Unicode 码位路径。
- 前端 TSF：删除 U 模式的十六进制/数字特例与影子预判，按普通组合处理。
- 配置：utility.unicode_mode 改为 utility.radical_mode。
- 部署：assets 登记 radical_decomposition，安装器与 CI 拷表。

数据来源 mirtlecn/rime-radical-pinyin (GPL-3.0)，授权见 engine/radical/NOTICE.md。

* feat(server): U 模式反显拼音改为带调风格（jīng）

* fix(server,installer): 修复 U 模式 CI（拆字表打包夹具与 clang-format）

* fix(engine,server): 修正 U 模式按键错位、重复候选与配置迁移

- Server 在 U 模式不再吞掉撇号、分号、斜杠、大写字母等键：TSF 已把它们记进按键缓冲，
  吞掉又不重同步会让两侧串和光标错位。照常插入，含非 a-z 的码查不出候选
- 拆字查询全码命中排在仅前缀命中之前，同一个字的几种拆法只出一次
- 升级合并把旧键 utility.unicode_mode 的值带到 utility.radical_mode，读取时也兜底旧键
- 生成脚本只收汉字，重建拆字表去掉 abc 码下的 51 行数字、字母与符号
- 开着 U 模式时在后台预热拆字表与 cpp-pinyin 词典，避开首个按键的冷加载
- Server 按会话的 RuntimePaths 查拆字表，删掉走全局数据目录的便捷重载
- cpp-pinyin 初始化合并到 utils/hanzi_pinyin，设置页导入注音共用；U 模式与快捷短语的收键分支合并

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-16 01:01:18 +08:00
Jia Sui cc738f19ca feat(engine): 词格接入万象搭配加成与 n-best 重排 
SentenceAssociationOptions 新增四个字段（模型路径、加性权重、重排开关、重排权重），
随 QueryRequest 下发到全拼与双拼词典：

- 加性（接入点 A）：collocation_scorer 在 Viterbi 逐边叠加字级搭配分，与三元模型
  同域竞争，离线评测 top1 89.4% -> 95.6%（w=0.25）
- 重排（接入点 B）：make_octagram_reranker 在解出的 n-best 上按整句搭配分重排，
  以独立来源 CandidateSource::Collocation 出行（徽标〔万象〕），落库/学习判定与
  神经整句同类
- 模型路径由宿主按模型包解析后传入，UTF-8 经 path_from_utf8 显式转换；模型缺席
  时词格静默降级，与其余整句来源同范式

同时修正 test_pinyin 里一处 9 月底起与实现矛盾的断言：重排器同意词格排序时，
行保持词格来源（Generated）而非记到重排名下——以 word_lattice.h 的单重排器契约
与 merge 实现为准。原断言所在的 imetest 不进 CI，因此一直没被发现。
 2026-10-02 20:15:39 +08:00
fanlusky cec3118324 feat(engine): 新增日期时间混输候选来源 
CandidateSource 末尾追加 DateTime，标记全拼 / 双拼里由 rq / sj / xq 等唤醒词混进普通候选的
日期、时间、星期；Shift+T 模式里的同一批文本仍记 Generated。快捷短语槽位计数不把它算作普通候选。
 2026-10-02 03:39:13 +08:00
Jia Sui 456fdb819c feat(engine,server,ui-html,installer): 五笔拼音混输改为同时混排并拆出独立开关 
Signed-off-by: Jia Sui <jsfaint@gmail.com>
 2026-09-28 17:55:36 +08:00
fanlusky 57dd0fc2f3 fix(engine,server): 整句来源标签只挂在整句联想候选上 
候选窗按 CandidateSource 挂〔Trigram〕/〔Unigram〕，但 Generated/Fallback 同时被
原样上屏兜底、英文模式原文、日期、Unicode、假名、译文义项等合成候选借用，导致
输入 E 等特殊模式前缀时原样候选被误标为〔Unigram〕。

WordItem 新增 sentence_association 标记，只由 Google 解码器整句（全拼、双拼）与
kenlm 词格整句置位；Server 挂标签时同时要求来源与标记。source 本身不变，落库与
学习策略不受影响。
 2026-09-27 08:25:51 +08:00
fanlusky e7f7addd4f feat(engine): 神经网络整句联想与词格 n-best 重排 
- 新增 engine/neural：移植 chinese-ime-lm 的字符级 Transformer 推理，在词格解出的最多 12 条
  n-best 里重排挑选整句，desktop / keyboard 两档模型各出一条首选，后台 worker 异步打分
- 词格支持 n-best 输出与重排（quanpin/lattice_rerank），全拼、双拼共用
- 新增 SentenceAssociationOptions，经 QueryRequest 传给各 provider；四个来源默认全关
- 资源契约登记两个 safetensors 与 NOTICE；模型二进制不进仓库，由
  scripts/fetch-neural-model.ps1 按 neural-model/lock.json 下载并校验 SHA256
- 新增 neural_sentence 测试
 2026-09-24 14:03:39 +08:00
fanlusky a7779d2b05 refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件 
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。

Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。

引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。

CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。

README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
 2026-09-12 03:40:48 +08:00