 Jia Suiandfanlusky
|
d414268b5f
|
[Feat] U 模式重构为部件拆字反查 (#973)
* feat(engine,server,windows,ui-html,installer): U 模式重构为部件拆字反查 (#971)
把 U 模式从 Unicode 十六进制码位输入改成部件拆字反查：Shift+U 后输入各
组成部分的拼音连写（晶 = ririri）即可出字，候选上反显注音。
- 引擎：新增 local_modes/radical_query（前缀匹配、字频降序），数据表
engine/radical/decomposition.txt 与生成脚本；LocalInputMode::Unicode
改为 Radical；删除 unicode_query。
- Server：g_radical_mode_triggered + IsRadicalCompositionActive + 候选分发，
用 cpp-pinyin 反显注音；删除 Unicode 码位路径。
- 前端 TSF：删除 U 模式的十六进制/数字特例与影子预判，按普通组合处理。
- 配置：utility.unicode_mode 改为 utility.radical_mode。
- 部署：assets 登记 radical_decomposition，安装器与 CI 拷表。
数据来源 mirtlecn/rime-radical-pinyin (GPL-3.0)，授权见 engine/radical/NOTICE.md。
* feat(server): U 模式反显拼音改为带调风格（jīng）
* fix(server,installer): 修复 U 模式 CI（拆字表打包夹具与 clang-format）
* fix(engine,server): 修正 U 模式按键错位、重复候选与配置迁移
- Server 在 U 模式不再吞掉撇号、分号、斜杠、大写字母等键：TSF 已把它们记进按键缓冲，
吞掉又不重同步会让两侧串和光标错位。照常插入，含非 a-z 的码查不出候选
- 拆字查询全码命中排在仅前缀命中之前，同一个字的几种拆法只出一次
- 升级合并把旧键 utility.unicode_mode 的值带到 utility.radical_mode，读取时也兜底旧键
- 生成脚本只收汉字，重建拆字表去掉 abc 码下的 51 行数字、字母与符号
- 开着 U 模式时在后台预热拆字表与 cpp-pinyin 词典，避开首个按键的冷加载
- Server 按会话的 RuntimePaths 查拆字表，删掉走全局数据目录的便捷重载
- cpp-pinyin 初始化合并到 utils/hanzi_pinyin，设置页导入注音共用；U 模式与快捷短语的收键分支合并
---------
Co-authored-by: fanlusky <1730976608@qq.com>
|
2026-10-16 01:01:18 +08:00 |
|
|
fanlusky
|
e7f7addd4f
|
feat(engine): 神经网络整句联想与词格 n-best 重排
- 新增 engine/neural：移植 chinese-ime-lm 的字符级 Transformer 推理，在词格解出的最多 12 条
n-best 里重排挑选整句，desktop / keyboard 两档模型各出一条首选，后台 worker 异步打分
- 词格支持 n-best 输出与重排（quanpin/lattice_rerank），全拼、双拼共用
- 新增 SentenceAssociationOptions，经 QueryRequest 传给各 provider；四个来源默认全关
- 资源契约登记两个 safetensors 与 NOTICE；模型二进制不进仓库，由
scripts/fetch-neural-model.ps1 按 neural-model/lock.json 下载并校验 SHA256
- 新增 neural_sentence 测试
|
2026-09-24 14:03:39 +08:00 |
|
|
Jia Sui
|
566ff8b832
|
feat(engine): 新增加加辅助码（拼音加加），第六套辅助码方案
按笔顺拆前两个部件、各取读音首字母（妈 = 女 n + 马 m = nm），部件用加加俗称读音（亻=d、
扌=t、纟=j、忄=s、攵=f、夂=z、刂=l、彳=s）；138 个独体/部首字取「本字声母 + 起笔」。码表
7968 条，覆盖《通用规范汉字表》7846 字，比小鹤少 422 个扩展区生僻字——缺码会让含这些字的
词组拿不到辅助码，是已知取舍。
编码对齐拼音加加 5.x 安装包内的 fzm.bin（双拼键位已换算为声母）：6487 字取到两码，6349 字
逐字一致，138 字保留本表规则，覆盖外的 800 字按同一规则重建。来源与非官方性质写在 NOTICE.md
与随包的 THIRD_PARTY_NOTICES.txt。
- engine/contracts/assets 注册 helpcode_jiajia，assets.h 重新生成（5 → 6）
- 设置页两个下拉显示名「加加」，两份配置模板注释同步
- 两侧测试补支持列表；README / README.en.md / server/AGENTS.md 改「六套」
默认值不变（双拼 lantian、全拼 ziranma）。
|
2026-09-20 22:00:34 +08:00 |
|
|
fanlusky
|
80b1fc42a1
|
feat(engine): 词格整句改用 kenlm 三元模型打分
词格原先的整句打分是一份没校准过的启发式 unigram，质量很差。这里内嵌 libime
在用的 kenlm 查询子集，改由它的三元模型 sc.lm 来打路径分。
- engine/ngram 只编 kenlm 的 query / trie-build 路径。不定义 WITH_THREADS，
parallel_read.cc 因此退化成串行实现，整个子集零 Boost 依赖。
KENLM_MAX_ORDER=3 必须与建模阶数一致，改它等于读不懂已发布的模型文件。
- ngram::LanguageModel 是唯一 include kenlm 头文件的地方，对外只给出一个纯
std 的头，_HAS_AUTO_PTR_ETC 和 kenlm 的 include 目录都保持 PRIVATE。
- shared_language_model 按资源路径共享一份 mmap。kenlm 的查询是只读的且把
上下文放在调用方的 State 里，所以并发会话不需要额外加锁。
- 模型缺失时 valid() 为假，词格退回原来的启发式打分：整句候选只是变差，不会
停止工作。测试覆盖了缺模型降级与按路径共享。
- 出货的 ARPA 不带 <s>/</s>，所以解码从 null_state() 起算而非 begin_state()。
kenlm 是上游副本，不重排版、不进 clang-format，其 LGPL-2.1+ 与 BSD 例外清单
已补进 THIRD_PARTY_NOTICES.txt。googlepinyinime 那条 Fallback 整句路径不变。
|
2026-09-19 10:08:39 +08:00 |
|
|
fanlusky
|
a7779d2b05
|
refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。
Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。
引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。
CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。
README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
|
2026-09-12 03:40:48 +08:00 |
|