 Lu Fan(SonnyCalcr)
|
692bed7d7c
|
fix(engine): 出厂词库换过时，回放不再用旧量级的调频权重压住新词频 (#1049)
用户词库日志存的是调频写下的绝对权重。词库升级换了权重量级后（msime-dictionary
把拼音词频对齐万象，「了 le」从 348 万变成 5200 万），安装时的回放仍把旧词库上
调出来的 650 万写回去，打 l 时「了」排到「来」「里」后面。
回放现在用数据目录里 dictionary-manifest.json 记的 msime.db SHA-256 认出厂词库，
并在日志新增的 dictionary_state 表记下回放到哪份。同一份词库照旧原样写回；换了
词库（或日志还没有记录）时，自动调频的行只在高过新出厂权重时写回，否则保留新
权重并把日志改记成新权重。用户手动加的词和删除不变。
设置页改权重改走新的 record_weight_edit，记在新增的 weight_edited 列里，换词库时
照写不让位；之后的自动调频覆盖同一行时清掉这个标记。
|
2026-10-18 10:40:59 +08:00 |
|
|
HowGeGeandfanlusky
|
1671c3a467
|
fix(engine): recognize complete umlaut aliases in quanpin (#994)
* fix(engine): recognize complete umlaut aliases in quanpin
* refactor(engine): 移除九键输入
九键会话只有引擎公共 Session 门面在用，Server 与 TSF 都没有接入。删掉
NineKeySession、Session 的九键入口与 SessionSnapshot::nine_key_spellings，
以及对应测试和注释。
* fix(engine,server): ü 别名共用一条归一规则，入库与纠错不再产出查不到的键
- 新增 quanpin::is_jqxy_v_alias / canonical_umlaut_spelling，替换 canonical_syllable
与 to_google_spelling 里各自手抄的别名表，normalize_umlaut_aliases 也改用它。
- 纠错表生成器与运行时生成式空间不再从 jqxy+v 别名派生纠错键（nvan -> jvan 之类），
手误只纠到 u 的标准写法；重新生成 autocorrect_table.h。
- 个人词库新写入的拼音词、设置页导入的全拼按词库写法入库（xvan -> xuan、lue -> lve），
否则查询归一后永远查不到；被替换的旧词保留原键，旧行仍可删除。
- 双拼音节集统一排除 jqxy+v 别名，round-trip 检查不再特判。
---------
Co-authored-by: fanlusky <1730976608@qq.com>
|
2026-10-16 20:48:33 +08:00 |
|
|
Lu Fan(SonnyCalcr)
|
119c439d7a
|
fix(engine,server): 日文候选不再写进拼音词库，升级回放跳过已残留的日文词 (#907)
日文 provider 出的候选没有设置 scheme，默认是 Quanpin。在日文模式下选非首选
候选时，Server 按拼音调频，用罗马音作键（pan、amarini）写进拼音日志。msime.db
里没有这些行，UPDATE 改不到任何东西，但 update_pinyin_weight 照样记了日志；
升级回放时 apply_pinyin 找不到行就插入，日文词于是出现在全拼候选里。
- 日文候选标上 SchemeType::JapaneseRomaji
- Server 的选词调频、置顶、造词与云候选落库跳过日文候选
- update_pinyin_weight 没改到行时不写日志
- 回放跳过、打开日志时清掉自动学习来的带假名拼音条目；手动加的词不动
Fixes #869
|
2026-10-13 12:54:29 +08:00 |
|
|
fanlusky
|
a219e499f6
|
fix(engine): 全拼纠错上下文接管让位于用户在主切读音上的选择
加载 sc.lm 时词格路径分里的词库权重只剩 dictionary_tiebreak（≤0.07）和
reading_prior，调频改的权重翻不过 1.0 的接管边际：banzhng 的用户每次都选
班长，办证系照样每次领衔，调频在这组词上被架空。
接管前加一道判据：主切键在用户日志里有 upsert，且主切整键首位权重不低于
胜出切分首位（即用户已把主切读音选到前面），就不接管、走按权重排序的静态
合并。出货词频本身仍交给上下文裁决；日志只在边际达标后查一次。
测试用手写 ARPA 作 sc.lm，让 LM 稳定偏向办证，覆盖无用户记录照常接管、
用户选过班长不再接管、用户记录未越过胜者照常接管三种情形。
|
2026-10-04 14:35:50 +08:00 |
|
|
fanlusky
|
05d202ce5b
|
feat(server): 日期时间候选支持调频、置顶、固定位置，并加「📅日期」格式入口
日期时间候选（Shift+T 模式与 rq / sj / xq 混输）按格式 ID 调频：日期文本每天都变，
所以给每种格式一个稳定 ID，学到的顺序记在用户库新表 date_time_format_order，固定位置
借用 fixed_candidate_positions。T 模式与混输共用一份顺序，混输取排第一的格式。右键
置顶、固定位置、取消固定对日期候选生效。
混输时在第三位放一个「📅日期」入口（时间为「🕒时间」），选中后不上屏，候选框整页换成
全部格式，与 Ctrl+Enter 译文页同一套子页机制。新增开关 utility.date_time_menu，默认
打开，出厂模板、工作配置、两个设置宿主与设置页同步更新。UILess 宿主不显示入口。
|
2026-10-03 20:44:22 +08:00 |
|
|
fanlusky
|
c280634c2a
|
fix(engine,server): 词库切到 WAL，避免调频写入阻塞按键线程
选词后的调频写入在词库写线程上提交 msime_user.db / msime.db。两个库都是
默认的 rollback-journal 模式，提交时持独占锁并 fsync，按键线程此时读同一个
库（引擎查询、apply_fixed_positions）就得等完整个提交。磁盘忙或杀软扫描
-journal 时单键可达 0.7~1.1 s，后续按键排队；排队期间按空格/数字会超过 TSF
300 ms 的上屏回复等待，组合被当作传输失败丢掉，表现为输入消失。
- 用户日志库每次建连接时切到 WAL；msime.db 在每次创建输入会话时切到 WAL
（安装升级会换上非 WAL 的新文件）。WAL 下读取看到最近一次提交的快照，
不再等写锁。安装器已保留 msime_user.db-wal/-shm、替换词库前删除旧的
msime.db-wal/-shm。
- ensure_schema 的 PRAGMA user_version=3 本身是写操作，版本已一致时跳过，
建连接不再被其他写者阻塞。
- 新增回归测试：两个库都被写事务锁住时，读取须在 1 s 内返回提交前的内容。
本地用真实词库加锁测量：被锁时首键 769 ms -> 0.5 ms，
apply_fixed_positions 810 ms -> 0.4 ms。
|
2026-10-02 14:57:31 +08:00 |
|
|
fanlusky
|
c99fb8d585
|
fix(engine): 英文调频不再以中文权重为基准，并按输入记英文槽位
混输列表里英文调频把「全表最高权重 + 1000」写成新权重，中文候选也算在内。
在 zai 下选一次 zaire，它的权重就变成 19,196,987，超过「在」，并且对所有能查出它的输入永久生效。
- adjust_english_candidate_ranking 只用英文候选的权重当基准
- 新增 english_slots 表和 english_slot / set_english_slot /
learn_english_slot_selection / learn_english_slot_bypass：按输入记录首个英文候选在列表中的位置，
选中时按调频名次前移（可以升到首位），越过它时后退一位，最多到首页末位
- 新增 InputSession::reads_as_pinyin：整串能否读成拼音（允许简拼声母和打到一半的音节）
|
2026-09-30 22:49:27 +08:00 |
|
|
fanlusky
|
42fbb9541c
|
feat(engine): 快捷短语混入全拼 / 双拼候选并参与调频
Shift+K 快捷短语模式保留，仍按编码前缀查询（query_quick_phrases）。另外全拼 / 双拼下
编码精确匹配（query_quick_phrases_by_code）的快捷短语作为一组插在固定位置候选之后，由
LocalModeOptions::quick_phrase_candidates 单独开关；五笔不混。
用户日志新增 quick_phrase_slots 表记录快捷短语组前的普通候选数：选中短语让组前移，
越过组选普通候选让组后移，后移上限为页长减一。quick_phrase_frequency 关掉时组固定在
首位。与普通候选同文本时保留快捷短语那份。
|
2026-09-29 14:31:51 +08:00 |
|
|
fanlusky
|
2c3546f823
|
perf(engine): 简拼、快捷短语、表情、颜文字查询复用词库连接
这四种模式每个键都新开一次 SQLite 连接，第一次 prepare 还要解析整个 schema
——msime.db 有两百多张分表。新增 local_modes/local_database，四个查询统一经它
打开只读连接：路径正是当前数据目录下的 msime.db 或 others.db 时共享一条连接，
其余路径（测试、工具）照旧每次独立打开、用完即关。
只共享这两个随安装包发布的库：msime.db 本来就被引擎整个会话持有，others.db 只在
Server 停止时由安装程序替换；保持其它文件常开会让删除它们的工具或测试在 Windows
上失败。close_default_user_database() 同时释放这些连接，调用方原本就用它在删除
或替换数据目录前放开文件。
引擎测试（本地单独构建，CI 不跑）23/23 通过；不加释放钩子时 input_session、
mixed_expressive_input_session、jianpin_input_session 会因目录删不掉而失败。
|
2026-09-27 16:10:01 +08:00 |
|
|
fanlusky
|
8f2c81dd0f
|
perf(server,engine): 选词学习的写库挪出按键线程
权重调整（AdjustCandidateRanking）和输入过的英文词（LearnEnteredEnglishWord）
原本和按键排在同一个 worker 队列里：每次选非首位候选都要在下一个键之前付一次
用户日志的提交和 fsync，触发阈值时还有 msime.db 的一次提交。磁盘忙或杀软扫描
时，这就是肉眼可见的卡顿。
- server/src/utils/serial_task_runner：单线程、按提交顺序执行、低优先级，Stop()
先执行完队列再退出，选词不会在退出时丢失。附单元测试。
- 两类写入改为投递给这个执行器。它们只调用 user_dictionary，不碰输入会话；唯一
的会话副作用——权重变化后清引擎候选缓存——经 EnqueueResetInputSessionCacheTask
回到 worker。删除对应的 TaskType 和 Task 字段。main 在 worker join 之后调用
ShutdownDictionaryWriter()。
- user_dictionary：默认日志连接改为每线程一条。FULLMUTEX 只保证单次调用安全，
保证不了事务：连接只有一个事务状态，写线程的 BEGIN IMMEDIATE..COMMIT 会把
worker 的读卷进来，worker 侧 UserDatabase 析构时还会把它回滚。
close_default_user_database() 递增代号，各线程下次访问时关闭旧连接。
- WorkerThread 取任务改为 move，不再每次复制整个 Task。
行为变化：选词后如果写入还没完成就立刻再打同一串，会短暂看到旧顺序；写完后
worker 清缓存，下一次查询即是新顺序。此前的“下一个键之前一定写完”换成了不阻塞
按键。
|
2026-09-27 16:09:51 +08:00 |
|
|
Jia Sui
|
c6632e8d85
|
feat(engine): 五笔前缀逐键提示与调频接线
- 码表查询从精确匹配改为前缀匹配：精确等长行优先（保住一级/二级简码），
前缀行按权重降序跟随，LIMIT 50 截断（引擎层不读 server 配置的分层边界）
- WubiCandidateProvider 注入 RuntimePaths：接通 update_weight / delete_by_key
到 user_dictionary journal；新增 bump_wubi_weight（同码组 MAX+1、主库更新
与 journal upsert 同事务，行缺失不造行）
- create_word / cache_dynamic_candidate 补「为何 no-op」注释（后续任务范畴）
- 两个 toml 的 wubi_schema 注释与实现对齐：当前仅支持 wubi86
- server 测试：前缀语义、LIMIT 截断、上界构造、调频+journal 回放、删词墓碑
|
2026-09-22 09:23:25 +08:00 |
|
|
fanlusky
|
e32eeadec9
|
fix(engine): 调频比较集跨键合并，按权重而非显示顺序取基准
打 jian 时列表里混着另一种切分 ji'an 的词。吉安 在出货词库里权重是 1，压在同组的
积案(9420)/几案(5999) 底下，而 adjust_candidate_ranking 按音节数圈比较集，于是
吉安 只跟 ji'an 这一组比，可学权重封顶一万出头，永远追不上 见 的 3460998——用户
选多少次，这个候选都纹丝不动。
音节数这个尺度是 #400 加的，为的是挡住另一个 bug：显示列表里备选切分词会被保护位
顶到最前面，中点数学却假定列表按权重降序，于是拿 西鄂(w=6) 当基准把 写 写成 506。
根子在「显示顺序 != 权重顺序」，按音节数滤掉跨表行只是绕开了症状，代价是把每个候选
关进自己的组里。
改成在比较集上直接按权重降序排一次，不变式在源头恢复：任何行都不可能坐在高于自身
权重的位置上充当基准，西鄂 那条路被堵死；同时比较集不再按音节数切开，吉安 的基准
取到整个列表最重的 见，置顶一次即越过，promote 模式连选五次一路走到首位。写入仍只
落在 entry_key 的行上，#36 的护栏不变。
test_user_dictionary_journal 新增两条回归（跨键置顶、连续 promote 收敛到首位），
#400 的两条断言原样保留并仍然通过。
|
2026-09-19 22:14:57 +08:00 |
|
|
Jia Sui
|
9bbd86b633
|
fix(engine): 调频权重基准限定同音节尺度
置顶/提升把一个候选的权重算成「显示列表首位权重 + 500」。显示列表会混入
备选切分词和不同切分的候选，它们的权重是另一套尺度（单字表是语料计数、
多字表是词组词权），于是基准取错就把候选写成垃圾值：用户机器上 xi'e 的西鄂
(w=6) 坐在 xie 列表首位时，置顶写会写出 506（= 6+500），低于些/血/谢，反而
被埋到三十名开外；将也以同样方式被写成 24240（= 激昂 23740+500）。
- 候选的 rank 与权重基准改在同音节尺度内计算：同音节数的表互相可比（九宫格
数字上下混多个单字表、简拼上下文混多个 key 都保留原语义），跨音节数不再
互相充当中点基准。选中词已是同尺度首位时不再写权重，避免被跨尺度反降。
- 写入仍按 entry_key 走，rebalance 不会落到别的 key 的行上（#36 的护栏不变）。
test_user_dictionary_journal 增加回归：混表列表里置顶写必须以些为基准，
且不再把些本身写成 506。
|
2026-09-14 20:14:28 +08:00 |
|
|
fanlusky
|
a7779d2b05
|
refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。
Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。
引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。
CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。
README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
|
2026-09-12 03:40:48 +08:00 |
|