Lu Fan(SonnyCalcr)
53ee180ec3
feat(engine): 直接辅助码句中四码可用第二位辅码大写结束 ( #630 )
...
直接辅助码的四码在句中原来只能补 / 结束（uiab/），现在也可以把第二位辅码敲成大写（uiaB）。
设置页「直接辅助码句中四码标记」两个勾选框可多选、至少留一个，默认只勾 /。
- 引擎：拼写图新增 Aux2Upper（非缩写）。开着大写标记时大写字母只能当第二位辅码，
走不通再退回不分大小写的旧规则，第一位辅码敲大写（uiAuiQ）照常可用。/ 的收键受勾选控制。
- 协议：DirectHelpcodeChanged 载荷改为 "0"/"1"/"2"（2 = 开着但 / 不是编码键），
TSF 据此决定吃不吃 /。
- 配置：新增 helpcode.shuangpin_direct_helpcode_slash / _uppercase，同步写入出厂模板、
工作配置和两个设置宿主的读写映射。
2026-10-05 20:43:02 +08:00
fanlusky
352c7e2b12
perf(engine): 混排未开启时不再每键复制候选列表
...
update_mixed_candidates 无条件把候选按值传进 CandidateQueries::mixed，Server
自己混排、candidates() 也只在混排开启时才读这份副本。未开启时直接清空返回；
混排开关、方案与固定位置每次变化都会重新调用本函数，不会读到旧列表。
2026-10-05 13:02:46 +08:00
Lu Fan(SonnyCalcr)
b391fd616b
feat: T 模式支持输入指定的日期和时间 ( #626 )
...
Shift+T 后面除了 rq / sj / xq 唤醒词，还可以直接写数字：
- YYYYMMDD、YYYY/M/D、M/D（年份取今年）出那一天的日期格式，星期按那一天算
- YYYY/M 出年月格式（新增 date:ym_* 五种）
- h:mm、h:mm:ss 出时间格式，写了秒才给带秒的格式
- YYYYMMDDhh[:mm[:ss]] 出日期加时间的格式
指定的日期时间沿用唤醒词的格式 ID，学到的顺序、置顶、固定位置跟着走。
输入形状放在 engine/contracts/date_time_input.h，TSF、Server、引擎共用：
数字、/ 和 : 只在还能接成某种形状时才进输入串，接不上的数字仍是选词键，
/ 和 : 仍是标点，Shift+数字始终选词。小键盘数字同样可以输入。
Refs #531
2026-10-05 03:42:12 +08:00
Lu Fan(SonnyCalcr)
5208753ce8
feat: 句中辅助码新增大写字母触发方式 ( #620 )
...
* feat(engine): add uppercase trigger for shuangpin mid-sentence helpcode
With the uppercase trigger on, an uppercase letter right after a complete
two-key syllable opens a mid-sentence helpcode block by itself, as if the
backtick had been typed before it: ulpbXihfa is ulpb`xihfa, and a following
uppercase letter is still the second code (ulpbXYih is ulpb`xYih). The raw
input keeps the typed letters; the block rules live in
contracts/mid_sentence_helpcode.h so TSF, Server and engine parse alike,
including the semicolon final, which no longer counts uppercase blocks.
The scheme now hands the parsed layout (source index and decorations) to the
request, so selection advance and preedit no longer re-parse the raw input.
Adds the MidSentenceHelpcodeUppercaseChanged worker opcode (31).
* feat(windows): count uppercase helpcode blocks before backtick and semicolon
With MidSentenceHelpcodeUppercaseChanged on, TSF uses the shared block rules
when deciding whether '`' opens a block and whether ';' is the ing final, in
both the synchronous and the deferred key classification.
* feat(server): wire the mid-sentence helpcode uppercase trigger
New helpcode.shuangpin_mid_sentence_helpcode_uppercase (default off) in both
config templates, both settings hosts and the settings page as a third
trigger checkbox. It takes effect only with mid-sentence helpcode on and
direct helpcode off; the Server applies it to the semicolon final rule and
broadcasts MidSentenceHelpcodeUppercaseChanged to TSF.
2026-10-04 21:00:41 +08:00
Lu Fan(SonnyCalcr)
22fb1e2569
Merge pull request #619 from fanlusky/feat/shuangpin-direct-helpcode
...
feat: 双拼直接辅助码（万象式，无需引导键）
2026-10-04 19:32:10 +08:00
Jia Sui
cc738f19ca
feat(engine): 词格接入万象搭配加成与 n-best 重排
...
SentenceAssociationOptions 新增四个字段（模型路径、加性权重、重排开关、重排权重），
随 QueryRequest 下发到全拼与双拼词典：
- 加性（接入点 A）：collocation_scorer 在 Viterbi 逐边叠加字级搭配分，与三元模型
同域竞争，离线评测 top1 89.4% -> 95.6%（w=0.25）
- 重排（接入点 B）：make_octagram_reranker 在解出的 n-best 上按整句搭配分重排，
以独立来源 CandidateSource::Collocation 出行（徽标〔万象〕），落库/学习判定与
神经整句同类
- 模型路径由宿主按模型包解析后传入，UTF-8 经 path_from_utf8 显式转换；模型缺席
时词格静默降级，与其余整句来源同范式
同时修正 test_pinyin 里一处 9 月底起与实现矛盾的断言：重排器同意词格排序时，
行保持词格来源（Generated）而非记到重排名下——以 word_lattice.h 的单重排器契约
与 merge 实现为准。原断言所在的 imetest 不进 CI，因此一直没被发现。
2026-10-02 20:15:39 +08:00
fanlusky
31241d22ed
fix(engine,server,windows): 句中辅助码支持光标在句中插入，上屏按不带约束的排序调频
...
光标用箭头或 Ctrl+箭头移回句中后敲反引号，TSF、Server、引擎三处都要求光标在串尾，
反引号被当成标点，光标前的预编辑连同「·」一起上屏。改为只看光标前的部分：光标前是
完整的两键音节就收，落在音节中间或已有段的前面不收。形状规则新增
FanyImeMidSentenceHelpcode::AcceptsMarkerAt，三处共用；引擎的光标插入路径同时接受
句中的第一码和大写第二码。
句中辅助码筛过的列表里，要的词往往已经排第一，选第一个不调频，调了也是在筛过的列表
里排位，下次不敲辅助码时排序不变。现在带句中辅助码上屏词库候选时，改用去掉约束后的
候选作排位参照，选的是第一个也照样调；空格、数字键、鼠标点选都走 ProcessSelectionKey，
引擎自己的上屏路径同样处理。
2026-10-02 12:43:16 +08:00
fanlusky
fae80660c1
feat(engine,server,windows,ui-html): 双拼句中辅助码
...
在完整音节后敲反引号，接着的字母筛这个音节上的字：第一码大小写均可，
紧跟的大写字母是第二码，之后可以接着打，一个输入里可以有多段。开关
helpcode.shuangpin_mid_sentence_helpcode 默认关闭。
约束在整句解码时生效，而不是解完再筛：
- Google 解码器在 add_char_qwerty 里送 extend_mtrx_nd 之前按约束过滤词条，
锁住的字带着上下文重新整句解码；约束变化时整段重解，不污染增量搜索。
- kenlm 词格建图时按约束筛边，受约束的跨度不截断地查词库；神经重排只在
词格 n-best 里挑，自动满足约束。
- 普通词条、云和 AI 候选按同一规则收尾校验；满足不了就不出整句。
反引号段在请求里换成手动分隔符，原串留给宿主回读与预编辑显示；选词推进
时剩余音节上的约束随原串保留。输入形状规则放在 contracts/mid_sentence_helpcode.h，
TSF、Server、引擎共用，新增 Worker opcode MidSentenceHelpcodeChanged = 28。
googlepinyinime-rev 已与上游解绑，AGENTS 与 UPSTREAM.md 同步说明。
2026-10-02 02:20:37 +08:00
fanlusky
3f430cd68e
fix(server): 双拼辅助码开启时快捷短语奇数长编码不再被拦掉
...
双拼开着辅助码时，「完整音节 + 一个字母」的编码（如 dia = di + a）会被认成带辅助码，
快捷短语混排见到辅助码就直接退出，这类编码的短语永远进不了候选。整串精确等于用户编码时
按短语处理，Server 的 PlaceQuickPhrases 与引擎的 quick_phrase_code 一并去掉辅助码判断，
并补双拼 dia 的回归用例。
2026-10-01 02:35:55 +08:00
fanlusky
42fbb9541c
feat(engine): 快捷短语混入全拼 / 双拼候选并参与调频
...
Shift+K 快捷短语模式保留，仍按编码前缀查询（query_quick_phrases）。另外全拼 / 双拼下
编码精确匹配（query_quick_phrases_by_code）的快捷短语作为一组插在固定位置候选之后，由
LocalModeOptions::quick_phrase_candidates 单独开关；五笔不混。
用户日志新增 quick_phrase_slots 表记录快捷短语组前的普通候选数：选中短语让组前移，
越过组选普通候选让组后移，后移上限为页长减一。quick_phrase_frequency 关掉时组固定在
首位。与普通候选同文本时保留快捷短语那份。
2026-09-29 14:31:51 +08:00
fanlusky
f56551c34b
feat(engine): 内置搜狗、紫光、智能ABC、国标和拼音加加双拼方案
...
新增五套双拼方案表，零声母规则：
- 搜狗、紫光、智能ABC：o + 韵母所在键
- 国标：a + 韵母所在键
- 拼音加加：韵母第一个字母 + 韵母所在键
搜狗和紫光与微软一样把 ing 放在分号上。分号作韵母键原先按方案名写死为
microsoft，现改为 ShuangpinProfileUsesSemicolonFinal 按方案表判断，
引擎、Server 按键处理和下发给 TSF 的开关一并生效。
智能ABC 键位图把 ve 也标在 V 上，但这样 lv/nv 会同时解成 lü 与 lüe，
这里按标准智能ABC 把 ve 放在 M（与 ue 同键）。
Server 配置校验改为按方案解析结果判断；设置页下拉框、配置模板注释和
README 同步更新；新增各方案键位、零声母、分号及全方案逐音节往返测试。
2026-09-29 03:52:19 +08:00
Jia Sui
a9920cb40f
perf(engine): 五笔设置未变化时不再重建候选
2026-09-28 18:29:50 +08:00
Jia Sui
a50232f06c
fix(engine): set_wubi_mixed_pinyin 不再复位 z 通配开关
2026-09-28 18:28:42 +08:00
Jia Sui
456fdb819c
feat(engine,server,ui-html,installer): 五笔拼音混输改为同时混排并拆出独立开关
...
Signed-off-by: Jia Sui <jsfaint@gmail.com >
2026-09-28 17:55:36 +08:00
fanlusky
fc6f6469f7
perf(engine): 上屏不再清空候选缓存，按键不再重复重建混合候选
...
- set_rescoring_context：每次选词都会换上文并清空 cache_、series_cache_ 和
segmentation_cache_，下一个词的前几键因此都是冷查询。上文只经神经重排
进入候选，没有生效的神经模型时与缓存无关，此时不清；之后打开神经重排
会经 set_sentence_association 清缓存。全拼、双拼同改。
- set_quanpin_autocorrect_types：Server 每键重新应用配置，值没变也会调用
update_mixed_candidates 复制整份候选列表。值不变时直接返回；构造时已把
初值同步给引擎。
2026-09-27 15:03:17 +08:00
fanlusky
e7f7addd4f
feat(engine): 神经网络整句联想与词格 n-best 重排
...
- 新增 engine/neural：移植 chinese-ime-lm 的字符级 Transformer 推理，在词格解出的最多 12 条
n-best 里重排挑选整句，desktop / keyboard 两档模型各出一条首选，后台 worker 异步打分
- 词格支持 n-best 输出与重排（quanpin/lattice_rerank），全拼、双拼共用
- 新增 SentenceAssociationOptions，经 QueryRequest 传给各 provider；四个来源默认全关
- 资源契约登记两个 safetensors 与 NOTICE；模型二进制不进仓库，由
scripts/fetch-neural-model.ps1 按 neural-model/lock.json 下载并校验 SHA256
- 新增 neural_sentence 测试
2026-09-24 14:03:39 +08:00
Jia Sui
1cfba58eba
feat(engine): 光标驱动的拼音前缀解码与候选重算
...
caret 从纯显示状态升级为查询管线输入：set_caret 量化到最后一个完整
音节单元边界（只消费 segment_raw_boundaries，#187 契约），前缀候选
独立解码、preedit 保持全串拼音风格；纯移动光标同样重算候选。
IInputScheme::set_raw_input 提升为接口方法以支持不动现场组合的
独立前缀查询。runtime_isolation 两处按 R3/R4 新语义改写（caret 在
音节中间 floor 到空前缀、候选为空是预期状态）；新增 caret 前缀
会话单测（engine/tests + server CI 目标，隔离词库夹具，覆盖
全拼 floor、双拼贪心配对、五笔无单元模型、boundary=0 空候选）。
2026-09-22 14:56:22 +08:00
fanlusky
01c5bca325
fix(engine): 选中的整句候选落成用户词组
...
词格（CandidateSource::Generated）和 Google 解码器（CandidateSource::Fallback）
猜出来的整句在词库里没有对应的行，而调频走的是
update_weight_by_pinyin_and_word——它只改 SQLite 里已经存在的行，找不到行就什么
也不做。于是用户选中这种整句多少次，下次输入同样的拼音，它仍然是猜出来的，仍然
排在词库里那条同音短语后面，看起来就是"永远提不上来"。
选中即落库才是对的处理：存成用户词组之后，下次它以 UserDatabase 候选出现，按
quanpin::generated_sentence_insert_position 的约定排在两条整句之前，之后再选还能
走正常调频。
落库不受 frequency_adjustment_ 约束（那是候选词频策略，不是造词），也不跳过
index == 0——首位整句同样没有落库，下次仍要靠猜。长度上限对标
quanpin::WordLatticeOptions::max_phrase_syllables，再长的整句只是这一次输入的
产物，落库除了撑大用户词库没有别的作用。
2026-09-19 13:48:17 +08:00
fanlusky
a7779d2b05
refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件
...
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。
Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。
引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。
CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。
README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
2026-09-12 03:40:48 +08:00
Lu Fan(SonnyCalcr)