 Jia Sui
|
d495ea2ad0
|
fix(engine,server,installer): octagram 加成收敛为单一注入，校正量纲与参数，修复〔万象〕同音乱码
|
2026-10-12 13:12:21 +08:00 |
|
|
fanlusky
|
b434240489
|
feat(engine): 模糊读音按词频与原读音混排，整句词格收模糊读音
开模糊音时模糊读音的候选不再整组垫在末尾：同组内按「权重 × 0.2」与敲出读音的词库行
归并，min 出「民 明 名 命 敏…」而不是先翻完 min 的生僻字。词格的跨度查询同时收模糊变体，
每个模糊音节扣 1.0（log10），lin'yi'bian 解出「另一边」；整句 canonical 记真实读音，
造词不写错音。切分与纠错的裁决打分不带模糊读音，避免字面读法借模糊分压过纠错。
双拼同步。eval_quanpin_sentence 新增 fuzzy=<规则位> 参数。
|
2026-10-12 03:44:25 +08:00 |
|
|
Lu Fan(SonnyCalcr)
|
22fb1e2569
|
Merge pull request #619 from fanlusky/feat/shuangpin-direct-helpcode
feat: 双拼直接辅助码（万象式，无需引导键）
|
2026-10-04 19:32:10 +08:00 |
|
|
Jia Sui
|
c87684272b
|
engine(quanpin): 词格加可选的字级搭配打分接缝
WordLatticeOptions 新增 collocation_scorer/collocation_weight（默认关闭，产品路径
零行为变化）：为 octagram（.gram）这类与词表零耦合的字级搭配语法模型预留加性
打分入口。假设额外携带路径尾部文本（至多 8 个码点），句尾词以 is_rear 标记，
供 .gram 的「词+\$」rear 项参与打分。
|
2026-10-02 20:15:39 +08:00 |
|
|
fanlusky
|
fae80660c1
|
feat(engine,server,windows,ui-html): 双拼句中辅助码
在完整音节后敲反引号，接着的字母筛这个音节上的字：第一码大小写均可，
紧跟的大写字母是第二码，之后可以接着打，一个输入里可以有多段。开关
helpcode.shuangpin_mid_sentence_helpcode 默认关闭。
约束在整句解码时生效，而不是解完再筛：
- Google 解码器在 add_char_qwerty 里送 extend_mtrx_nd 之前按约束过滤词条，
锁住的字带着上下文重新整句解码；约束变化时整段重解，不污染增量搜索。
- kenlm 词格建图时按约束筛边，受约束的跨度不截断地查词库；神经重排只在
词格 n-best 里挑，自动满足约束。
- 普通词条、云和 AI 候选按同一规则收尾校验；满足不了就不出整句。
反引号段在请求里换成手动分隔符，原串留给宿主回读与预编辑显示；选词推进
时剩余音节上的约束随原串保留。输入形状规则放在 contracts/mid_sentence_helpcode.h，
TSF、Server、引擎共用，新增 Worker opcode MidSentenceHelpcodeChanged = 28。
googlepinyinime-rev 已与上游解绑，AGENTS 与 UPSTREAM.md 同步说明。
|
2026-10-02 02:20:37 +08:00 |
|
|
fanlusky
|
57dd0fc2f3
|
fix(engine,server): 整句来源标签只挂在整句联想候选上
候选窗按 CandidateSource 挂〔Trigram〕/〔Unigram〕，但 Generated/Fallback 同时被
原样上屏兜底、英文模式原文、日期、Unicode、假名、译文义项等合成候选借用，导致
输入 E 等特殊模式前缀时原样候选被误标为〔Unigram〕。
WordItem 新增 sentence_association 标记，只由 Google 解码器整句（全拼、双拼）与
kenlm 词格整句置位；Server 挂标签时同时要求来源与标记。source 本身不变，落库与
学习策略不受影响。
|
2026-09-27 08:25:51 +08:00 |
|
|
fanlusky
|
e7f7addd4f
|
feat(engine): 神经网络整句联想与词格 n-best 重排
- 新增 engine/neural：移植 chinese-ime-lm 的字符级 Transformer 推理，在词格解出的最多 12 条
n-best 里重排挑选整句，desktop / keyboard 两档模型各出一条首选，后台 worker 异步打分
- 词格支持 n-best 输出与重排（quanpin/lattice_rerank），全拼、双拼共用
- 新增 SentenceAssociationOptions，经 QueryRequest 传给各 provider；四个来源默认全关
- 资源契约登记两个 safetensors 与 NOTICE；模型二进制不进仓库，由
scripts/fetch-neural-model.ps1 按 neural-model/lock.json 下载并校验 SHA256
- 新增 neural_sentence 测试
|
2026-09-24 14:03:39 +08:00 |
|
|
fanlusky
|
e2a5f5f988
|
fix(engine): 词格整句只用精确读音，并补上多音字读音先验
长句联想此前会把读音对不上的词拿去造句，也分不清多音字的常见读音与生僻读音。
词格的跨度查询改用批量精确键查询。原先走的 query_segments_keyed_flat 带降级：
精确键查不到就退到前缀区间扫描（key >= "gun'qi" AND key < …），gun'qi 因此捞出
gun'qiu 的「滚球」，简拼那两级同理。联想出来的每个词，读音都必须精确对上用户
敲的那段拼音。顺带省掉了白扫的前缀区间，也不再需要 QuerySource——区分全拼与
双拼的只有简拼那几级。
新增读音先验：每一行按「自己的权重 / 该拼音跨度的权重和」算读音占比，占比低于
免罚线的部分按 log10 扣分。语言模型只看汉字，分不出「卷」读 gun、「而」读 neng
这种词库里权重为 0 的多音字读音，于是 gun'qi 出「卷七」、neng'fa'sheng 出
「而发生」。不能整体按 log10 P(词|拼音) 扣，那等于把字频算两遍（语言模型已经
算过一次），「跑得很快」会被「跑的很快」压掉——得/地 各占 de 的 7%~9%，本来就是
常见读音；真正的生僻读音占比是 1e-5 量级，离免罚线还差好几个数量级。
ü 的两种拼法归一化到词库存的那一种。intact_pinyin_list() 两种都认，词库只存
一种（j/q/x/y 后写 u，l/n 后写 v），切出来的 jv、lue 这类音节因此一行都查不到。
改精确键查询之后这会让整张词格断在那里——wo'men'lue'de 解不出任何路径，长句
联想整个消失。lue 和 lve 本来就是同一个读音的两种拼写，归一化之后仍是精确匹配。
新增两条回归用例：生僻读音不得赢下词格；421 个合法音节每个都必须在词库里至少
查得到一行，切分器与词库哪边漂了都先在这里炸。
|
2026-09-19 10:08:39 +08:00 |
|
|
fanlusky
|
80b1fc42a1
|
feat(engine): 词格整句改用 kenlm 三元模型打分
词格原先的整句打分是一份没校准过的启发式 unigram，质量很差。这里内嵌 libime
在用的 kenlm 查询子集，改由它的三元模型 sc.lm 来打路径分。
- engine/ngram 只编 kenlm 的 query / trie-build 路径。不定义 WITH_THREADS，
parallel_read.cc 因此退化成串行实现，整个子集零 Boost 依赖。
KENLM_MAX_ORDER=3 必须与建模阶数一致，改它等于读不懂已发布的模型文件。
- ngram::LanguageModel 是唯一 include kenlm 头文件的地方，对外只给出一个纯
std 的头，_HAS_AUTO_PTR_ETC 和 kenlm 的 include 目录都保持 PRIVATE。
- shared_language_model 按资源路径共享一份 mmap。kenlm 的查询是只读的且把
上下文放在调用方的 State 里，所以并发会话不需要额外加锁。
- 模型缺失时 valid() 为假，词格退回原来的启发式打分：整句候选只是变差，不会
停止工作。测试覆盖了缺模型降级与按路径共享。
- 出货的 ARPA 不带 <s>/</s>，所以解码从 null_state() 起算而非 begin_state()。
kenlm 是上游副本，不重排版、不进 clang-format，其 LGPL-2.1+ 与 BSD 例外清单
已补进 THIRD_PARTY_NOTICES.txt。googlepinyinime 那条 Fallback 整句路径不变。
|
2026-09-19 10:08:39 +08:00 |
|
|
fanlusky
|
a7779d2b05
|
refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。
Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。
引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。
CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。
README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
|
2026-09-12 03:40:48 +08:00 |
|