 Jia Sui
|
2557ee4a63
|
docs: 修正 AGENTS.md 与注释中与代码不符的五处描述
spec 校对时逐条核对「文件:行号」锚点发现，五处文档描述与代码现状不符：
- windows/AGENTS.md：格式化遵循的是本目录 .clang-format，仓库没有根目录 .clang-format
- 根 AGENTS.md：engine/... 前缀 include 只对 server/ 成立，windows/ 无仓库根，走相对路径
- scripts/format.sh：注释声称 CI 会跑 generate.py --check，实际没有任何 CI 作业调用
- server/AGENTS.md：测试源文件数与三处行号锚点过期
- server/CMakeLists.txt：注释里的 "eleven add_test()" 实际是 24 个，删去具体数字
纯文档与注释改动，无行为变化。
|
2026-10-03 08:29:50 +08:00 |
|
|
Jia Sui
|
72c1d7ddb0
|
fix(engine): darts-clone 登记为 vendored 副本，脱离格式门禁
0976c307 随octagram 读取端入库的 darts-clone 0.32h 不在 format.sh 的排除名单里，
而它整份文件都不符合仓里的 .clang-format，本分支一旦推上去 CI 的
Check formatting 就会报 1826 处违规。
按精确路径排除 darts.h，不按目录：同目录的 octagram_gram.{h,cpp} 是我们自己的
代码，必须继续受门禁管，目录级排除会连带把它们一起豁免掉。
与上游 v0.32h（87b71afd）比对后确认这份副本并非原样入库，而是带 6 处本地改动
——open() 删掉 256 单元头部校验与两段式读、save() 删掉 offset 参数、
commonLongestPrefixSearch 整体删除、DoubleArrayBuilder 三个常量改为
static const std::size_t、一处注释拼写。这些此前没有任何地方记录，是它掉出
名单却一直没被发现的原因；逐条写进 UPSTREAM.md，升级 darts-clone 时才能重放。
前两条与 mmap 装载自洽（octagram_gram 走 set_array，不经过 open/save）。
两份 AGENTS.md 里硬编码的「那三个上游副本」清单同步为四个。
|
2026-10-02 22:00:36 +08:00 |
|
|
fanlusky
|
80b1fc42a1
|
feat(engine): 词格整句改用 kenlm 三元模型打分
词格原先的整句打分是一份没校准过的启发式 unigram，质量很差。这里内嵌 libime
在用的 kenlm 查询子集，改由它的三元模型 sc.lm 来打路径分。
- engine/ngram 只编 kenlm 的 query / trie-build 路径。不定义 WITH_THREADS，
parallel_read.cc 因此退化成串行实现，整个子集零 Boost 依赖。
KENLM_MAX_ORDER=3 必须与建模阶数一致，改它等于读不懂已发布的模型文件。
- ngram::LanguageModel 是唯一 include kenlm 头文件的地方，对外只给出一个纯
std 的头，_HAS_AUTO_PTR_ETC 和 kenlm 的 include 目录都保持 PRIVATE。
- shared_language_model 按资源路径共享一份 mmap。kenlm 的查询是只读的且把
上下文放在调用方的 State 里，所以并发会话不需要额外加锁。
- 模型缺失时 valid() 为假，词格退回原来的启发式打分：整句候选只是变差，不会
停止工作。测试覆盖了缺模型降级与按路径共享。
- 出货的 ARPA 不带 <s>/</s>，所以解码从 null_state() 起算而非 begin_state()。
kenlm 是上游副本，不重排版、不进 clang-format，其 LGPL-2.1+ 与 BSD 例外清单
已补进 THIRD_PARTY_NOTICES.txt。googlepinyinime 那条 Fallback 整句路径不变。
|
2026-09-19 10:08:39 +08:00 |
|
|
fanlusky
|
a7779d2b05
|
refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。
Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。
引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。
CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。
README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
|
2026-09-12 03:40:48 +08:00 |
|
|
Evan
|
5bd82e9c5f
|
ci(windows): 在 CI 里执行 clang-format
移植 MSIME-Linux 的 scripts/format.sh，接进已经是 required 的 Workflow validation 作业。
四个组件各自的 .clang-format 一直在仓库里，但此前没有任何一处强制执行。
.git-blame-ignore-revs 指向上一个重排提交，git blame 会跳过它。
|
2026-09-06 12:17:29 +09:00 |
|