okooooooo/msime-windows
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
2,475 Commits 1 Branch 0 Tags
develop
Commit Graph
32 Commits
Author SHA1 Message Date
Lu Fan(SonnyCalcr) e701cebbe4 feat(server,ui,installer): 内置皮肤改由皮肤清单定义，新增微信绿(卷轴)内置皮肤 (#1061) 
* feat(ui): CandidateList 支持等宽网格列与关闭选中态

- Appearance::gridColumns：横排时按可用宽度均分成等宽列（列数不超过 gridColumns，每列不窄于
  minItemWidth），放不下一列的项占多列。
- Appearance::selectable：为 false 时不画任何选中态，首项也能正常显示悬停与按下效果。

* feat(server,installer): 内置皮肤改由皮肤清单定义，新增微信绿(卷轴)内置皮肤

内置皮肤数据化：
- skins/default/<id>/skin.toml 从只放开关改为完整的出厂清单（配色、圆角、版式、工具栏、名称与说明），
  并新增 canvas 基底的清单。候选窗、悬浮工具栏、光标状态徽标不再在代码里写死任何内置皮肤的参数。
- 出厂清单在构建时编进程序；数据目录里的清单写了的键覆盖出厂值，缺失或写错时退回出厂外观。
  安装包改为每次整份覆盖 skins\default。
- 皮肤清单新增版式键（padding、item_gap、number_inset 等，长度可写 DIP 或 "0.3em"），以及
  [candidate_window.horizontal] / [candidate_window.vertical] 分排列覆盖、page_arrow_divider、
  toolbar.icon_corner_radius_dip。
- test_candidate_skin_tokens 保留改动前的内置分支作参照，逐个皮肤、主题、排列与字号比对清单解析结果。

共用候选窗场景：
- 候选框的场景搭建与套皮肤抽成 CandidateSkinScene，候选窗与设置页的皮肤预览共用；设置页预览改用
  真实的候选窗控件绘制，删除原先移植自网页样式的预览绘制与各皮肤硬编码。

卷轴展开（expand_panel）与微信绿(卷轴)：
- 皮肤开关 expand_panel / expand_rows：横排候选行右端的展开按钮，展开后首行与后续候选网格一起滚动，
  右侧细滚动条；展开与收起只认按钮，展开时滚轮上下滚动、不翻页。
- 网格点选按绝对下标上屏并在工作线程核对显示文字；滚到底部时自动再展开一批候选。
- 新增内置皮肤 wechat_scroll「微信绿(卷轴)」。
 2026-10-18 20:42:06 +08:00
Ten-Shineandfanlusky 4eed9c8442 fix(installer): 升级不再删除 custom_translations.txt (#1035) 
* fix(installer): 升级不再删除 custom_translations.txt

custom_translations.txt 是用户手工放在数据目录根下的中英翻译覆盖表，
安装包不携带、引擎只读不写。覆盖安装时 CleanAppDataExceptUserFiles 会
清掉根下所有不在 IsPreservedAppDataItem 名单里的条目，换数据目录时
MigrateUserDataDir 的 robocopy 清单也不含它，于是升级会把它删掉，或留在
旧目录随 RemoveDataDir 一起消失。它没有 config.toml 那样的出厂副本可
回退，删掉即内容彻底丢失。

新增 IsUserTranslationFile 并接入 IsPreservedAppDataItem，覆盖安装时与
其他用户数据同等保留；MigrateUserDataDir 的 robocopy 文件清单补上它，
换数据目录时一并搬走。preserve-user-data.ps1 的 $required 同步更新。

同步 installer/README.md 的迁移清单与 PRIVACY.md 的升级保留说明，并订正
新增函数注释里引用的 README 章节名。

* fix(installer): 迁移 custom_translations.txt 时不覆盖、不静默丢失

换数据目录时 robocopy /MOVE 会用旧目录那份直接盖掉目标目录里已有的
custom_translations.txt，而冲突检查只管 config.toml。现在 ConfigMigrationProblem
对它做同样的检查：两份内容不同就拒绝这个目录，相同就删掉旧目录的残留再搬。
这也避免了 RemoveDataDir 在非独占目录里按名字删掉没搬走的那一份。

迁移失败时原先只有用户词库和 config.toml 会中止安装，custom_translations.txt
被当成皮肤一样可重建的东西只记日志。它没有出厂副本，新增
TranslationMigrationFailure，没搬成同样中止。

同步 PRIVACY.md 与 installer/README.md 的保留/迁移清单，补上此前就漏掉的
stats.db、helpcodes\custom、shuangpin、models。

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-17 21:46:48 +08:00
Lu Fan(SonnyCalcr) 1b875267db refactor: 移除 WebView2，界面只保留 Direct2D (#1013) 
* refactor(engine): 语音独立工具改用原生托盘菜单，移除 WebView2

托盘菜单改用 Win32 弹出菜单，设置项改为用关联编辑器打开 config.toml，关于页改为消息框。删除 window_webview2 与两份 HTML 资源，windows-app 特性不再依赖 webview2 端口。

* refactor(server): 移除 WebView2，候选窗、工具栏、托盘菜单与设置窗口只保留 Direct2D

删除 src/webview2 与 webview_utils，小窗口的置顶、皮肤重载和工具栏状态缓存移到 window/small_windows，presenter 成为唯一路径，D2D 下的置顶时序与 cloak 行为保持不变。设置进程去掉 WebView2 宿主、鼠标转发与启动图，只构建原生窗口；旧快捷方式传入的 --d2d / --webview2 被忽略。删除 appearance.ui_backend 与 appearance.settings_ui_backend（读取、写入、设置页下拉框与两份配置模板），升级时由模板合并丢弃旧值。设置窗口的图片资源移到 server/assets/settings，安装到数据目录的 assets\settings。不再链接 WebView2Loader，vcpkg 去掉 webview2 端口。

* build(installer): 打包与 CI 不再处理 WebView2 页面和运行时

Prepare-PackageFiles 去掉 -UiHtmlDirectory 与 html 暂存，改为暂存 server/assets/settings；安装器不再检查 WebView2 Runtime、不再创建 ProgramData 下的 WebView2 用户数据目录，升级和卸载时清理旧版留下的 webview2 / webview2-settings 与数据目录里的 html。CI 删除设置页构建、契约同步检查和候选窗 DOM 测试，release 的打包任务不再依赖网页产物；dependabot 去掉 npm。第三方声明去掉 WebView2Loader。

* refactor(ui-html): 删除 WebView2 页面与设置页前端工程

候选窗、工具栏、托盘菜单、设置页、主题和契约副本都已没有使用者；设置窗口用到的图片资源已移到 server/assets/settings。sync-contracts.py 与 pnpm/Vite/TypeScript 工程一并删除，契约仍以 engine/contracts/webview 为唯一来源。

* docs(server): 文档改为只描述 Direct2D 界面

仓库地图去掉 ui-html，组件边界、uiAccess 与置顶时序、设置窗口和配置读写的说明改写为 Direct2D 唯一界面；安装说明去掉 WebView2 Runtime 检查，打包命令去掉 -UiHtmlDirectory；engine/contracts/webview 的说明改为设置窗口是唯一使用者，名字是历史遗留。

* docs(skins): 皮肤说明不再区分 WebView2 与 D2D 渲染器

v2 字段去掉「仅 WebView2」，改为说明由 Direct2D 原生渲染、部分字段仍在补全；颜色必须带 # 改为清单格式约定。随包的 skins/niya-demo/skin.toml 不改，免得用户机器上的同名皮肤在升级时被当成已修改而改名备份。

* docs(ui): demo 说明文字不再提 WebView2
 2026-10-17 02:48:02 +08:00
Jia Suiandfanlusky d414268b5f [Feat] U 模式重构为部件拆字反查 (#973) 
* feat(engine,server,windows,ui-html,installer): U 模式重构为部件拆字反查 (#971)

把 U 模式从 Unicode 十六进制码位输入改成部件拆字反查：Shift+U 后输入各
组成部分的拼音连写（晶 = ririri）即可出字，候选上反显注音。

- 引擎：新增 local_modes/radical_query（前缀匹配、字频降序），数据表
  engine/radical/decomposition.txt 与生成脚本；LocalInputMode::Unicode
  改为 Radical；删除 unicode_query。
- Server：g_radical_mode_triggered + IsRadicalCompositionActive + 候选分发，
  用 cpp-pinyin 反显注音；删除 Unicode 码位路径。
- 前端 TSF：删除 U 模式的十六进制/数字特例与影子预判，按普通组合处理。
- 配置：utility.unicode_mode 改为 utility.radical_mode。
- 部署：assets 登记 radical_decomposition，安装器与 CI 拷表。

数据来源 mirtlecn/rime-radical-pinyin (GPL-3.0)，授权见 engine/radical/NOTICE.md。

* feat(server): U 模式反显拼音改为带调风格（jīng）

* fix(server,installer): 修复 U 模式 CI（拆字表打包夹具与 clang-format）

* fix(engine,server): 修正 U 模式按键错位、重复候选与配置迁移

- Server 在 U 模式不再吞掉撇号、分号、斜杠、大写字母等键：TSF 已把它们记进按键缓冲，
  吞掉又不重同步会让两侧串和光标错位。照常插入，含非 a-z 的码查不出候选
- 拆字查询全码命中排在仅前缀命中之前，同一个字的几种拆法只出一次
- 升级合并把旧键 utility.unicode_mode 的值带到 utility.radical_mode，读取时也兜底旧键
- 生成脚本只收汉字，重建拆字表去掉 abc 码下的 51 行数字、字母与符号
- 开着 U 模式时在后台预热拆字表与 cpp-pinyin 词典，避开首个按键的冷加载
- Server 按会话的 RuntimePaths 查拆字表，删掉走全局数据目录的便捷重载
- cpp-pinyin 初始化合并到 utils/hanzi_pinyin，设置页导入注音共用；U 模式与快捷短语的收键分支合并

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-16 01:01:18 +08:00
luo jiyinandfanlusky acc25f40e6 fix(installer): 在最终数据目录保存云候选选择 (#972) 
* fix(installer): 在最终数据目录保存云候选选择

安装器在数据目录确定后检查已有配置。升级迁移遇到配置冲突时停止，避免覆盖目标配置。

首次安装以 UTF-8 写入云候选选择，并在写入失败时报告错误。

增加安装时序检查和 Windows 安装测试矩阵。

Refs #931

* test(installer): 用 Inno 探针验证云候选配置写回

主安装器与探针共用云候选配置函数。

Windows CI 执行五个隔离的首次安装和升级场景。

Refs #931

* test(installer): 接受 Inno 配置文件的 CRLF 行尾

测试按完整的 cloud_candidates 行检查结果。失败时打印实际字段值。

Refs #931

* fix(installer): check config migration conflict before stopping IME

* test(installer): clear expected conflict exit code

* test(installer): narrow source check to migration order

* fix(installer): 云候选写回失败不再中断安装，迁移可重试

- 写回「不启用云候选」失败时只记日志并提示，挪到必需的安装后步骤之后
- 两处 config.toml 内容相同时视为上次迁移的残留，允许重试
- config.toml 没搬过去时中止安装，避免新目录装上出厂配置
- 数据目录页就检查配置冲突
- ShouldSkipPage 不再写全局状态
- 探针复用生产的迁移判断与顺序，补齐改目录首次安装、重试和迁移失败场景

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-15 23:00:34 +08:00
Jia Suiandfanlusky 2f7335be3e 统计增加首词命中率 (#963) 
* feat(engine): webview 契约给统计概览增加首词命中率字段并支持 null 分支

* feat(server,ui-html): 统计新增首词命中率（决策点记录、stats v2 迁移与设置页展示）

* fix(server): 首词命中计数补日语标点排除与并发迁移复查

* fix(ui-html): 统计卡片改用自适应列宽，避免长数字被省略号截断

* fix(server,installer): 修复首词命中率随附测试在 CI 的失败

三条 server 用例是首词命中率改动新加、但从未跑绿：RawDb 在迁移用例里对尚不存在的库开只读写连接，补上 SQLITE_OPEN_CREATE；09-19 写了一次次选，按契约它是一次真实测量（0%），断言却要求 nullopt，改为断言 0.0，并把 nullopt 覆盖移到迁移用例（total==0 的那天）。安装器 preserve-user-data 从 stats_pipe.cpp 取库名，而 EnsureStatsStoreOpen 连同 stats.db 字面量已挪到 stats_candidate_capture.cpp，改到新位置。

* fix(server,ui-html): 首词命中率写库移出按键路径，修正迁移与统计口径

- 选词计数改由后台 SerialTaskRunner 写库，标点收尾与选词路径不再同步等 SQLite 锁
- 迁移以表结构为准，不再被版本号挡住；缺列时在 IMMEDIATE 事务里逐列补齐
- 标点在日期入口上收尾时按实际上屏的首条候选计数
- 五笔四码唯一自动上屏不计入；多段造词任一段非首位即不算命中
- 只有选词计数的日线不算打字日，不影响天数、日均与连续天数
- 卡片复用 formatFirstWordRatio 并展示累计命中率，概览复用 DailyRow::FirstWordRatio

---------

Co-authored-by: fanlusky <1730976608@qq.com>
 2026-10-15 22:09:50 +08:00
Lu Fan(SonnyCalcr) e46294308d fix: CS2 / Dota 2 / 三角洲行动等游戏里的输入法兼容（加载、候选、翻页、独占全屏、启动崩溃） (#925) 
* fix(installer): TSF DLL 改装到系统目录，CS2 等 Trusted Mode 游戏里可以切出输入法

CS2 的 Trusted Mode 只放行位于系统目录且有代码签名的第三方 in-proc DLL，
装在 Program Files 下的 DLL 会被拒绝加载，游戏里切不出输入法。
x64 DLL 改装到 System32\IME\MetasequoiaIME\msime_v*，x86 装到 SysWOW64 下同名目录，
语言配置图标随之放到两处根目录；升级时清掉旧版留在 Program Files 的版本目录。

* fix(windows): CS2、Dota 2 不理会 UI-less 声明，照常显示候选窗

起源 2 引擎的 Valve 游戏以 UI-less 激活 TSF，但只替白名单里的输入法绘制候选。
我们据声明收起了自己的候选窗，游戏又不画，结果只剩左上角的系统默认 IME 小框，只能盲打。
对 cs2.exe、dota2.exe 忽略 UI-less，照常由 Server 绘制候选窗。

* fix(server): 前台为 D3D 独占全屏时不弹候选窗与光标状态提示

独占全屏下别的进程的窗口画不上去，弹出去反而可能把游戏踢出独占模式（闪黑、切分辨率、卡死）。
在 UI 线程真正显示前用 SHQueryUserNotificationState 判一次（300ms 缓存），独占全屏就收起候选窗，
并清掉已渲染可见标记，数字键与空格选词不再等待不会到来的绘制。

* fix(engine,server,windows): 游戏自绘候选时后台改动的候选列表实时同步给宿主

英雄联盟等 UI-less 宿主自己画候选。云候选、AI 候选、模型重排、英文混排在按键回复之后才改
候选列表，却从不通知 DLL，游戏还画着上一键读到的旧列表，数字键和空格却按新列表上屏，
于是「选的和上屏的不一样」。

- 契约新增 Worker opcode 35 UiLessCandidatesChanged，载荷与 UiLessComposition 同形，
  由 uiless_page.h 统一格式化与解析，并附候选页代号；旧 DLL 读选中位时在第三个制表符处停下，兼容。
- Server 在上述后台改动之后把新页推给候选归属的客户端。
- DLL 收到后回到 TSF 线程核对焦点与组合纪元，更新候选 UI 元素并通知宿主重读。推送与按键回复
  走不同管道，按代号只接受不旧于当前的页，避免旧页盖掉新页。
- 从共享内存重读到不同的页时高亮回到第一项，与 Server 每次重建都选中首项一致，
  不再保留旧高亮造成「高亮这个、空格上屏那个」。

* feat(windows,server,ui-html,installer): 游戏兼容开关，CS2 / Dota 2 独占全屏打字不再黑屏

CS2、Dota 2 只替内置白名单（按输入法登记名称全等比对）里的输入法处理输入法消息。不在名单里时
组合落到 Windows 默认组合窗 CiceroUIWndFrame，左上角弹出编码小框；独占全屏下这个窗口一出现
游戏就被踢出全屏，表现为一打字就黑屏。清风输入法未开兼容时同样如此。

- 设置页帮助页新增「游戏兼容（CS2 / Dota 2）」：开启后把水杉在系统里登记的名称换成白名单里的
  名字（默认「拼音输入法」），游戏会自己画候选。需要管理员权限：设置进程以
  --apply-game-compat-name 提权重启自身，写 HKLM 记录值并改语言配置的 Description。
- TSF DLL 注册时以记录值为准，安装/升级重新注册不再把用户选的名称冲掉；卸载时删除记录值。
- 开启时不再对 cs2.exe / dota2.exe 忽略「宿主自己画候选」的声明，避免两个候选框。
- Server 的独占全屏判断覆盖进出独占模式时的 QUNS_BUSY 间隙，不在切换途中弹候选窗。
- TSF 诊断日志在组合开始/结束与 BeginUIElement 时记录宿主窗口状态（只有窗口与标志，没有文本）。

* fix(windows): 后台刷新回调持有加载器引用，宿主卸载 TSF DLL 后不再崩溃

当前输入法是水杉时，CS2 启动途中会加载再卸载 TSF DLL。诊断日志的线程池回调
FlushTsfDiagnosticLogs 正在 Sleep(250)，只靠 DllAddRef 撑着：那只回答 DllCanUnloadNow，
挡不住宿主直接卸载。DLL 卸载后 SDL3 映射进同一段地址，回调醒来跑进 SDL3 的代码，
游戏崩溃（0xc0000005，崩溃转储里卸载模块的地址范围与崩溃地址吻合）。

- 诊断日志与统计上报的线程池回调改为用 GetModuleHandleEx 取加载器引用，
  回调里 FreeLibraryWhenCallbackReturns，函数完全返回后才放手。
- 析构函数把 DllRelease 挪到最后，不在等待 IPC 线程退出之前就让 DLL 可卸载。

* fix(windows): 游戏自绘候选时不再把 Server 的 HTML 候选页当成候选交给游戏

CS2 开了游戏兼容后打一个码，游戏里的候选只有一项且是乱码。宿主要等 BeginUIElement 才说
自己画候选，而那时组合首键已经不带 UI-less 标记发给了 Server；Server 往共享内存写的是给
自己候选窗用的 HTML 页（辅助码、译文 span），DLL 的候选元素从共享内存回读后整串交给了游戏。

- 开了游戏兼容名称的 cs2.exe / dota2.exe 在 ActivateEx 就认定由游戏画候选，每个按键都带标记。
- 候选会话里收到过 Server 的 UI-less 页之后才从共享内存回读，之前一律不读。

* fix(windows): 游戏自绘候选时翻页能刷新，部分上屏后不再出现乱码候选

三角洲行动（虚幻引擎，以 TF_TMF_UIELEMENTENABLEDONLY 激活）里按 = / - / PageUp / PageDown
翻页，Server 已翻到第 N 页，游戏却还画着第一页；接着按空格上屏的是第 N 页的首项（多为单字），
剩下的拼音继续组合时候选框里出现乱码。

- 翻页、移高亮等键走异步的 WM_AsyncServerCandidateKey，以前把回复当作「只是确认」丢掉；
  UI-less 下这份回复就是新的候选页，现在应用并通知宿主重读。
- UI-less 的 _SetText 拿不到 Server 的候选页时不再退回本地引擎的占位列表——那不是候选，
  宿主会画成一条乱码。部分上屏后从共享内存回读 Server 写好的新页；_ClearList 同时清掉上次
  的页记录，页文本相同也会重新载入。
 2026-10-13 21:58:15 +08:00
fanlusky 371d651a40 fix(windows,installer): 输入法语言配置图标改用固定路径，升级后任务栏不再显示「简体」 
TSF DLL 每次升级都装进新的 msime_v* 版本目录，语言配置注册的图标指向 DLL 自身，
注册表里的图标路径随之每次变化。任务栏恰好在换目录时取不到图标，就改显示「简体」文字，
并一直沿用到资源管理器重启。

- 安装器把 windows/image/msime.ico 装成 Program Files 与 Program Files (x86) 下
  metasequoiaime\MetasequoiaImeTip.ico，排在 TSF DLL 的 regserver 条目之前
- RegisterProfiles 发现 DLL 上一级目录有这个文件就注册它（索引 0），否则退回 DLL
  内嵌的 IDIS_METASEQUOIAIME，开发时从 build 目录注册不受影响
- 打包脚本收集并断言该图标；打包测试检查两份都装、且先于 DLL 安装
 2026-10-12 04:20:17 +08:00
Lu Fan(SonnyCalcr) 19543ead61 fix(server,installer): 升级不再改掉老用户设置和效果档模型，SimplySign 打包前构建词库 (#852) 
* fix(server): 升级不再把只给新装用户的出厂默认值推给老用户

* fix(installer): 升级时把 0.9.x 随包的效果档模型挪到 models\neural-desktop，不再删掉

* fix(installer): SimplySign 完整包打包前从同级 msime-dictionary 构建词库并备好模型
 2026-10-12 00:27:59 +08:00
Lu Fan(SonnyCalcr) 649747f8cd feat(server): 神经网络整句效果优先模型改为按需下载 (#838) 
效果优先模型（sentence-model-desktop.safetensors，约 25 MB）不再随安装包分发，
改为和八股文模型一样在设置页下载后才能使用。

- engine：SentenceAssociationOptions 新增 neural_desktop_model 路径，留空即模型缺席、
  静默不重排；词典不再从资源目录固定加载效果档。load_file 按 UTF-8 打开路径，
  数据目录在非 ASCII 用户目录下也能读到模型
- server：新增 settings/neural_model，下载到 <数据目录>\models\neural-desktop\，
  下载与导入都按 neural-model/lock.json 的字节数和 SHA256 校验后原子落位；
  会话层只在开关打开时解析模型路径
- ui-html：设置页增加下载 / 导入 / 删除 / 浏览器下载，模型未就绪时开关置灰
- installer：不再打包效果档模型；旧版装进数据目录根下的那份在覆盖安装与卸载时清掉

原有配置项 sentence_neural_desktop 保持不变，用户的开关状态升级后保留。
 2026-10-11 18:08:33 +08:00
Lu Fan(SonnyCalcr) 9495b8b60d feat(installer): 自动安装首次运行所需的依赖 (#823) 
* feat(installer): 自动安装首次运行所需的依赖

- pnpm install: 构建 ui-html 时自动安装 node_modules，首次运行不再因缺失 tsc 而失败
- pypinyin: 词库构建自动安装 Python 依赖，无需手动提前装
- 新增 scripts/download-neural-model.ps1: 从 chinese-ime-lm Release 下载神经整句模型
  * 幂等设计，摘要验证正确时直接跳过，首次运行下载 ~30 MB
  * Invoke-LocalTest.ps1 在词库构建后自动调用

优化完整包构建流程（test.ps1），首次运行时自动处理所有依赖安装和下载。

* fix: build-failures 测试允许 pnpm install 成功

mock pnpm 函数现在只让 'pnpm run build' 失败，允许 'pnpm install' 成功。
这样测试可以验证脚本在 build 失败时正确地中止，同时支持首次依赖安装。
 2026-10-11 15:33:31 +08:00
fanlusky b65bdded4c fix(installer): 换数据目录时搬走 octagram 模型包 
models 已列入覆盖安装的保留名单，但 MigrateUserDataDir 没有搬它：换目录后下载的语法模型留在旧目录，随 RemoveDataDir 一起删掉，用户得重下约 390MB。补一段 robocopy，并在 preserve-user-data 测试里登记该目录。
 2026-10-02 23:30:48 +08:00
fanlusky ae36403230 feat(installer): 随包安装 skins 下的外部皮肤，覆盖前把改过的同名皮肤备份为 .bak 2026-09-30 23:58:11 +08:00
fanlusky a94770340d fix(installer): 内置皮肤清单改为单独暂存，不经 app_data 
app_data 的顶层条目都要进卸载删除名单 IsShippedAppDataItem，而数据目录的 skins
整个归用户（外部皮肤也在里面），不能进那份名单。清单改为暂存在 installer/default_skins，
仍以 onlyifdoesntexist 装到 skins\default。打包测试夹具补上 skins/default，并断言
清单不经 app_data、安装条目保持 onlyifdoesntexist。
 2026-09-30 13:08:11 +08:00
fanlusky f734fa4c47 fix(installer): 卸载不再删除自定义数据目录中的其他文件 
数据目录非空或为驱动器根目录时改用其中的 metasequoiaime 子目录；
标记文件新增独占标识，只有安装时为空的目录才整目录清理和删除。
旧版标记的目录只按名单删除输入法自己的文件。

Fixes #537
 2026-09-29 17:19:13 +08:00
fanlusky c9b86e0026 feat(engine): 支持用户自定义双拼方案 
用户在数据目录 shuangpin\custom\ 下放 TOML 文件，在设置页以 custom/<文件名>
选用。零声母规则从 o、a、first_letter、full_pinyin 四种里选，声母和韵母
映射由文件指定，可用 [zero_initials] 覆盖个别零声母音节。

- 引擎：新增 CustomShuangpinLayout 与 BuildCustomShuangpinProfile，校验缺键、
  声母撞键，并对全部音节做往返解码，冲突时给出可读的错误信息；新增运行时
  方案注册表，按需加载。
- Server：扫描并解析自定义方案，配置快照带上方案列表与目录；文件缺失或无效
  时回退到小鹤。
- 设置页：仿照自定义辅助码，新增打开目录和刷新按钮；无效方案列出但禁用，
  悬停时显示错误。
- 安装器：覆盖安装与迁移数据目录时保留 shuangpin 目录。
- 文档：docs/custom-shuangpin.example.toml 提供带详细注释的示例。
 2026-09-29 11:33:23 +08:00
Jia Sui 0b11322dfd fix(installer): 覆盖安装清空输入统计库——保留与迁移两份名单补上 stats.db 
完整包升级走 CleanAppDataExceptUserFiles，它按 IsPreservedAppDataItem 白名单清空数据目录，
不在名单里的项一律删。名单只有 msime_user.db*、config.toml、config.base.toml、skins 和标记
文件，0.8.0 才落地的 stats.db（输入统计，ffcd1aee）从不在其中，于是每次覆盖安装都被
DeleteFile 删掉；Store::Open 固定 SQLITE_OPEN_CREATE，文件一没就立刻重建空库，用户看到的是
统计数字被清零而不是报错。换数据目录安装是同一条缝：MigrateUserDataDir 的 robocopy 清单同样
没有它，文件留在旧目录，随后随 TryDeleteTree(OldDir) 一起没了。

本次把 stats.db 及其三个 sidecar 同时补进覆盖安装保留名单和换数据目录迁移名单，并加一个
静态反解这两份清单的测试互相交叉校验。

- msime_setup.iss：新增 IsUserStatisticsDatabase（stats.db / -wal / -shm / -journal）并接入
  IsPreservedAppDataItem；MigrateUserDataDir 的 robocopy 清单追加同样四个文件名。sidecar 必须
  一起带：安装器先 StopImeProcesses 强杀 Server，WAL 里可能还有尚未 checkpoint 的写入，
  只搬主库会丢掉最后一批数据。卸载路径不动，卸载语义本就是删光用户数据。
- installer/tests/preserve-user-data.ps1（新增）：从 iss 源码反解保留名单与迁移名单，断言必需
  名单逐项在两边、两份名单互为子集、Server 侧 stats_pipe.cpp 的库名也在两边，并设规模下限
  防解析器自身失效造成的假绿。注册进 ci.yml 的 packaging job。
 2026-09-28 09:13:09 +08:00
fanlusky 631f642630 test(installer): 打包测试夹具补上神经整句模型 
Prepare-PackageFiles 要求完整包带两个 safetensors 与授权声明，夹具没跟上导致
Package contents 失败。补夹具、断言三个文件进包，并像 sc.lm 一样验证缺模型时拒绝打包。
 2026-09-24 14:18:01 +08:00
fanlusky bc1a1c7a4c fix(installer): 把 Google 解码器的系统词典打进安装包 
dict_pinyin.dat 从来没有进过安装包，所以装出来的输入法里
CandidateSource::Fallback 那条整句候选是空转的：im_open_decoder
拿不到系统词典会返回 false，PinyinDecoder::sentence 直接返回空串，
不抛异常也不记日志，表现就是「Google 那份联想没有了」。

这个缺口一直没被测试挡住，是因为测和装走的是两条路：
scripts/ci/test-server.ps1 和 engine/tests 用的是
server/assets/tables/ 这个开发资源目录，那里有一份 dict_pinyin.dat；
而 Prepare-PackageFiles.ps1 只从该目录取 pinyin.txt。两份文件内容
完全相同（sha256 6bf0bbde…62b2），所以本地跑什么都是对的。

打包取 engine/googlepinyinime-rev/data/ 那一份，不取 server 下的
开发副本 —— 前者是 engine/contracts/assets/assets.json 声明的来源，
万一哪天两份不同步，装出来的应当和清单一致。

与之配对的 user_dict.dat 不进包：清单里它是 role=user、profiles 为空
的可写文件，由 UserDict::reset 在用户数据目录下自建。装进资源目录
等于每次升级都把用户自造词顶掉，因此补了一条反向断言。

打包契约测试加了缺 dict_pinyin.dat 必须失败的负例，理由同 sc.lm：
两者都是静默降级，打包是唯一能挡住的地方。
 2026-09-19 10:08:39 +08:00
fanlusky d30d2946e4 feat(installer): 打包时生成并安装词格语言模型 sc.lm 
sc.lm 此前只能手工投放，重装即失效，发布包里也没有它。这里把它变成一个被钉住、
可复现、自动参与打包的产品输入。

它不走词库那条路：词库 release 由本仓库之外的构建器产出，资产集合和摘要在产品锁
里逐一钉死，加一项要对方先发新版。改为独立钉住上游语料，与 libime 自己的做法一致。

- language-model/lock.json 钉住上游 URL、语料摘要、转换参数和产物摘要。转换是
  确定性的（已在 MSVC 14.44 与 14.50 两套工具链上验证产物摘要一致），所以产物
  摘要可以像下载摘要一样钉死。
- scripts/build-language-model.ps1 下载、校验、转换、再校验，写临时文件后改名，
  中途失败不会留下摘要对不上的 sc.lm。幂等，摘要对得上直接返回。
- 它只 configure engine/ngram 一个目录，不拉 vcpkg 和 SQLite：转换工具只依赖
  kenlm 自己，而打包机上未必装得起引擎的全部依赖。
- Invoke-LocalTest.ps1 打完整包前自动调用它，轻量包本就不带数据文件，不调。
- 打包脚本只断言文件存在，摘要由构建脚本负责，与词库交给 product_lock.py 校验
  的分工一致。缺模型让打包失败而不是跳过：引擎对缺模型是静默降级的，运行期不会
  暴露，打包是唯一拦得住的地方，package-files.ps1 为此加了反向用例。

模型是 LGPL-2.1-or-later 的第三方数据，声明随之安装为 libime-lm-NOTICE.md。
安装脚本无需改动，它已按通配收集资源目录。产物与语料不进仓库，只进锁与声明。
 2026-09-19 10:08:39 +08:00
fanlusky 3b6b65020d perf(installer): 本地打包默认不含 PDB，另开带符号入口 
本地跑 test-light.ps1 等很久，慢的大头不是编译而是 Inno Setup 在压 PDB：
包里 PDB 约 140 MB，而真正的 EXE/DLL 只有约 20 MB，msime_setup.iss 又是
Compression=lzma2 + SolidCompression=yes，整整一遍压下来轻量包要 58.7 秒。

Prepare-PackageFiles.ps1 新增 -IncludeSymbols，不带它就把 server_exe\ 和
tsf_dll\ 里的 PDB 全部剔除。校验逻辑没有放松：仍然要求 Release 构建产出同名
PDB，缺符号照样打包失败，只是「符号是否随包安装」变成了显式选择。
msime_setup.iss 的两条 *.pdb 加上 skipifsourcedoesntexist，同一份脚本在带
符号和不带符号两种暂存下都能编译。

正式发布行为不变：release.yml 的打包步骤显式传 -IncludeSymbols，发布的安装包
依旧携带与二进制匹配的符号。

test.ps1 和 test-light.ps1 原本是两份几乎逐行相同的拷贝，现在一起收进
Invoke-LocalTest.ps1，三个入口都是它的薄包装：

  test.ps1          含词库，不含 PDB
  test-light.ps1    不含词库，不含 PDB
  test-symbols.ps1  含 PDB，默认轻量，加 -Full 走完整包

轻量包 Inno Setup 耗时 58.7s -> 9.2s，安装包体积 33.4 MB -> 7.7 MB。
 2026-09-13 03:56:58 +08:00
fanlusky a7779d2b05 refactor(engine): 将 engine 从 submodule 内嵌为仓内一等组件 
`vendor/MetasequoiaImeEngine` submodule 改为 `engine/` 目录，导入的是
product-lock.json 原本钉住的提交 c810d201，逐文件核对过 blob，因此这是一次
搬迁而不是引擎升级。引擎自己的嵌套 submodule（googlepinyinime-rev、utfcpp、
miniaudio）按各自 gitlink 一并展开，来源与提交见 engine/UPSTREAM.md。

Windows 专门化裁掉了不属于本产品的部分：whisper.cpp 与本地推理 provider、
macOS 示例宿主、整个 dictionary/ 建库流水线、上游 CI 与 release-please 配置。
词库仍按 product-lock.json 在构建时取发布产物。

引擎不再进 product-lock.json：没有 gitlink 就没有可比对的东西，锁里写一个上游
commit 等于宣称这棵树仍等于上游，而第一个 Windows 专门化改动落地时这句话就假了。
verify-contracts / verify-checkout 随之移除，verify-published 保留。

CI 与工具链：引擎源码并入根 scripts/format.sh（删掉引擎自己的那份，避免两套排除
列表分叉）；引擎 voice.yml 里的 silero_vad.onnx 摘要校验移到本仓 lock job；
engine-bump-triage 工作流与其测试删除；gitsubmodule 的 dependabot 频率由 daily
改为 monthly。

README、README.en、AGENTS.md、CONTRIBUTING、docs/product-release.md 及各子目录
文档同步说明新的位置与边界。
 2026-09-12 03:40:48 +08:00
Neptrue_Lin 4b95c90fde Merge pull request #228 from AaGMix/feat/installer-pdb 
feat(installer): include release PDB symbols
 2026-09-07 09:46:06 +08:00
Evan Hu 84de68fd1b fix(server): embed uiAccess manifest before signing 2026-09-07 07:42:14 +09:00
AaGMix e9a2c91214 feat(installer): include release PDB symbols 2026-09-07 02:10:38 +08:00
Evan 4fc16952b3 wip(windows): 补齐隐私与许可交付，修好外部人的构建入口 
- 新增 PRIVACY.md：逐项写明每个联网端点、发送内容、默认开关与关闭方式，明确云候选默认开启、
  token 在 config.toml 明文存储、无任何遥测
- 设置页「用户协议」「隐私政策」两个无 handler 的死按钮接上；前者改名为「开源许可协议」指向
  LICENSE，开源产品的用户条款就是许可证本身，不再承诺一份不存在的 EULA
- 安装包随包装入 GPL 正文并在安装向导显示（GPLv3 §4/§6），补上打包测试断言
- release.yml 增加 build provenance attestation，并在发布后向 MSIME-Web 发 repository_dispatch，
  让 msime.app/update.json 不再等两小时一次的 cron
- 所有 CMakePresets 的 vcpkg 路径改用 $env{VCPKG_ROOT}，server 的 Boost 回退不再指向个人目录
- ui/README.md 指向本机绝对路径的 markdown 死链改成相对链接
- 新增 check-developer-paths.sh 并接入 required 的 quality 检查，防止路径回潮
- docs/installation.md 不再写死版本号
 2026-09-06 12:05:06 +09:00
Evan Hu 98a5e590c2 test(build): verify manifest arguments and stop on embedding failure 2026-09-06 09:02:13 +09:00
Evan Hu b2d736cd79 fix(build): finish local tooling migration to the monorepo 2026-09-06 09:02:13 +09:00
Evan Hu 5f8d75d79e fix(installer): use Engine tables in the local monorepo layout 2026-09-06 04:16:19 +09:00
Evan Hu c3fcc4a515 refactor(product): consume the consolidated Engine data and shared voice capture 
Ports metasequoiaime/MSIME-Windows#153 onto the consolidated repository. That pull request was written against the six-repository layout: it edited product-ci.yml, which no longer exists, and re-pinned Server, UiHtml and Installer, which are directories now.

Three of its pinned commits had not reached this repository at all. The consolidation took each source repository at its main, and Server, UiHtml and Installer each landed two more commits afterwards, so dropping the pins as merely obsolete would have silently dropped the work the pull request exists to consume. The two substantive ones are ported here: Server drops its vendored miniaudio.h and builds against the engine's MetasequoiaIme::VoiceCapture, and the installer collects helpcodes from the engine. UiHtml's was an engine gitlink bump, which one submodule resolves on its own.

The engine is pinned to d0dc0c2b rather than to the b7c799ef that pull request named. b7c799ef predates 403b4a4d, which is what this repository pins today and is the commit that added pagination to the settings dictionary contract, so taking the pull request's pin verbatim would have reverted a contract main already depends on and stripped offset, limit and hasMore back out of the generated web bindings. d0dc0c2b is the engine's main and is the same commit the dictionary release declares as its source, so the code and the data now name one commit.

The helpcodes moved into the engine, so MSIME-HelpCode stops being a product input: the gitlink that pins the contracts pins the tables too. product-lock.json is down to the engine and the dictionary release, and the dictionary itself now ships from MSIME-Engine. Its manifest states which commit built the data and whether that tree was clean, and the lock verifies both, so matching digests can no longer stand in for a source nobody can rebuild from. The retired MSIME-Dict repository stays valid for the one tag that shipped from it and nothing else.

The release job that packages now checks out submodules, because the helpcodes it collects live in one.
 2026-09-06 04:13:04 +09:00
Evan Hu 448366d9c6 Merge origin/main into architecture/product-contracts 
Prepare-PackageFiles.ps1 conflicted because both sides changed the block that builds the source paths. The resolution keeps both: the source directory names stay parameters with the historical defaults, and dictionary-manifest.json is addressed through the dictionary parameter like every other path in that block. Both new assertions are kept, for the shared WebView contracts and for the third-party notices.

tests/package-files.ps1 needed two additions, because main added an input this branch's fixture did not know about. The fixture now writes MetasequoiaImeTsf/THIRD_PARTY_NOTICES.txt, without which the new assertion would fail the test that this branch introduced, and the packaged-output check now also looks for it, so the file being dropped from the payload is caught rather than only its absence from the source tree.
 2026-09-06 01:16:43 +09:00
Evan Hu 22e79e3f2a test(packaging): verify full and light packages without installing the IME 2026-09-06 00:49:01 +09:00