diff --git a/.github/COOPER_CONTRIBUTION_STRATEGY.md b/.github/COOPER_CONTRIBUTION_STRATEGY.md new file mode 100644 index 00000000..61604da8 --- /dev/null +++ b/.github/COOPER_CONTRIBUTION_STRATEGY.md @@ -0,0 +1,171 @@ +# Cooper 贡献策略分析 + +## Finding 结果总结(2026-05-04) + +### 1. 项目现状 +- **主维护者 baiqing**:负责 UI、产品设计、核心架构 +- **技术栈**:Tauri 2 + Rust backend + React/TS frontend +- **核心模块**:coordinator (3462行)、ASR (1164行)、polish (992行)、recorder (525行) + +### 2. 技术债务与机会 + +#### 🔴 测试覆盖率极低(最大痛点) +- 项目只有 **1 个 test 类型提交**(vs 42 个 fix 提交) +- 15 个模块有 `#[cfg(test)]`,但测试内容很少 +- `cargo test` 能跑,但覆盖率几乎为 0 +- **机会**:建立测试基础设施,成为测试领域的 owner + +#### 🟡 ASR 扩展性需求(高价值功能) +- **#211 本地 ASR AI 支持**(0 commits,无人认领) + - 需求文档已明确:whisper.cpp / sherpa-onnx 选型 + - 涉及:模型下载、本地推理、流式对接 + - 技术挑战高,但有清晰的规划框架 + +- **#89 混淆词纠错层**(priority: high,0 commits) + - ASR → polish 之间插入纠错层 + - 解决 "issue" 被识别为 "iOS" 的问题 + - 需要规则引擎 + 上下文判断 + +#### 🟢 安全与基础设施(高优先级但无人做) +- **#222 CI secrets 暴露风险**(priority: high) +- **#223 凭据配置状态管理**(priority: high) +- **#230 Keychain 威胁模型** +- **#226 WebView CSP 策略** + +#### 🔵 Windows 平台问题(你的已有优势) +- 7 个 Windows 相关 issues(#244-247, #203-204, #207) +- 但这些都是 UI 问题,baiqing 可能不让碰 + +--- + +## 三条可选路径 + +### 路径 A:测试基础设施建设者(推荐 ⭐⭐⭐⭐⭐) + +**为什么推荐**: +- 项目最大的技术债,无人认领 +- 不涉及 UI,不会和 baiqing 冲突 +- 建立后你就是测试领域的 owner +- 对所有模块都有贡献机会 + +**具体工作**: +1. **Phase 1**:为核心模块补单元测试 + - `recorder.rs`:音频采集、RMS 计算、watchdog + - `asr/frame.rs`:二进制帧编解码(已有 1 个测试,可扩展) + - `persistence.rs`:JSON 序列化、Keychain 读写 + - `types.rs`:状态机转换、错误类型 + +2. **Phase 2**:建立集成测试 + - 录音 → ASR → 润色 → 插入 全链路 mock 测试 + - 凭据管理流程测试 + - 热词注入测试 + +3. **Phase 3**:CI 自动化 + - GitHub Actions 跑测试 + - 覆盖率报告(codecov) + - PR 门禁 + +**预期产出**: +- 测试覆盖率从 ~0% → 60%+ +- 成为项目测试基础设施的 owner +- 提交数可能 +30-50 commits + +--- + +### 路径 B:ASR 功能扩展专家(推荐 ⭐⭐⭐⭐) + +**为什么推荐**: +- #211 本地 ASR 是高价值功能,无人认领 +- #89 混淆词纠错是 priority: high +- ASR 模块相对独立,不涉及 UI +- 技术挑战高,完成后影响力大 + +**具体工作**: +1. **先做 #89 混淆词纠错层**(热身项目) + - 在 `coordinator.rs:616-617` 之前插入纠错层 + - 实现规则引擎:`issue/iOS`, `PR/批阅`, `CI/西爱` 等 + - 支持用户自定义混淆词表 + - 预计 3-5 天完成 + +2. **再做 #211 本地 ASR**(主攻方向) + - 先写 `docs/local-asr-plan.md` 规划文档 + - 选型:whisper.cpp vs sherpa-onnx + - 实现 `asr/local_whisper.rs` 模块 + - 模型下载与管理 + - 预计 2-3 周完成 + +**预期产出**: +- 2 个高价值功能 +- 成为 ASR 模块的 co-owner +- 提交数可能 +20-30 commits + +--- + +### 路径 C:安全与基础设施专家(推荐 ⭐⭐⭐) + +**为什么推荐**: +- 4 个 priority: high 的安全 issues +- 无人认领,但很重要 +- 不涉及 UI 和产品设计 + +**具体工作**: +1. **#222 CI secrets 暴露**:pin PR-Agent action 版本 +2. **#223 凭据配置状态**:修复 `get_credentials` 逻辑 +3. **#230 Keychain 威胁模型**:审查 `persistence.rs` 凭据存储 +4. **#226 WebView CSP**:为 Tauri WebView 添加 CSP 策略 + +**预期产出**: +- 解决 4 个高优先级安全问题 +- 成为安全领域的 owner +- 提交数可能 +10-15 commits + +--- + +## 我的建议 + +### 最优策略:A + B 组合拳 + +**第 1 周**:做 #89 混淆词纠错(快速产出,熟悉 ASR 链路) +**第 2-3 周**:为 ASR 模块补测试(frame.rs, volcengine.rs, whisper.rs) +**第 4-6 周**:做 #211 本地 ASR(大功能,高影响力) +**第 7 周起**:继续补其他模块测试 + 建 CI + +**为什么这样组合**: +1. 混淆词纠错是小功能,快速建立信心 +2. 补 ASR 测试时深入理解模块,为本地 ASR 打基础 +3. 本地 ASR 是大功能,完成后你就是 ASR 领域的专家 +4. 测试基础设施是长期工作,可以持续贡献 + +**避开的雷区**: +- ❌ Windows UI 问题(#244-247):baiqing 的领域 +- ❌ 主窗口 UI(Overview/History/Settings):baiqing 的领域 +- ❌ Capsule 视觉设计:baiqing 的领域 + +**你的领域**: +- ✅ 测试基础设施 +- ✅ ASR 功能扩展 +- ✅ 录音器稳定性(你已在做 #238) +- ✅ 安全与基础设施 +- ✅ 文档与分析报告 + +--- + +## 下一步行动 + +**现在就可以开始**: +```bash +# 1. 先看看 #89 混淆词纠错的代码位置 +gh issue view 89 + +# 2. 读 coordinator.rs:616-617 附近的代码 +# 找到 ASR → polish 的接口 + +# 3. 设计纠错层的接口 +# 输入:RawTranscript +# 输出:CorrectedTranscript +``` + +**要不要我帮你**: +- 生成 #89 的实现方案? +- 或者先帮你规划 #211 本地 ASR 的技术选型? +- 或者先帮你为 `asr/frame.rs` 补测试作为热身? diff --git a/.github/COOPER_README.md b/.github/COOPER_README.md new file mode 100644 index 00000000..f8a5fdd0 --- /dev/null +++ b/.github/COOPER_README.md @@ -0,0 +1,151 @@ +# Cooper 的贡献体系 + +> 在 fork 仓库中建立专业的 finding 和实施流程,成熟后向上游提交。 + +## 📁 文件结构 + +``` +.github/ +├── issues/ +│ ├── EPIC-001-testing-infrastructure.md # 测试基础设施母体 (41 tasks) +│ └── EPIC-002-asr-enhancement.md # ASR 功能扩展母体 (71 tasks) +├── finding-reports/ # Finding 分析报告 +│ ├── test-coverage-20260504.md +│ ├── asr-analysis-20260504.md +│ ├── dependencies-20260504.md +│ └── finding-summary-20260504.md +├── COOPER_WORKFLOW.md # 工作流程文档 +└── COOPER_CONTRIBUTION_STRATEGY.md # 贡献策略分析 + +scripts/ +└── finding-helper.sh # Finding 辅助脚本 +``` + +## 🎯 两大 EPIC + +### EPIC-001: 测试基础设施建设 +- **目标**: 测试覆盖率 0% → 60%+ +- **任务**: 41 个子任务 +- **时间**: 6 周 +- **文件**: `.github/issues/EPIC-001-testing-infrastructure.md` + +### EPIC-002: ASR 功能扩展与优化 +- **目标**: 混淆词纠错 + 本地 ASR 支持 +- **任务**: 71 个子任务 +- **时间**: 6 周 +- **文件**: `.github/issues/EPIC-002-asr-enhancement.md` + +## 🚀 快速开始 + +### 1. 查看 Finding 报告 +```bash +# 运行 finding 脚本(已完成) +bash scripts/finding-helper.sh + +# 查看总结 +cat .github/finding-reports/finding-summary-20260504.md + +# 查看详细报告 +cat .github/finding-reports/test-coverage-20260504.md +cat .github/finding-reports/asr-analysis-20260504.md +``` + +### 2. 阅读工作流程 +```bash +# 查看工作流程文档 +cat .github/COOPER_WORKFLOW.md + +# 查看贡献策略 +cat .github/COOPER_CONTRIBUTION_STRATEGY.md +``` + +### 3. 开始第一个任务 +```bash +# 创建分支 +git checkout -b feat/asr-correction + +# 开始实现混淆词纠错层 +# 参考 EPIC-002 Phase 1 的任务清单 +``` + +## 📊 当前状态 + +**Finding 阶段完成度**: +- ✅ 测试覆盖率分析 +- ✅ ASR 模块分析 +- ✅ 依赖关系分析 +- ✅ 生成 Finding 报告 +- ⏳ 更新 EPIC 文档(下一步) + +**关键指标**: +- 包含测试的文件数: 15 +- 测试函数数: 76 +- 核心模块数: 17 +- ASR 模块代码量: 1164 行 + +## 🎯 下一步行动 + +### 立即开始(本周) +1. ✅ 运行 finding-helper.sh 生成报告 +2. ⏳ 阅读 3 份 finding 报告 +3. ⏳ 更新 EPIC-001 和 EPIC-002 的 Finding 任务状态 +4. ⏳ 开始实现混淆词纠错层(快速产出) + +### 短期计划(Week 2-3) +- 为 recorder.rs 补测试 +- 为 asr/frame.rs 补测试 +- 编写测试规范文档 + +### 中期计划(Week 4-6) +- 完成本地 ASR 技术选型 +- 实现本地 ASR 支持 +- 建立 CI 自动化测试 + +## 🔄 工作流程 + +``` +Finding 阶段 + ↓ +实施阶段(在 fork 中) + ↓ +Review 阶段(自我 review) + ↓ +向上游提交 PR + ↓ +定期同步上游 +``` + +详细流程见 `.github/COOPER_WORKFLOW.md` + +## 📝 Commit 规范 + +```bash +# 格式 +(): + +# 示例 +test(recorder): add unit tests for PCM data collection +feat(asr): add correction layer for homophones +docs(testing): add testing guidelines +``` + +## 🔗 相关资源 + +- **上游仓库**: https://github.com/appergb/openless +- **你的 fork**: https://github.com/Cooper-X-Oak/openless +- **项目文档**: `CLAUDE.md` +- **开发文档**: `docs/openless-development.md` + +## 💡 提示 + +- 所有工作先在 fork 中验证,成熟后再向上游提交 +- 每个 Phase 对应一个 PR +- 定期运行 `finding-helper.sh` 更新分析报告 +- 保持与上游同步(每周一次) + +--- + +**创建时间**: 2026-05-04 +**负责人**: Cooper +**当前阶段**: Finding +**下一个里程碑**: 完成混淆词纠错层(Week 1) diff --git a/.github/COOPER_WORKFLOW.md b/.github/COOPER_WORKFLOW.md new file mode 100644 index 00000000..45e21c22 --- /dev/null +++ b/.github/COOPER_WORKFLOW.md @@ -0,0 +1,256 @@ +# Cooper 的贡献工作流程 + +> **策略**:在自己的 fork 仓库(Cooper-X-Oak/openless)中进行探索和规划,成熟后再向上游(appergb/openless)提交。 + +--- + +## 📋 两大母体 EPIC + +### EPIC-001: 测试基础设施建设 +- **文件**:`.github/issues/EPIC-001-testing-infrastructure.md` +- **目标**:测试覆盖率 0% → 60%+ +- **任务数**:41 个子任务 +- **预计时间**:6 周 + +### EPIC-002: ASR 功能扩展与优化 +- **文件**:`.github/issues/EPIC-002-asr-enhancement.md` +- **目标**:混淆词纠错 + 本地 ASR 支持 +- **任务数**:71 个子任务 +- **预计时间**:6 周 + +--- + +## 🔄 工作流程 + +### 阶段 1: Finding(当前) + +**目标**:深入调研,发现所有相关问题,填充到母体 EPIC 中。 + +#### 测试基础设施 Finding +```bash +# F1.1 审查现有测试 +find openless-all/app/src-tauri/src -name "*.rs" -exec grep -l "#\[cfg(test)\]" {} \; +cargo test --manifest-path openless-all/app/src-tauri/Cargo.toml --lib -- --list + +# F1.2 识别关键测试场景 +# 读取核心模块代码,列出需要测试的函数和场景 + +# F1.3 分析模块依赖 +# 绘制依赖图,确定哪些需要 mock + +# F1.4 调研测试工具 +# 评估 mockall, proptest, criterion 等工具 + +# F1.5 建立测试规范 +# 编写 docs/testing-guidelines.md +``` + +#### ASR 功能扩展 Finding +```bash +# F1.1 收集 ASR 错词样本 +# 从 issues、用户反馈、自己测试中收集 + +# F2.1 对比本地 ASR 技术栈 +# 调研 whisper.cpp, sherpa-onnx, faster-whisper +# 测试性能、延迟、跨平台兼容性 + +# F2.7 编写技术方案 +# docs/local-asr-plan.md +``` + +**产出**: +- 完善的子任务清单 +- 技术方案文档 +- 风险评估 + +--- + +### 阶段 2: 实施 + +**原则**: +- 每个子任务对应一个 commit +- 每个 Phase 对应一个 PR(在 fork 中) +- 重要功能先在 fork 中验证,再向上游提交 + +#### 分支策略 +```bash +# 从 main 创建 feature 分支 +git checkout main +git pull origin main +git checkout -b feat/testing-recorder # 测试相关 +git checkout -b feat/asr-correction # ASR 纠错 +git checkout -b feat/asr-local-whisper # 本地 ASR + +# 在 fork 中创建 PR +gh pr create --repo Cooper-X-Oak/openless --base main + +# 验证通过后,向上游提交 +gh pr create --repo appergb/openless --base main +``` + +#### Commit 规范 +```bash +# 格式:(): +# type: feat, fix, test, docs, refactor, perf, chore +# scope: 模块名(recorder, asr, coordinator, etc.) + +# 示例 +git commit -m "test(recorder): add unit tests for PCM data collection" +git commit -m "feat(asr): add correction layer for homophones" +git commit -m "docs(testing): add testing guidelines" +``` + +--- + +### 阶段 3: Review + +**自我 Review 清单**: +- [ ] 代码符合项目规范(CLAUDE.md) +- [ ] 添加了测试(如果是功能代码) +- [ ] 更新了文档(如果改变了行为) +- [ ] 通过了 `cargo check` 和 `cargo test` +- [ ] 通过了 `npm run build`(如果改了前端) +- [ ] 提交信息清晰 + +**向上游提交前**: +- [ ] 在 fork 中验证至少 1 周 +- [ ] 自己实机测试通过 +- [ ] 写了详细的 PR 描述 +- [ ] 关联了相关 issues + +--- + +### 阶段 4: 同步上游 + +**定期同步**(每周一次): +```bash +# 拉取上游更新 +git checkout main +git pull origin main + +# 推送到 fork +git push fork main + +# rebase feature 分支 +git checkout feat/testing-recorder +git rebase main +``` + +--- + +## 📊 进度追踪 + +### 使用 EPIC 文档追踪 +- 每完成一个子任务,在 EPIC 文档中打勾 `- [x]` +- 更新完成度百分比 +- 记录遇到的问题和解决方案 + +### 使用 GitHub Issues(fork 中) +```bash +# 为每个 Phase 创建 issue +gh issue create --repo Cooper-X-Oak/openless \ + --title "[Phase 1] 核心模块单元测试" \ + --body "参考 EPIC-001-testing-infrastructure.md Phase 1" + +# 关联 commits +git commit -m "test(recorder): add unit tests + +Refs Cooper-X-Oak/openless#1" +``` + +--- + +## 🎯 当前行动计划 + +### Week 1: Finding + 快速产出 +- [ ] **Day 1-2**:完成测试基础设施 Finding(F1.1-F1.5) +- [ ] **Day 3-4**:完成 ASR 功能扩展 Finding(F1.1-F1.5, F2.1-F2.7) +- [ ] **Day 5-7**:实现混淆词纠错层(EPIC-002 Phase 1) + +### Week 2-3: 测试基础建设 +- [ ] 为 recorder.rs 补测试 +- [ ] 为 asr/frame.rs 补测试 +- [ ] 为 persistence.rs 补测试 + +### Week 4-6: 本地 ASR 支持 +- [ ] 完成技术选型和方案设计 +- [ ] 实现模型管理 +- [ ] 实现本地推理 +- [ ] 跨平台测试 + +--- + +## 🔧 工具和脚本 + +### 测试覆盖率检查 +```bash +# 安装 cargo-llvm-cov +cargo install cargo-llvm-cov + +# 运行覆盖率测试 +cargo llvm-cov --manifest-path openless-all/app/src-tauri/Cargo.toml + +# 生成 HTML 报告 +cargo llvm-cov --html --manifest-path openless-all/app/src-tauri/Cargo.toml +``` + +### 代码质量检查 +```bash +# Rust 格式化 +cargo fmt --manifest-path openless-all/app/src-tauri/Cargo.toml --check + +# Rust linting +cargo clippy --manifest-path openless-all/app/src-tauri/Cargo.toml -- -D warnings + +# TypeScript 类型检查 +cd openless-all/app && npm run build +``` + +--- + +## 🚀 快速开始 + +### 1. 确认环境 +```bash +# 确认 git remote +git remote -v +# 应该看到: +# origin https://github.com/appergb/openless.git +# fork https://github.com/Cooper-X-Oak/openless.git + +# 确认当前分支 +git branch + +# 确认构建环境 +cd openless-all/app +npm ci +cargo check --manifest-path src-tauri/Cargo.toml +``` + +### 2. 开始 Finding +```bash +# 创建 finding 分支 +git checkout -b finding/testing-infrastructure + +# 开始调研,记录到 EPIC 文档 +# 编辑 .github/issues/EPIC-001-testing-infrastructure.md +``` + +### 3. 提交 Finding 结果 +```bash +# 提交 EPIC 文档更新 +git add .github/issues/ +git commit -m "docs(epic): complete finding phase for testing infrastructure" +git push fork finding/testing-infrastructure + +# 在 fork 中创建 PR(可选) +gh pr create --repo Cooper-X-Oak/openless \ + --title "[Finding] 测试基础设施调研完成" \ + --body "完成了 EPIC-001 的 Finding 阶段,识别了 41 个子任务" +``` + +--- + +**最后更新**:2026-05-04 +**负责人**:Cooper +**状态**:Finding 阶段 diff --git a/.github/finding-reports/asr-analysis-20260504.md b/.github/finding-reports/asr-analysis-20260504.md new file mode 100644 index 00000000..915f86f9 --- /dev/null +++ b/.github/finding-reports/asr-analysis-20260504.md @@ -0,0 +1,98 @@ +# ASR 模块 Finding 报告 + +## 生成时间 +2026-05-04 22:59:01 + +## 1. ASR 模块结构 + +``` +total 48K +-rw-r--r-- 1 luoxu 197609 7.8K May 4 12:41 frame.rs +-rw-r--r-- 1 luoxu 197609 1.1K May 4 12:41 mod.rs +-rw-r--r-- 1 luoxu 197609 28K May 4 12:41 volcengine.rs +-rw-r--r-- 1 luoxu 197609 4.6K May 4 12:41 whisper.rs +``` + +## 2. ASR 模块代码量 + +``` + 252 openless-all/app/src-tauri/src/asr/frame.rs + 35 openless-all/app/src-tauri/src/asr/mod.rs + 749 openless-all/app/src-tauri/src/asr/volcengine.rs + 128 openless-all/app/src-tauri/src/asr/whisper.rs + 1164 total +``` + +## 3. ASR Provider 接口分析 + +### 当前接口 +- `AudioConsumer` trait: 接收 PCM 数据 +- `RawTranscript` struct: ASR 输出结果 + +### 问题 +- 缺少统一的 ASRProvider trait +- Volcengine 和 Whisper 实现重复代码 +- 扩展新 provider 需要大量手工集成 + +### 改进建议 +定义统一的 `ASRProvider` trait,包含: +- `open_session()`: 打开会话 +- `get_audio_consumer()`: 获取音频消费者 +- `close_session()`: 关闭会话并获取结果 +- `cancel_session()`: 取消会话 + +## 4. 混淆词纠错层设计 + +### 插入位置 +`coordinator.rs:616-617` - ASR 结果进入 polish 之前 + +### 数据结构 +```rust +struct CorrectionRule { + pattern: String, // 错误模式(支持正则) + replacement: String, // 正确词汇 + context: Option>, // 上下文关键词 + enabled: bool, +} +``` + +### 内置混淆词表(初版) +- issue / iOS +- PR / 批阅 +- CI / 西爱 +- commit / 靠米特 +- merge / 摸鸡 +- release / 瑞丽丝 + +## 5. 本地 ASR 技术选型 + +### 候选方案 + +| 项目 | 形态 | 平台 | 加速 | License | 备注 | +|---|---|---|---|---|---| +| whisper.cpp | C/C++ | 全平台 | Metal/CoreML/CUDA | MIT | 主流候选 | +| whisper-rs | Rust binding | 全平台 | 同上 | MIT/Apache-2.0 | Rust 集成更顺 | +| sherpa-onnx | C++ + ONNX | 全平台 | CoreML/CUDA | Apache-2.0 | 多模型支持 | + +### 推荐方案 +**whisper-rs** - Rust 原生集成,跨平台支持好 + +### 集成方式 +1. Rust crate 直接绑定(推荐) +2. 子进程 + HTTP(备选) + +## 6. 下一步行动 + +### Phase 1: 混淆词纠错(Week 1) +1. 收集 50+ 真实错词样本 +2. 实现 `asr/correction.rs` 模块 +3. 集成到 coordinator +4. 编写测试 + +### Phase 2: 本地 ASR(Week 2-4) +1. 完成技术选型文档 `docs/local-asr-plan.md` +2. 测试 whisper-rs 性能 +3. 实现模型下载管理 +4. 实现本地推理 +5. 跨平台测试 + diff --git a/.github/finding-reports/dependencies-20260504.md b/.github/finding-reports/dependencies-20260504.md new file mode 100644 index 00000000..c5af0a59 --- /dev/null +++ b/.github/finding-reports/dependencies-20260504.md @@ -0,0 +1,96 @@ +# 模块依赖关系 Finding 报告 + +## 生成时间 +2026-05-04 22:59:01 + +## 1. Cargo 依赖 + +```toml +[dependencies] +tauri = { version = "2", features = ["macos-private-api", "tray-icon"] } +tauri-plugin-shell = "2" +tauri-plugin-updater = "2" +tauri-plugin-single-instance = "2" +tauri-plugin-autostart = "2" +serde = { version = "1", features = ["derive"] } +serde_json = "1" +tokio = { version = "1", features = ["full"] } +tokio-tungstenite = { version = "0.24", features = ["rustls-tls-native-roots"] } +futures-util = "0.3" +reqwest = { version = "0.12", default-features = false, features = ["json", "multipart", "rustls-tls"] } +thiserror = "1" +anyhow = "1" +log = "0.4" +env_logger = "0.11" +simplelog = "0.12" +parking_lot = "0.12" +once_cell = "1" +uuid = { version = "1", features = ["v4", "serde"] } +chrono = { version = "0.4", features = ["serde"] } +bytes = "1" +url = "2" +raw-window-handle = "0.6" + +# Hotkey + audio + insertion +global-hotkey = "0.6" +cpal = "0.15" +enigo = "0.2" +arboard = "3" +rdev = "0.5" + +[target.'cfg(target_os = "macos")'.dependencies] +block2 = "0.5" +core-foundation = "0.10" +core-graphics = "0.24" +objc2 = "0.5" +objc2-foundation = "0.2" +objc2-app-kit = "0.2" + +[target.'cfg(target_os = "windows")'.dependencies] +raw-window-handle = "0.6" +windows = { version = "0.58", features = [ + "Win32_Foundation", + "Win32_Globalization", + "Win32_Graphics_Dwm", + "Win32_Graphics_Gdi", + "Win32_System_Com", + "Win32_System_Ole", + "Win32_System_Registry", + "Win32_System_Threading", +``` + +## 2. 模块间依赖(通过 use 语句分析) + +### coordinator.rs 依赖 +``` +use crate::asr::{ +use crate::hotkey::{HotkeyEvent, HotkeyMonitor}; +use crate::insertion::TextInserter; +use crate::persistence::{ +use crate::polish::{OpenAICompatibleConfig, OpenAICompatibleLLMProvider}; +use crate::qa_hotkey::{QaHotkeyError, QaHotkeyEvent, QaHotkeyMonitor}; +use crate::recorder::{Recorder, RecorderError}; +use crate::selection::{capture_selection, SelectionContext}; +use crate::types::{ +use crate::windows_ime_ipc::ImeSubmitTarget; +use crate::windows_ime_session::{PreparedWindowsImeSession, WindowsImeSessionController}; +``` + +### recorder.rs 依赖 +``` +``` + +## 3. Mock 策略建议 + +### 需要 Mock 的外部依赖 +- **Volcengine ASR WebSocket**: 使用 mock WebSocket server +- **OpenAI Polish API**: 使用 mock HTTP server +- **Keychain**: 使用 trait abstraction + mock 实现 +- **Clipboard**: 使用 trait abstraction + mock 实现 +- **Audio Device**: 使用 mock audio stream + +### 推荐工具 +- `mockall`: 自动生成 mock +- `wiremock`: HTTP mock server +- `tokio-test`: 异步测试工具 + diff --git a/.github/finding-reports/finding-summary-20260504.md b/.github/finding-reports/finding-summary-20260504.md new file mode 100644 index 00000000..4dc18f3e --- /dev/null +++ b/.github/finding-reports/finding-summary-20260504.md @@ -0,0 +1,37 @@ +# Finding 总结报告 + +**生成时间**: 2026-05-04 22:59:02 + +## 📊 关键指标 + +- **包含测试的文件数**: 15 +- **测试函数数**: 76 +- **核心模块数**: 17 +- **ASR 模块代码量**: 1164 行 + +## 📋 生成的报告 + +1. **测试覆盖率报告**: .github/finding-reports/test-coverage-20260504.md +2. **ASR 模块分析**: .github/finding-reports/asr-analysis-20260504.md +3. **依赖关系分析**: .github/finding-reports/dependencies-20260504.md + +## 🎯 下一步行动 + +### 立即开始(Week 1) +1. 阅读生成的 3 份报告 +2. 更新 EPIC-001 和 EPIC-002 的 Finding 任务状态 +3. 开始实现混淆词纠错层(快速产出) + +### 短期计划(Week 2-3) +1. 为 recorder.rs 补测试 +2. 为 asr/frame.rs 补测试 +3. 编写测试规范文档 + +### 中期计划(Week 4-6) +1. 完成本地 ASR 技术选型 +2. 实现本地 ASR 支持 +3. 建立 CI 自动化测试 + +## 📝 备注 + +所有报告已保存到 `.github/finding-reports/` 目录。 diff --git a/.github/finding-reports/test-coverage-20260504.md b/.github/finding-reports/test-coverage-20260504.md new file mode 100644 index 00000000..697a5969 --- /dev/null +++ b/.github/finding-reports/test-coverage-20260504.md @@ -0,0 +1,97 @@ +# 测试覆盖率 Finding 报告 + +## 生成时间 +2026-05-04 22:59:00 + +## 1. 现有测试文件统计 + +### Rust 测试模块 +``` +asr/frame.rs +asr/volcengine.rs +commands.rs +coordinator.rs +insertion.rs +lib.rs +persistence.rs +polish.rs +qa_hotkey.rs +selection.rs +types.rs +windows_ime_ipc.rs +windows_ime_profile.rs +windows_ime_protocol.rs +windows_ime_session.rs +``` + +### 测试数量统计 +``` +包含测试的文件数: 15 +测试模块数: 15 +测试函数数: 76 +``` + +## 2. 核心模块代码量 + +``` + 13256 total + 3462 openless-all/app/src-tauri/src/coordinator.rs + 992 openless-all/app/src-tauri/src/polish.rs + 844 openless-all/app/src-tauri/src/lib.rs + 785 openless-all/app/src-tauri/src/hotkey.rs + 770 openless-all/app/src-tauri/src/persistence.rs + 749 openless-all/app/src-tauri/src/asr/volcengine.rs + 730 openless-all/app/src-tauri/src/windows_ime_profile.rs + 712 openless-all/app/src-tauri/src/commands.rs + 590 openless-all/app/src-tauri/src/selection.rs + 530 openless-all/app/src-tauri/src/types.rs + 525 openless-all/app/src-tauri/src/recorder.rs + 489 openless-all/app/src-tauri/src/insertion.rs + 430 openless-all/app/src-tauri/src/windows_ime_ipc.rs + 428 openless-all/app/src-tauri/src/permissions.rs + 373 openless-all/app/src-tauri/src/qa_hotkey.rs + 253 openless-all/app/src-tauri/src/windows_ime_session.rs + 252 openless-all/app/src-tauri/src/asr/frame.rs + 173 openless-all/app/src-tauri/src/windows_ime_protocol.rs + 128 openless-all/app/src-tauri/src/asr/whisper.rs +``` + +## 3. 需要补测试的优先级模块 + +### 高优先级(核心功能) +- [ ] recorder.rs - 音频采集、watchdog +- [ ] coordinator.rs - 状态机、会话管理 +- [ ] asr/volcengine.rs - WebSocket ASR +- [ ] asr/frame.rs - 二进制帧编解码 + +### 中优先级(工具模块) +- [ ] persistence.rs - 数据持久化 +- [ ] types.rs - 类型定义、状态转换 +- [ ] insertion.rs - 文本插入 +- [ ] polish.rs - 文本润色 + +### 低优先级(平台特定) +- [ ] hotkey.rs - 热键监听 +- [ ] permissions.rs - 权限检查 +- [ ] windows_ime_*.rs - Windows IME + +## 4. 测试工具调研 + +### 推荐工具 +- **mockall**: Mock 框架,用于 mock 外部依赖 +- **proptest**: 属性测试,生成随机测试数据 +- **criterion**: 性能基准测试 +- **cargo-llvm-cov**: 代码覆盖率工具 + +### 安装命令 +```bash +cargo install cargo-llvm-cov +``` + +## 5. 下一步行动 + +1. 为 recorder.rs 编写单元测试(T1.1-T1.6) +2. 为 asr/frame.rs 扩展测试(T1.7-T1.10) +3. 建立测试编写规范文档 +4. 配置 CI 自动化测试 + diff --git a/.github/issues/EPIC-001-testing-infrastructure.md b/.github/issues/EPIC-001-testing-infrastructure.md new file mode 100644 index 00000000..e068049f --- /dev/null +++ b/.github/issues/EPIC-001-testing-infrastructure.md @@ -0,0 +1,168 @@ +# [EPIC] 测试基础设施建设 + +## 🎯 目标 + +建立完整的测试基础设施,将项目测试覆盖率从 ~0% 提升到 60%+,确保核心功能的稳定性和可维护性。 + +## 📊 现状分析 + +### 当前状态 +- ✅ 项目有 15 个模块包含 `#[cfg(test)]` +- ✅ `cargo test` 可以运行 +- ❌ 测试覆盖率接近 0% +- ❌ 只有 1 个 test 类型提交 vs 42 个 fix 提交 +- ❌ 无 CI 自动化测试 +- ❌ 无覆盖率报告 + +### 风险 +- 重构时容易引入回归 bug +- 修复一个 bug 可能破坏另一个功能 +- 新贡献者不敢大胆改代码 +- 缺乏质量门禁 + +## 🗺️ 总体规划 + +### Phase 1: 核心模块单元测试(Week 1-3) +为最关键的模块补充单元测试,建立测试编写规范。 + +**优先级排序**: +1. **recorder.rs** (525 行) - 音频采集、watchdog、RMS 计算 +2. **asr/frame.rs** (252 行) - 二进制帧编解码(已有 1 个测试) +3. **persistence.rs** (770 行) - JSON 序列化、Keychain 读写 +4. **types.rs** (530 行) - 状态机转换、错误类型 +5. **insertion.rs** (489 行) - 文本插入逻辑 + +### Phase 2: 集成测试(Week 4-5) +测试模块间协作和完整流程。 + +**测试场景**: +- 录音 → ASR → 润色 → 插入 全链路(mock 外部服务) +- 凭据管理流程(Keychain + JSON fallback) +- 热词注入与 ASR 偏置 +- 错误恢复与降级 + +### Phase 3: CI 自动化(Week 6) +建立持续集成流程,自动化测试和质量门禁。 + +**交付物**: +- GitHub Actions workflow +- 覆盖率报告(codecov / llvm-cov) +- PR 门禁(测试必须通过) +- 测试结果徽章 + +## 📋 子任务清单 + +### 🔍 Finding 阶段(进行中) + +- [ ] **F1.1** 审查所有现有测试,评估质量和覆盖范围 +- [ ] **F1.2** 识别核心模块的关键测试场景 +- [ ] **F1.3** 分析模块依赖关系,确定 mock 策略 +- [ ] **F1.4** 调研 Rust 测试最佳实践(criterion、proptest、mockall) +- [ ] **F1.5** 建立测试编写规范文档 + +### 🧪 Phase 1: 单元测试 + +#### recorder.rs +- [ ] **T1.1** 测试音频设备枚举和选择 +- [ ] **T1.2** 测试 PCM 数据采集和格式转换 +- [ ] **T1.3** 测试 RMS 计算准确性 +- [ ] **T1.4** 测试 watchdog 超时检测 +- [ ] **T1.5** 测试录音启动/停止状态转换 +- [ ] **T1.6** 测试错误处理(设备不可用、权限拒绝) + +#### asr/frame.rs +- [ ] **T1.7** 扩展现有测试覆盖所有帧类型 +- [ ] **T1.8** 测试帧序列化/反序列化 +- [ ] **T1.9** 测试边界条件(空帧、超大帧) +- [ ] **T1.10** 测试错误帧处理 + +#### persistence.rs +- [ ] **T1.11** 测试 history.json 读写和容量限制(200 条) +- [ ] **T1.12** 测试 preferences.json 序列化 +- [ ] **T1.13** 测试 dictionary.json 读写(注意:不能改名为 vocab.json) +- [ ] **T1.14** 测试 Keychain 凭据存储和读取 +- [ ] **T1.15** 测试 credentials.json fallback 逻辑 +- [ ] **T1.16** 测试跨平台路径处理(macOS/Windows/Linux) + +#### types.rs +- [ ] **T1.17** 测试状态机转换(Idle → Starting → Listening → Processing) +- [ ] **T1.18** 测试错误类型序列化 +- [ ] **T1.19** 测试 DictationSession 生命周期 +- [ ] **T1.20** 测试 PolishMode 枚举 + +#### insertion.rs +- [ ] **T1.21** 测试 AX focused-element 写入逻辑 +- [ ] **T1.22** 测试 clipboard + Cmd+V fallback +- [ ] **T1.23** 测试 copy-only fallback +- [ ] **T1.24** 测试跨平台修饰键映射(Cmd/Ctrl) + +### 🔗 Phase 2: 集成测试 + +- [ ] **T2.1** 全链路 mock 测试(recorder → ASR → polish → insertion) +- [ ] **T2.2** 凭据管理流程测试 +- [ ] **T2.3** 热词注入测试 +- [ ] **T2.4** 错误恢复测试(ASR 失败、polish 失败、insertion 失败) +- [ ] **T2.5** 并发场景测试(快速连续触发) + +### 🤖 Phase 3: CI 自动化 + +- [ ] **T3.1** 创建 `.github/workflows/test.yml` +- [ ] **T3.2** 配置 macOS / Windows / Linux 测试矩阵 +- [ ] **T3.3** 集成覆盖率工具(cargo-llvm-cov) +- [ ] **T3.4** 上传覆盖率到 codecov.io +- [ ] **T3.5** 添加 PR 门禁规则 +- [ ] **T3.6** 添加 README 徽章 + +## 📐 测试编写规范 + +### 命名约定 +```rust +#[cfg(test)] +mod tests { + use super::*; + + #[test] + fn test___() { + // Arrange + // Act + // Assert + } +} +``` + +### Mock 策略 +- 外部服务(Volcengine ASR、OpenAI polish):使用 `mockall` 或手写 mock +- 系统调用(Keychain、clipboard):使用 trait abstraction +- 时间相关:使用可注入的时钟 + +### 覆盖率目标 +- **核心模块**(coordinator, recorder, ASR):80%+ +- **工具模块**(persistence, types):70%+ +- **平台特定代码**(hotkey, insertion):60%+ +- **整体项目**:60%+ + +## 📈 成功指标 + +- [ ] 测试覆盖率达到 60%+ +- [ ] CI 自动化测试运行时间 < 5 分钟 +- [ ] 所有 PR 必须通过测试 +- [ ] 测试文档完善,新贡献者可以轻松添加测试 +- [ ] 至少 1 次通过测试发现的回归 bug + +## 🔗 相关资源 + +- [Rust 测试最佳实践](https://doc.rust-lang.org/book/ch11-00-testing.html) +- [cargo-llvm-cov](https://github.com/taiki-e/cargo-llvm-cov) +- [mockall](https://docs.rs/mockall/latest/mockall/) +- [proptest](https://docs.rs/proptest/latest/proptest/) + +## 📝 进度追踪 + +**创建时间**:2026-05-04 +**负责人**:Cooper +**当前阶段**:Finding +**完成度**:0% (0/41 tasks) + +--- + +**下一步行动**:开始 Finding 阶段,审查现有测试并建立测试规范。 diff --git a/.github/issues/EPIC-002-asr-enhancement.md b/.github/issues/EPIC-002-asr-enhancement.md new file mode 100644 index 00000000..c10b75df --- /dev/null +++ b/.github/issues/EPIC-002-asr-enhancement.md @@ -0,0 +1,267 @@ +# [EPIC] ASR 功能扩展与优化 + +## 🎯 目标 + +扩展 ASR 模块功能,提升语音识别准确性和用户体验,支持本地 ASR 和混淆词纠错。 + +## 📊 现状分析 + +### 当前架构 +``` +Recorder (16kHz mono Int16 PCM) + ↓ +AudioConsumer trait + ↓ +ASR Provider (Volcengine WebSocket / Whisper HTTP) + ↓ +RawTranscript + ↓ +Polish (OpenAI-compatible) + ↓ +Insertion +``` + +### 现有 ASR Providers +- **Volcengine Streaming ASR** (`asr/volcengine.rs`, 749 行) + - WebSocket 流式识别 + - 支持热词偏置 + - 需要云端凭据 + +- **Whisper Batch ASR** (`asr/whisper.rs`, 128 行) + - HTTP 批量识别 + - OpenAI 兼容接口 + - 需要 API key + +### 痛点 +1. **依赖云端服务**:离线场景、隐私敏感场景无法使用 +2. **混淆词问题**:同音词、近音词识别错误(issue → iOS, PR → 批阅) +3. **无本地 fallback**:网络故障时完全不可用 +4. **扩展性受限**:添加新 provider 需要大量重复代码 + +## 🗺️ 总体规划 + +### Phase 1: 混淆词纠错层(Week 1,快速产出) +在 ASR → Polish 之间插入纠错层,解决高频混淆词问题。 + +**优先级**:🔴 High(对应 #89) + +### Phase 2: 本地 ASR 支持(Week 2-4,核心功能) +集成 whisper.cpp 或 sherpa-onnx,支持完全离线识别。 + +**优先级**:🟡 Medium(对应 #211) + +### Phase 3: ASR Provider 架构优化(Week 5-6,长期改进) +重构 ASR 模块,提升扩展性和可维护性。 + +**优先级**:🟢 Low + +## 📋 子任务清单 + +### 🔍 Finding 阶段(进行中) + +#### F1: 混淆词纠错层调研 +- [ ] **F1.1** 收集真实 ASR 错词样本(至少 50 个) +- [ ] **F1.2** 分析错词模式(同音、近音、跨语言、缩写) +- [ ] **F1.3** 调研现有纠错方案(规则引擎、LLM、混合) +- [ ] **F1.4** 设计纠错层接口和数据结构 +- [ ] **F1.5** 确定上下文判断策略(避免误纠) + +#### F2: 本地 ASR 技术选型 +- [ ] **F2.1** 对比 whisper.cpp vs sherpa-onnx vs faster-whisper +- [ ] **F2.2** 评估集成方式(Rust crate / 子进程 / HTTP) +- [ ] **F2.3** 测试首字延迟和流式支持 +- [ ] **F2.4** 评估跨平台兼容性(macOS/Windows/Linux) +- [ ] **F2.5** 确认 License 合规性(代码 + 模型权重) +- [ ] **F2.6** 设计模型下载与管理方案 +- [ ] **F2.7** 编写 `docs/local-asr-plan.md` 技术方案 + +#### F3: ASR 架构分析 +- [ ] **F3.1** 绘制当前 ASR 模块依赖图 +- [ ] **F3.2** 识别重复代码和抽象机会 +- [ ] **F3.3** 分析 AudioConsumer trait 的局限性 +- [ ] **F3.4** 设计统一的 ASR Provider trait + +### 🛠️ Phase 1: 混淆词纠错层 + +#### 设计与实现 +- [ ] **T1.1** 创建 `asr/correction.rs` 模块 +- [ ] **T1.2** 定义 `CorrectionRule` 数据结构 + ```rust + struct CorrectionRule { + pattern: String, // 错误模式(支持正则) + replacement: String, // 正确词汇 + context: Option>, // 上下文关键词 + enabled: bool, + } + ``` +- [ ] **T1.3** 实现规则引擎 `CorrectionEngine` +- [ ] **T1.4** 内置高频混淆词表 + - issue / iOS + - PR / 批阅 + - CI / 西爱 + - commit / 靠米特 + - merge / 摸鸡 + - release / 瑞丽丝 + - workflow / 我可否楼 + - repository / 瑞泼贼特瑞 +- [ ] **T1.5** 支持用户自定义混淆词表(存储在 `dictionary.json`) +- [ ] **T1.6** 在 `coordinator.rs:616-617` 集成纠错层 +- [ ] **T1.7** 添加纠错日志(记录纠正前后对比) + +#### 测试 +- [ ] **T1.8** 单元测试:规则匹配逻辑 +- [ ] **T1.9** 单元测试:上下文判断 +- [ ] **T1.10** 集成测试:ASR → 纠错 → Polish 全链路 +- [ ] **T1.11** 回归测试:覆盖 #89 中的所有案例 + +#### 文档 +- [ ] **T1.12** 编写 `docs/asr-correction.md` 使用文档 +- [ ] **T1.13** 更新 CLAUDE.md 说明纠错层位置 + +### 🚀 Phase 2: 本地 ASR 支持 + +#### 技术方案(先完成 Finding F2) +- [ ] **T2.1** 完成 `docs/local-asr-plan.md` 并 review +- [ ] **T2.2** 选定技术栈(whisper.cpp / sherpa-onnx) +- [ ] **T2.3** 选定集成方式(Rust crate / 子进程 / HTTP) +- [ ] **T2.4** 选定默认模型(tiny / base / small) + +#### 模型管理 +- [ ] **T2.5** 设计模型存储路径 + - macOS: `~/Library/Application Support/OpenLess/models/` + - Windows: `%APPDATA%\OpenLess\models\` + - Linux: `$XDG_DATA_HOME/OpenLess/models/` +- [ ] **T2.6** 实现模型下载器(支持断点续传) +- [ ] **T2.7** 实现模型校验(sha256) +- [ ] **T2.8** 实现模型版本管理 +- [ ] **T2.9** 添加模型下载进度 UI(前端) + +#### 核心实现 +- [ ] **T2.10** 创建 `asr/local_whisper.rs` 或 `asr/local_sherpa.rs` +- [ ] **T2.11** 实现 `AudioConsumer` trait +- [ ] **T2.12** 实现流式识别(如果支持)或批量识别 +- [ ] **T2.13** 实现热词支持(如果底层支持) +- [ ] **T2.14** 实现错误处理和降级策略 + - 模型缺失 → 提示用户下载 + - 推理失败 → 返回空结果(不丢用户的话) +- [ ] **T2.15** 在 `coordinator.rs` 集成本地 ASR provider +- [ ] **T2.16** 添加 ASR provider 切换逻辑(Settings UI) + +#### 性能优化 +- [ ] **T2.17** 测试首字延迟(目标 < 500ms) +- [ ] **T2.18** 测试内存占用(目标 < 500MB) +- [ ] **T2.19** 测试 CPU 占用(目标 < 50%) +- [ ] **T2.20** 添加硬件加速支持 + - macOS: Metal / CoreML + - Windows: CUDA / DirectML + - Linux: CUDA + +#### 测试 +- [ ] **T2.21** 单元测试:模型下载和校验 +- [ ] **T2.22** 单元测试:本地推理 +- [ ] **T2.23** 集成测试:录音 → 本地 ASR → 插入 +- [ ] **T2.24** 性能测试:延迟、内存、CPU +- [ ] **T2.25** 跨平台测试(macOS/Windows/Linux) + +#### 文档 +- [ ] **T2.26** 更新 `docs/openless-development.md` 说明本地 ASR +- [ ] **T2.27** 编写用户文档:如何启用本地 ASR +- [ ] **T2.28** 编写开发者文档:如何添加新的本地 ASR provider +- [ ] **T2.29** 更新 CLAUDE.md 说明本地 ASR 架构 + +### 🏗️ Phase 3: ASR 架构优化 + +#### 重构目标 +- [ ] **T3.1** 定义统一的 `ASRProvider` trait + ```rust + #[async_trait] + pub trait ASRProvider: Send + Sync { + async fn open_session(&self, hotwords: Vec) -> Result<()>; + fn get_audio_consumer(&self) -> Arc; + async fn close_session(&self) -> Result; + async fn cancel_session(&self); + } + ``` +- [ ] **T3.2** 重构 Volcengine ASR 实现 `ASRProvider` +- [ ] **T3.3** 重构 Whisper ASR 实现 `ASRProvider` +- [ ] **T3.4** 重构本地 ASR 实现 `ASRProvider` +- [ ] **T3.5** 在 `coordinator.rs` 使用统一接口 +- [ ] **T3.6** 添加 ASR provider 注册机制(便于扩展) + +#### 可观测性 +- [ ] **T3.7** 添加 ASR 性能指标(延迟、准确率) +- [ ] **T3.8** 添加 ASR 错误日志和分类 +- [ ] **T3.9** 添加 ASR 使用统计(各 provider 使用次数) + +#### 文档 +- [ ] **T3.10** 编写 `docs/asr-architecture.md` 架构文档 +- [ ] **T3.11** 编写 `docs/add-asr-provider.md` 扩展指南 + +## 📐 技术约束 + +### 性能要求 +- **首字延迟**:< 500ms(用户感知流畅) +- **内存占用**:< 500MB(不影响其他应用) +- **CPU 占用**:< 50%(避免风扇狂转) + +### 兼容性要求 +- **平台**:macOS 12+, Windows 10+, Linux(主流发行版) +- **架构**:x86_64, aarch64(Apple Silicon) +- **离线可用**:本地 ASR 必须完全离线工作 + +### 安全要求 +- **隐私**:本地 ASR 不得上传音频数据 +- **凭据**:云端 ASR 凭据存储在 Keychain +- **License**:所有依赖必须 License 合规 + +## 📈 成功指标 + +### Phase 1: 混淆词纠错 +- [ ] 纠错规则覆盖 20+ 高频混淆词 +- [ ] 纠错准确率 > 95%(不误纠) +- [ ] 用户可自定义混淆词表 +- [ ] 解决 #89 中的所有案例 + +### Phase 2: 本地 ASR +- [ ] 支持至少 1 种本地 ASR 引擎 +- [ ] 首字延迟 < 500ms +- [ ] 识别准确率 > 90%(与云端 ASR 对比) +- [ ] 模型下载成功率 > 99% +- [ ] 跨平台一致性(macOS/Windows/Linux) + +### Phase 3: 架构优化 +- [ ] 统一 ASR Provider 接口 +- [ ] 添加新 provider 只需实现 1 个 trait +- [ ] ASR 模块代码减少 20%+(消除重复) +- [ ] 完善的架构文档 + +## 🔗 相关 Issues + +- #89 [asr] 增加 LLM 前置混淆词纠错层(priority: high) +- #211 feat(ASR): 增加对本地 ASR AI 的支持 +- #223 fix(providers): get_credentials 按 active ASR provider 返回配置状态(priority: high) + +## 🔗 相关资源 + +### 本地 ASR 引擎 +- [whisper.cpp](https://github.com/ggerganov/whisper.cpp) - C++ Whisper 实现 +- [whisper-rs](https://github.com/tazz4843/whisper-rs) - Rust binding +- [sherpa-onnx](https://github.com/k2-fsa/sherpa-onnx) - ONNX 多模型支持 +- [faster-whisper](https://github.com/SYSTRAN/faster-whisper) - CTranslate2 加速 + +### 混淆词纠错 +- [SymSpell](https://github.com/wolfgarbe/SymSpell) - 拼写纠错算法 +- [Homophone Disambiguation](https://en.wikipedia.org/wiki/Homophone) - 同音词消歧 + +## 📝 进度追踪 + +**创建时间**:2026-05-04 +**负责人**:Cooper +**当前阶段**:Finding +**完成度**:0% (0/71 tasks) + +--- + +**下一步行动**: +1. 开始 F1.1:收集真实 ASR 错词样本 +2. 开始 F2.1:对比本地 ASR 技术栈 diff --git a/scripts/finding-helper.sh b/scripts/finding-helper.sh new file mode 100644 index 00000000..be9196a7 --- /dev/null +++ b/scripts/finding-helper.sh @@ -0,0 +1,344 @@ +#!/bin/bash +# Finding 辅助脚本 - 自动收集项目信息用于 EPIC 规划 + +set -e + +TAURI_DIR="openless-all/app/src-tauri" +OUTPUT_DIR=".github/finding-reports" + +mkdir -p "$OUTPUT_DIR" + +echo "🔍 开始 Finding 分析..." +echo "" + +# ============================================ +# 1. 测试覆盖率分析 +# ============================================ +echo "📊 分析测试覆盖率..." + +REPORT_FILE="$OUTPUT_DIR/test-coverage-$(date +%Y%m%d).md" + +cat > "$REPORT_FILE" << 'EOF' +# 测试覆盖率 Finding 报告 + +## 生成时间 +EOF + +echo "$(date '+%Y-%m-%d %H:%M:%S')" >> "$REPORT_FILE" + +cat >> "$REPORT_FILE" << 'EOF' + +## 1. 现有测试文件统计 + +### Rust 测试模块 +EOF + +echo '```' >> "$REPORT_FILE" +find "$TAURI_DIR/src" -name "*.rs" -exec grep -l "#\[cfg(test)\]" {} \; | \ + sed "s|$TAURI_DIR/src/||" >> "$REPORT_FILE" +echo '```' >> "$REPORT_FILE" + +cat >> "$REPORT_FILE" << 'EOF' + +### 测试数量统计 +EOF + +echo '```' >> "$REPORT_FILE" +echo "包含测试的文件数: $(find "$TAURI_DIR/src" -name "*.rs" -exec grep -l "#\[cfg(test)\]" {} \; | wc -l)" >> "$REPORT_FILE" +echo "测试模块数: $(grep -r "#\[cfg(test)\]" "$TAURI_DIR/src" | wc -l)" >> "$REPORT_FILE" +echo "测试函数数: $(grep -r "#\[test\]" "$TAURI_DIR/src" | wc -l)" >> "$REPORT_FILE" +echo '```' >> "$REPORT_FILE" + +cat >> "$REPORT_FILE" << 'EOF' + +## 2. 核心模块代码量 + +EOF + +echo '```' >> "$REPORT_FILE" +find "$TAURI_DIR/src" -name "*.rs" -exec wc -l {} + | sort -rn | head -20 >> "$REPORT_FILE" +echo '```' >> "$REPORT_FILE" + +cat >> "$REPORT_FILE" << 'EOF' + +## 3. 需要补测试的优先级模块 + +### 高优先级(核心功能) +- [ ] recorder.rs - 音频采集、watchdog +- [ ] coordinator.rs - 状态机、会话管理 +- [ ] asr/volcengine.rs - WebSocket ASR +- [ ] asr/frame.rs - 二进制帧编解码 + +### 中优先级(工具模块) +- [ ] persistence.rs - 数据持久化 +- [ ] types.rs - 类型定义、状态转换 +- [ ] insertion.rs - 文本插入 +- [ ] polish.rs - 文本润色 + +### 低优先级(平台特定) +- [ ] hotkey.rs - 热键监听 +- [ ] permissions.rs - 权限检查 +- [ ] windows_ime_*.rs - Windows IME + +## 4. 测试工具调研 + +### 推荐工具 +- **mockall**: Mock 框架,用于 mock 外部依赖 +- **proptest**: 属性测试,生成随机测试数据 +- **criterion**: 性能基准测试 +- **cargo-llvm-cov**: 代码覆盖率工具 + +### 安装命令 +```bash +cargo install cargo-llvm-cov +``` + +## 5. 下一步行动 + +1. 为 recorder.rs 编写单元测试(T1.1-T1.6) +2. 为 asr/frame.rs 扩展测试(T1.7-T1.10) +3. 建立测试编写规范文档 +4. 配置 CI 自动化测试 + +EOF + +echo "✅ 测试覆盖率报告已生成: $REPORT_FILE" +echo "" + +# ============================================ +# 2. ASR 模块分析 +# ============================================ +echo "🎤 分析 ASR 模块..." + +ASR_REPORT="$OUTPUT_DIR/asr-analysis-$(date +%Y%m%d).md" + +cat > "$ASR_REPORT" << 'EOF' +# ASR 模块 Finding 报告 + +## 生成时间 +EOF + +echo "$(date '+%Y-%m-%d %H:%M:%S')" >> "$ASR_REPORT" + +cat >> "$ASR_REPORT" << 'EOF' + +## 1. ASR 模块结构 + +EOF + +echo '```' >> "$ASR_REPORT" +ls -lh "$TAURI_DIR/src/asr/" >> "$ASR_REPORT" +echo '```' >> "$ASR_REPORT" + +cat >> "$ASR_REPORT" << 'EOF' + +## 2. ASR 模块代码量 + +EOF + +echo '```' >> "$ASR_REPORT" +wc -l "$TAURI_DIR/src/asr"/*.rs >> "$ASR_REPORT" +echo '```' >> "$ASR_REPORT" + +cat >> "$ASR_REPORT" << 'EOF' + +## 3. ASR Provider 接口分析 + +### 当前接口 +- `AudioConsumer` trait: 接收 PCM 数据 +- `RawTranscript` struct: ASR 输出结果 + +### 问题 +- 缺少统一的 ASRProvider trait +- Volcengine 和 Whisper 实现重复代码 +- 扩展新 provider 需要大量手工集成 + +### 改进建议 +定义统一的 `ASRProvider` trait,包含: +- `open_session()`: 打开会话 +- `get_audio_consumer()`: 获取音频消费者 +- `close_session()`: 关闭会话并获取结果 +- `cancel_session()`: 取消会话 + +## 4. 混淆词纠错层设计 + +### 插入位置 +`coordinator.rs:616-617` - ASR 结果进入 polish 之前 + +### 数据结构 +```rust +struct CorrectionRule { + pattern: String, // 错误模式(支持正则) + replacement: String, // 正确词汇 + context: Option>, // 上下文关键词 + enabled: bool, +} +``` + +### 内置混淆词表(初版) +- issue / iOS +- PR / 批阅 +- CI / 西爱 +- commit / 靠米特 +- merge / 摸鸡 +- release / 瑞丽丝 + +## 5. 本地 ASR 技术选型 + +### 候选方案 + +| 项目 | 形态 | 平台 | 加速 | License | 备注 | +|---|---|---|---|---|---| +| whisper.cpp | C/C++ | 全平台 | Metal/CoreML/CUDA | MIT | 主流候选 | +| whisper-rs | Rust binding | 全平台 | 同上 | MIT/Apache-2.0 | Rust 集成更顺 | +| sherpa-onnx | C++ + ONNX | 全平台 | CoreML/CUDA | Apache-2.0 | 多模型支持 | + +### 推荐方案 +**whisper-rs** - Rust 原生集成,跨平台支持好 + +### 集成方式 +1. Rust crate 直接绑定(推荐) +2. 子进程 + HTTP(备选) + +## 6. 下一步行动 + +### Phase 1: 混淆词纠错(Week 1) +1. 收集 50+ 真实错词样本 +2. 实现 `asr/correction.rs` 模块 +3. 集成到 coordinator +4. 编写测试 + +### Phase 2: 本地 ASR(Week 2-4) +1. 完成技术选型文档 `docs/local-asr-plan.md` +2. 测试 whisper-rs 性能 +3. 实现模型下载管理 +4. 实现本地推理 +5. 跨平台测试 + +EOF + +echo "✅ ASR 模块报告已生成: $ASR_REPORT" +echo "" + +# ============================================ +# 3. 依赖关系分析 +# ============================================ +echo "🔗 分析模块依赖关系..." + +DEP_REPORT="$OUTPUT_DIR/dependencies-$(date +%Y%m%d).md" + +cat > "$DEP_REPORT" << 'EOF' +# 模块依赖关系 Finding 报告 + +## 生成时间 +EOF + +echo "$(date '+%Y-%m-%d %H:%M:%S')" >> "$DEP_REPORT" + +cat >> "$DEP_REPORT" << 'EOF' + +## 1. Cargo 依赖 + +EOF + +echo '```toml' >> "$DEP_REPORT" +grep -A 50 "\[dependencies\]" "$TAURI_DIR/Cargo.toml" | head -60 >> "$DEP_REPORT" +echo '```' >> "$DEP_REPORT" + +cat >> "$DEP_REPORT" << 'EOF' + +## 2. 模块间依赖(通过 use 语句分析) + +### coordinator.rs 依赖 +EOF + +echo '```' >> "$DEP_REPORT" +grep "^use crate::" "$TAURI_DIR/src/coordinator.rs" | sort | uniq >> "$DEP_REPORT" +echo '```' >> "$DEP_REPORT" + +cat >> "$DEP_REPORT" << 'EOF' + +### recorder.rs 依赖 +EOF + +echo '```' >> "$DEP_REPORT" +grep "^use crate::" "$TAURI_DIR/src/recorder.rs" | sort | uniq >> "$DEP_REPORT" +echo '```' >> "$DEP_REPORT" + +cat >> "$DEP_REPORT" << 'EOF' + +## 3. Mock 策略建议 + +### 需要 Mock 的外部依赖 +- **Volcengine ASR WebSocket**: 使用 mock WebSocket server +- **OpenAI Polish API**: 使用 mock HTTP server +- **Keychain**: 使用 trait abstraction + mock 实现 +- **Clipboard**: 使用 trait abstraction + mock 实现 +- **Audio Device**: 使用 mock audio stream + +### 推荐工具 +- `mockall`: 自动生成 mock +- `wiremock`: HTTP mock server +- `tokio-test`: 异步测试工具 + +EOF + +echo "✅ 依赖关系报告已生成: $DEP_REPORT" +echo "" + +# ============================================ +# 4. 生成总结 +# ============================================ +SUMMARY="$OUTPUT_DIR/finding-summary-$(date +%Y%m%d).md" + +cat > "$SUMMARY" << EOF +# Finding 总结报告 + +**生成时间**: $(date '+%Y-%m-%d %H:%M:%S') + +## 📊 关键指标 + +- **包含测试的文件数**: $(find "$TAURI_DIR/src" -name "*.rs" -exec grep -l "#\[cfg(test)\]" {} \; | wc -l) +- **测试函数数**: $(grep -r "#\[test\]" "$TAURI_DIR/src" | wc -l) +- **核心模块数**: $(find "$TAURI_DIR/src" -maxdepth 1 -name "*.rs" | wc -l) +- **ASR 模块代码量**: $(wc -l "$TAURI_DIR/src/asr"/*.rs | tail -1 | awk '{print $1}') 行 + +## 📋 生成的报告 + +1. **测试覆盖率报告**: $REPORT_FILE +2. **ASR 模块分析**: $ASR_REPORT +3. **依赖关系分析**: $DEP_REPORT + +## 🎯 下一步行动 + +### 立即开始(Week 1) +1. 阅读生成的 3 份报告 +2. 更新 EPIC-001 和 EPIC-002 的 Finding 任务状态 +3. 开始实现混淆词纠错层(快速产出) + +### 短期计划(Week 2-3) +1. 为 recorder.rs 补测试 +2. 为 asr/frame.rs 补测试 +3. 编写测试规范文档 + +### 中期计划(Week 4-6) +1. 完成本地 ASR 技术选型 +2. 实现本地 ASR 支持 +3. 建立 CI 自动化测试 + +## 📝 备注 + +所有报告已保存到 \`.github/finding-reports/\` 目录。 +EOF + +echo "✅ 总结报告已生成: $SUMMARY" +echo "" +echo "🎉 Finding 分析完成!" +echo "" +echo "📂 报告位置: $OUTPUT_DIR/" +echo " - $(basename $REPORT_FILE)" +echo " - $(basename $ASR_REPORT)" +echo " - $(basename $DEP_REPORT)" +echo " - $(basename $SUMMARY)" +echo "" +echo "💡 下一步: 阅读报告并更新 EPIC 文档"