Files
prompt-optimizer/packages/core
linshen b9d34dc472 feat(evaluation): 实现 LLM 智能评估与多模式支持,集成 UI 并优化评分策略
- **核心功能**
  - 新增 LLM 智能评估功能,支持非流式和流式评估 (EvaluationService)
  - 新增三种评估类型:原始提示词评估、优化后评估、对比评估
  - 新增评估模板 (evaluation 类型),支持中英双语
  - 新增评估 UI 组件:EvaluationPanel、EvaluationScoreBadge、EvaluateButton
  - 新增 useEvaluation 和 useEvaluationHandler composables
  - 评估结果包含四维度评分:目标达成度、输出质量、格式规范性、相关性
  - 支持流式输出实时显示评估过程
  - 解析失败时抛出明确错误,避免误导性默认值
  - 完整的 i18n 支持 (zh-CN, zh-TW, en-US)
- **多模式评估系统**
  - 新增 EvaluationModeConfig 接口支持 functionMode 和 subMode 配置
  - 重构评估模板目录结构,按 basic/system 和 basic/user 组织
  - 动态生成模板 ID:evaluation-{functionMode}-{subMode}-{type}
  - 新增 basic-user 模式的 6 个评估模板(中英文各 3 个)
  - UI 层添加 currentSubMode 计算属性和模式参数传递
- **高级模式集成**
  - 新增 Pro-System 和 Pro-User 评估模板 (12 个模板文件)
  - 扩展评估类型定义,添加 ProSystemEvaluationContext 和 ProUserEvaluationContext
  - 为 ConversationTestPanel 和 ContextUserTestPanel 添加评估 props 透传
  - 在 ContextSystemWorkspace 集成评估功能 (useEvaluationHandler + EvaluationPanel)
  - 在 ContextUserWorkspace 集成评估功能 (useEvaluationHandler + EvaluationPanel)
  - 支持构建 Pro 模式专属评估上下文 (多消息上下文/变量上下文)
- **评估改进建议应用与优化**
  - 新增评估改进建议的"应用"按钮,可一键填充到迭代优化输入框
  - 优化评估模板,添加"防止过拟合"指导原则
  - 明确评估对象是系统提示词而非测试输入
  - 改进建议强制要求通用性,禁止针对具体测试内容
  - 修复对比评估改进建议"使用"按钮无响应问题
- **字段命名与评分策略优化**
  - 简化评估响应字段:analysis→issues, suggestions→improvements, improvementSummary→summary
  - 新增 EvaluationHoverCard 悬浮卡片组件,支持直接触发评估
  - 优化所有评估模板,采用更严格的评分原则
  - 对比评估以 50 分为基准,>50 表示优化有效,<50 表示退步
  - 明确区分 issues(针对输出问题)和 improvements(针对提示词改进)
2025-12-19 11:29:21 +08:00
..