linshen
b9d34dc472
feat(evaluation): 实现 LLM 智能评估与多模式支持,集成 UI 并优化评分策略
- **核心功能**
- 新增 LLM 智能评估功能,支持非流式和流式评估 (EvaluationService)
- 新增三种评估类型:原始提示词评估、优化后评估、对比评估
- 新增评估模板 (evaluation 类型),支持中英双语
- 新增评估 UI 组件:EvaluationPanel、EvaluationScoreBadge、EvaluateButton
- 新增 useEvaluation 和 useEvaluationHandler composables
- 评估结果包含四维度评分:目标达成度、输出质量、格式规范性、相关性
- 支持流式输出实时显示评估过程
- 解析失败时抛出明确错误,避免误导性默认值
- 完整的 i18n 支持 (zh-CN, zh-TW, en-US)
- **多模式评估系统**
- 新增 EvaluationModeConfig 接口支持 functionMode 和 subMode 配置
- 重构评估模板目录结构,按 basic/system 和 basic/user 组织
- 动态生成模板 ID:evaluation-{functionMode}-{subMode}-{type}
- 新增 basic-user 模式的 6 个评估模板(中英文各 3 个)
- UI 层添加 currentSubMode 计算属性和模式参数传递
- **高级模式集成**
- 新增 Pro-System 和 Pro-User 评估模板 (12 个模板文件)
- 扩展评估类型定义,添加 ProSystemEvaluationContext 和 ProUserEvaluationContext
- 为 ConversationTestPanel 和 ContextUserTestPanel 添加评估 props 透传
- 在 ContextSystemWorkspace 集成评估功能 (useEvaluationHandler + EvaluationPanel)
- 在 ContextUserWorkspace 集成评估功能 (useEvaluationHandler + EvaluationPanel)
- 支持构建 Pro 模式专属评估上下文 (多消息上下文/变量上下文)
- **评估改进建议应用与优化**
- 新增评估改进建议的"应用"按钮,可一键填充到迭代优化输入框
- 优化评估模板,添加"防止过拟合"指导原则
- 明确评估对象是系统提示词而非测试输入
- 改进建议强制要求通用性,禁止针对具体测试内容
- 修复对比评估改进建议"使用"按钮无响应问题
- **字段命名与评分策略优化**
- 简化评估响应字段:analysis→issues, suggestions→improvements, improvementSummary→summary
- 新增 EvaluationHoverCard 悬浮卡片组件,支持直接触发评估
- 优化所有评估模板,采用更严格的评分原则
- 对比评估以 50 分为基准,>50 表示优化有效,<50 表示退步
- 明确区分 issues(针对输出问题)和 improvements(针对提示词改进)
2025-12-19 11:29:21 +08:00
..
2025-12-19 11:29:21 +08:00
2025-12-07 20:49:42 +08:00
2025-12-07 16:30:05 +08:00
2025-02-13 22:51:28 +08:00
2025-05-26 22:48:01 +08:00