上一篇[发布公告](/blog/42eval-launch)介绍了 42eval 的设计理念——不问「输出好不好」，而是问「技能多了什么」，用数据量化每个 Skill 的真实贡献。理念听着不错，但具体怎么用？这篇教程带你**从零走完一次真实的评测**。活水内部有一个「心理学文献综述」技能（psych-review），它指导 AI 按照学术规范做系统性文献综述。听起来很专业——但它真的比直接问 AI 更好吗？42eval 给出了答案。跟着这篇教程走一遍，你会学到：如何开启 42eval、如何设计测试、如何运行评测、以及最重要的——**如何读懂那份报告**。 ## 准备工作 ### 安装 42plugin CLI（命令行工具）如果还没有安装： ```bash # macOS / Linux curl -fsSL https://get.42plugin.com/cli | bash # Windows irm https://get.42plugin.com/cli.ps1 | iex ``` 确认版本在 0.3.9 以上（42eval 从这个版本开始内置）： ```bash 42plugin --version ``` ### 开启 42eval 42eval 是 42plugin CLI 的内置功能，但默认是关闭的。一条命令开启： ```bash 42plugin builtin enable 42plugin-eval ``` 开启后你会获得两样东西： - **一组命令行工具** `42plugin eval`——适合批量操作和自动化 - **一个交互式技能** `/42plugin-eval`——在 Claude Code 中使用，AI 手把手引导你完成评测 ### 准备一个要评测的技能你需要一个已有的 Skill（技能文件）。本教程以 `psych-review`（心理学文献综述）为例。没有现成的 Skill？用你自己写的任何 Skill 都可以跟着做。 ## 两种评测方式，选哪个？ 42eval 提供两种方式，效果完全一样，区别只在操作体验： | | 交互式（推荐新手） | 命令行 | |---|---|---| | 怎么启动 | 在 Claude Code 中输入 `/42plugin-eval` | 在终端输入 `42plugin eval run` | | 体验 | AI 一步步引导你，像对话 | 你自己准备好用例，一键执行 | | 适合 | 第一次用、想学习流程 | 批量评测、集成到自动化流程 | 下面两种方式都会讲。如果你是第一次接触，建议先看「交互式」了解概念，再用「命令行」动手操作。 ## 方式一：在 Claude Code 中交互式评测在 Claude Code 中输入： ``` /42plugin-eval ``` AI 会接手，引导你走完六个阶段。你不需要记任何命令，只需要回答 AI 的问题。 **阶段 1：给技能做个「体检分类」** AI 会读取你的 Skill 内容，判断它属于哪种类型。42eval 把技能分成四个象限（就像把人分成四种性格类型），每种类型用不同的评测方式。你不需要理解分类细节，AI 会自动处理。 **阶段 2：搭建评测工作区** AI 在你的项目目录下创建一个专门的文件夹（`.42eval/技能名/`），用来存放所有评测数据。就像做实验前先准备好实验室。 **阶段 3：设计「考题」** 这是最关键的一步。AI 会帮你想出 3-5 个测试场景（「考题」），并为每道题设计评判标准（「断言」）。断言就是你期望 AI 输出应该满足的条件，比如「输出必须包含 PICOS 五个组成部分」。你可以修改和补充。 **阶段 4：正式「考试」** AI 用同一道题考两遍——一遍让 AI 「带着技能」答题，一遍让 AI 「裸考」。然后对比两份答卷，看每条断言是通过还是失败。 **阶段 5：出成绩单** 汇总所有考题的结果，生成一份可视化的 HTML 报告——后面会详细教你怎么读。 **阶段 6：根据成绩改进** 报告会告诉你技能哪里好、哪里需要改。改完后可以再评测一轮，看看是否进步了。全程对话式操作。如果你用过 ChatGPT 聊天，这个体验差不多——只是这次 AI 在帮你做「技能质检」。 ## 方式二：命令行一步步来下面用 psych-review 技能完整演示。每一步都有命令、输出示例和解读。 ### 第一步：给技能分类——它属于哪种类型？ ```bash 42plugin eval classify .claude/skills/psych-review ``` 这条命令让 42eval 阅读技能内容，从两个维度分析它：**模型能力有多强**，以及**技能里编码的人类经验质量有多高**。输出示例： ``` 2×2 矩阵分类结果 ──────────────────────────────────────── 象限: mastery — 精通策略: comparison — 盲测对比模型自身能力: strong (68/100) 人类经验: best (91/100) 置信度: 0.8 矩阵定位: 模型能力强(strong) 模型能力弱(weak) ┌──────────────────┬──────────────────┐ 人类 │ ★ mastery │ codification │ 经验高│ (精通) │ (规范) │ ├──────────────────┼──────────────────┤ 人类 │ leverage │ scaffolding │ 经验低│ (杠杆) │ (脚手架) │ └──────────────────┴──────────────────┘ ``` **怎么理解这个结果？** psych-review 落在了 **mastery（精通）** 象限。意思是：AI 模型本身就有一定的文献综述能力（模型自身能力 68/100），同时这个技能编码了高质量的学术规范和工作流（人类经验 91/100）。换句话说——模型能干，技能也写得好，所以需要更严格的评测方式来区分「技能到底帮了多少忙」。如果你的技能落在其他象限也完全正常。不同象限只是说明技能的价值来源不同，42eval 会自动匹配对应的评测策略。 ### 第二步：初始化工作区——给评测找个「家」 ```bash 42plugin eval init .claude/skills/psych-review ``` 这条命令做两件事： 1. 在项目根目录下创建 `.42eval/psych-review/` 文件夹 2. 把技能内容拍一张「快照」保存下来（这样即使你后来修改了技能，评测用的还是当时的版本）创建出来的目录结构： ``` .42eval/psych-review/ ├── config.json # 刚才的分类结果 ├── skill-snapshot/ # 技能内容快照 └── cases/ # 测试用例（现在是空的，等你来填） ``` ### 第三步：编写测试用例——给技能出「考题」这一步是评测的核心：你要给技能出几道题，并且定义好「什么算答对了」。在 `cases/` 目录下创建 JSON 文件，每个文件就是一道考题。以 psych-review 为例，设计了 3 道题： **考题 1：PICOS 框架定义**（`cases/eval-1.json`） ```json { "caseId": "eval-1", "caseName": "Basic PICOS Framework", "prompt": "I need to conduct a systematic review on CBT for adolescent depression. Help me define the PICOS framework.", "expectations": [ { "id": "exp-1", "description": "Response must define all 5 PICOS components", "category": "differential", "critical": true }, { "id": "exp-2", "description": "Population must specify age range (e.g., 12-18 years)", "category": "differential", "critical": true }, { "id": "exp-3", "description": "Must suggest creating project directory structure", "category": "structure", "critical": false } ] } ``` 先别被 JSON 吓到，其实只有四个字段： - **prompt**（输入）：你想让 AI 回答的问题 - **expectations**（断言）：你期望输出应该满足的条件 - 每条断言有一个 **category**（分类）和 **critical**（是否关键） **断言的四种分类，分别在检查什么？** | 分类 | 中文 | 检查什么 | 举例 | |---|---|---|---| | **structure** | 结构 | 输出有没有特定的章节、表格、代码块 | 「包含 PICOS 五个章节标题」 | | **content** | 内容 | 有没有特定的实质性内容 | 「至少分析了 3 个核心实体」 | | **differential** | 差异化 | 没有技能就做不到的事 | 「使用了技能定义的三阶段分析法」 | | **quality** | 质量 | 整体输出质量是否达标 | 「给出了可执行的下一步建议」 | 其中 **differential（差异化）** 断言是重点——它检查的是「只有用了技能才会出现的东西」。每道考题至少要有 2 条差异化断言，否则你没法区分「模型本来就会做」和「技能帮了忙」。 **不知道怎么写断言？** 不用担心。在 Claude Code 中输入 `/42plugin-eval`，AI 的断言生成器会帮你自动写。你只需要告诉它考什么题目，它会生成 5-6 条断言供你挑选。 ### 第四步：一键运行——让 AI 正式「考试」考题准备好了，一条命令开考： ```bash 42plugin eval run .claude/skills/psych-review -i 1 ``` `-i 1` 的意思是「这是第 1 轮评测」（以后改进了技能可以用 `-i 2` 跑第 2 轮）。接下来系统自动完成所有工作： ``` 开始执行评测 (v1) 技能: psych-review 用例数: 3 [eval-1] Basic PICOS Framework 执行 with_skill... ← AI「带着技能」答题 ✓ 已保存 (4435 字符) 执行 without_skill... ← AI「裸考」同一道题 ✓ 已保存 (2348 字符) 评分中... ← 评分器逐条检查断言 ✓ 评分完成 ✓ 完成 [eval-2] Database Search Strategy ... ✓ 完成 [eval-3] APA Citation Format ... ✓ 完成聚合结果... ✓ 评测完成！ ``` 每道题考两遍，AI「带着技能」答一遍，「裸考」再答一遍。然后评分器对两份答卷逐条核对断言：通过还是失败，引用原文作为证据。注意 with_skill 的输出（4435 字符）明显比 without_skill（2348 字符）长了将近一倍——技能引导 AI 给出了更详尽的回答。但长不等于好，所以才需要断言来精确衡量。 ### 第五步：看统计摘要——技能到底帮了多少忙？ ```bash 42plugin eval benchmark .claude/skills/psych-review -i 1 ``` 输出： ``` 基准测试结果 ────────────────────────────────────────────────── 技能: psych-review 迭代: v1 评测数: 3 with_skill 平均通过率: 100.0% without_skill 平均通过率: 77.8% delta: +22.2% 断言健康度: 3 差异化 | 3 始终通过 ``` **关键数字是 delta（增量）: +22.2%**。它的含义是：用了技能后，断言通过率比不用技能高出 22.2 个百分点。怎么判断这个数字好不好？ | delta（增量） | 评价 | 含义 | |---|---|---| | > 30% | 优秀 | 技能价值非常显著 | | 20-30% | 良好 | 技能有明确效果 | | 10-20% | 及格 | 有一定帮助，还能优化 | | < 10% | 不及格 | 技能可能需要重新设计 | psych-review 的 delta +22.2% 落在「良好」区间——技能确实有用。底下还有一行「断言健康度」。这是在说：你出的考题质量怎么样。3 条「差异化」说明这 3 条断言确实能区分技能的贡献；3 条「始终通过」说明另外 3 条断言太简单了，AI 不用技能也能通过——这些断言后面需要替换成更有挑战性的版本。 ### 第六步：打开评测报告——完整的可视化分析统计摘要只是概览。42eval 真正的亮点是一份**交互式 HTML 报告**： ```bash 42plugin eval report .claude/skills/psych-review -i 1 --open ``` 浏览器会自动打开一份深色主题的报告页面。下面一页一页教你怎么看。 ## 如何读懂评测报告 ### 报告首页：三个数字说清全局 ![报告首页：使用技能 100% vs 无技能 50%，提升 +50%](https://cdn.42plugin.com/blog/2026-03/20260314/report-hero.png) 打开报告，首先映入眼帘的是三个大数字： - **100.0%**（使用技能的通过率）——AI「带着技能」答题时，所有断言全部通过 - **50.0%**（无技能的通过率）——AI「裸考」时，只有一半的断言通过 - **+50%**（提升幅度）——技能带来的提升量页面顶部的橙色标签写着 `MASTERY SKILL`，表示这个技能属于「精通」象限。底部还有几个辅助信息：3 个测试场景、18 项检查通过、评级「优秀」。 ### 场景对比：哪道题最能体现技能的价值 ![场景对比：三个场景的蝴蝶图](https://cdn.42plugin.com/blog/2026-03/20260314/report-comparison.png) 往下滚动，是一组「蝴蝶图」——左边橙色条是「使用技能」的通过率，右边灰色条是「无技能」的通过率。三道考题的对比： - **Basic PICOS Framework**（PICOS 框架定义）：+100%——AI 裸考得了 0 分，带技能满分。这说明在这个场景下，技能提供了模型完全不具备的能力 - **APA Citation Format**（APA 引用格式）：+33%——技能在学术格式规范上有明确帮助 - **Database Search Strategy**（数据库搜索策略）：+17%——技能仍然有用，但 AI 裸考已经答得不错（83%）这个对比帮你发现：**技能在哪些场景下价值最高，在哪些场景下可能多余。** ### 分类矩阵：技能在坐标系中的位置 ![分类矩阵：psych-review 位于 mastery 象限](https://cdn.42plugin.com/blog/2026-03/20260314/report-matrix.png) 这张 2x2 矩阵图把技能放在一个坐标系里： - 横轴：AI 模型对这类任务的**原生能力**（左边强，右边弱） - 纵轴：技能编码的**人类经验**（上面高，下面低） psych-review 位于左上角的 **mastery（精通）** 象限，标了一个绿色对勾。含义是：AI 本身就擅长这类任务，同时技能写得也很好——两者的配合需要精细的评测策略才能度量。 ### 检查项诊断：你出的考题质量怎么样 ![检查项诊断表](https://cdn.42plugin.com/blog/2026-03/20260314/report-diagnosis.png) 这是报告中信息密度最高的部分——不只评估技能，还**反过来评估你的考题设计得好不好**。表格每行是一条断言，右边两列 WITH 和 W/O 显示通过次数： | 诊断结果 | 含义 | 你该怎么做 | |---|---|---| | **技能价值**（skill-differential） | 带技能通过，裸考失败 | 保留——这是技能的核心贡献 | | **始终通过**（always-pass） | 带不带技能都通过 | 替换——考题太简单，区分不出技能的作用 | | **始终失败**（always-fail） | 带不带技能都失败 | 检查——可能是断言写得不合理 | | **反向**（inverse） | 裸考反而通过 | 排查——技能可能在这个点上帮了倒忙 | 在 psych-review 的报告中，6 条断言全部被标记为「技能价值」——说明每条断言都能有效区分技能的贡献。如果出现「始终通过」，别担心，把那些太简单的断言换掉就好。 ### 核心洞察与结论：一眼看到下一步该做什么 ![核心洞察：四张卡片](https://cdn.42plugin.com/blog/2026-03/20260314/report-insights.png) 报告最后用四张卡片总结发现： - **显著提升**：通过率从 50% 提升到 100%——技能效果显著 - **核心价值**：9 项检查只有带技能才能通过——技能的独有贡献占了一半 - **最佳场景**：PICOS 框架定义是技能发挥最大价值的地方 - **稳定表现**：所有场景都从技能中获益，没有出现负面影响底部还有两个按钮：「导出 Markdown」方便归档分享，「访问 42plugin.com」可以回到平台。 ## 评测完了，然后呢？评测不是终点，而是改进的起点。根据报告发现问题后： ```bash # 1. 修改完技能内容后，重新快照（保留旧版本存档） 42plugin eval init .claude/skills/psych-review --force # 2. 用新版本号跑第二轮评测 42plugin eval run .claude/skills/psych-review -i 2 # 3. 查看两轮之间的对比 42plugin eval benchmark .claude/skills/psych-review -i 2 ``` benchmark 会自动计算 **version_delta**（版本间增量）——告诉你这次改进到底提升了多少。同时别忘了更新断言：把「始终通过」的换成更有挑战性的版本，让你的评测标准和技能一起成长。 ## 命令速查表 | 命令 | 做什么 | |---|---| | `42plugin eval classify <技能路径>` | 给技能做分类（属于哪个象限） | | `42plugin eval init <技能路径>` | 初始化评测工作区 | | `42plugin eval init <技能路径> --force` | 重新快照（技能改了之后用） | | `42plugin eval run <技能路径> -i <轮次>` | 一键运行完整评测 | | `42plugin eval benchmark <技能路径> -i <轮次>` | 查看统计摘要 | | `42plugin eval report <技能路径> -i <轮次> --open` | 生成并打开 HTML 报告 | | `42plugin eval serve <技能路径>` | 启动本地报告查看器 | 所有命令都支持 `--json`（输出机器可读的 JSON 格式）。 ## 常见问题 ### Q：需要准备多少道考题？建议 **3-5 道**。太少看不出规律，太多浪费时间和 token（AI 调用费用）。第一次用 3 道就够。 ### Q：不会写断言怎么办？在 Claude Code 中输入 `/42plugin-eval`，AI 会帮你自动生成断言。你只需要告诉 AI 你想测试什么场景，它的断言生成器会输出 5-6 条断言供你挑选和修改。 ### Q：交互式和命令行，结果有区别吗？没有区别。两种方式产出的数据格式完全一致，报告也一样。区别只在体验：交互式适合学习和探索，命令行适合批量执行。 ### Q：可以对比两个版本的技能吗？可以。第 1 轮用 `-i 1`，改进后第 2 轮用 `-i 2`，benchmark 会自动计算两轮之间的 `version_delta`（版本间增量）。如果用 `init --force` 重新快照，旧版本会被归档，还可以做三方对比。 ### Q：评测一次大概要多久？取决于考题数量。以 psych-review 的 3 道题为例，完整评测大约 3-5 分钟（6 次 AI 调用 + 评分）。具体的时间和 token 消耗会记录在报告的成本分析中。 --- **活水插件（42plugin）** — AI 插件生态系统平台，帮你发现、安装、创作和分享 AI 插件。增强你的 AI，更快地完成工作。 **活水AI实验室（42ailab）** — 源自 2023 年成立的活水智能团队，致力于以认知科学为基石，推动人工智能与人类智能的深度融合与科学创新。 **官网**：https://42plugin.com