skill-creator · Skill 创建与迭代
创建、修改与度量 skill 的全流程 skill：从需求访谈起草 SKILL.md，编写测试用例，并行运行"带 skill / 基线"对比实测，量化打分（通过率、耗时、token 消耗），经可视化评审器收集人工反馈后改写迭代，直到满意为止。
还包含 description 触发率优化（自动生成触发/不触发测试查询并迭代改写）与 .skill 打包发布。
调用示例：在聊天框中说"帮我创建一个整理下载文件夹的 skill，并验证它真的有效"。
产品详解
定位
skill-creator 是创建与改进 skill 的迭代工作流技能：覆盖"起草 → 实测 → 评估 → 改写"的完整闭环，并用对比数据验证每次改写是否真正有效，而不是凭感觉调参。
核心能力
- 需求访谈与草稿：从对话历史提取已有工作流，写出 SKILL.md 草稿；遵循渐进式披露（元数据 / SKILL.md 正文 / 附带资源三层）。
- 并行实测：为每个测试用例同时启动"带 skill"与"基线"（无 skill 或旧版本）运行，结果分别存入 iteration-N 目录；测试用例保存在 evals/evals.json。
- 量化评估：撰写可验证断言、独立打分（grading.json），聚合为 benchmark 报告（通过率 ± 方差、耗时、token 消耗）。
- 可视化评审：eval-viewer 生成评审页面，用户逐条查看输出并写反馈，feedback.json 回流驱动下一轮改写。
- 改写迭代：基于反馈与数据改写 skill，用新一轮实测验证改进，重复直到满意或无实质进展。
- 描述优化：生成 20 条"应触发/不应触发"测试查询，自动迭代优化 frontmatter description，提高触发准确率。
- 打包发布：package_skill.py 打包为 .skill 文件。
工作流程
- 明确目标：skill 要做什么、何时触发、期望输出
- 访谈与调研，写出 SKILL.md 草稿
- 编写 2–3 条真实测试用例（evals.json）
- 并行实测：带 skill 运行 vs 基线运行
- 撰写断言、打分、聚合 benchmark
- 启动评审器，用户逐条反馈
- 按反馈改写，复测验证
- 优化 description，打包发布
输入与输出
| 输入 | 说明 |
|---|---|
| 需求描述 | 必填，skill 要解决的问题 |
| 已有草稿/旧版本 | 选填，改进现有 skill 时提供 |
| 测试用例 | 选填，可由 skill 协助编写 |
输出：skill 目录、实测工作区（iteration-N/）、benchmark 报告、评审页面、.skill 安装包。
与相邻 skill 的区别
- writing-skills：写 skill 文档的方法论（TDD 写文档、SKILL.md 结构规范、描述优化原则），回答"文档怎么写"。
- skill-creator（本）：把 skill 做出来并验证有效的完整工具链（并行实测、量化基准、人工评审、触发率优化），回答"怎么做出可用的 skill"。两者常配合使用。
适用场景
- 从零创建新 skill（如把个人工作流沉淀为 skill）
- 优化已有 skill 的触发率或输出质量
- 验证某次改写是否真的带来了提升
- 给 skill 的 description 做触发准确率专项优化
使用前准备
- 无需 API key；评测运行会消耗模型 token，大规模评测前建议确认预算。
- 准备 2–3 条真实测试用例；评审环节需要人工在浏览器中逐条查看并反馈。
- 沟通风格会按用户对技术术语的熟悉程度调整，不熟悉代码的用户也能用。
skill-creator 隶属于 Aiglade Skill 库。在 Aiglade 聊天框中用自然语言描述需求即可调用。