Claude Code软件排障修复AI 评分 · 72/100AI 辅助编辑·未发现明显提示词注入风险X

用 Langfuse + Claude Code 建立提示词迭代闭环

输入：生产运行的 Langfuse trace 与失败用例 → 处理：分桶生成黄金集，Claude Code 最小改动修复 → 输出：评分对比与可回滚的提示词版本

2026-10-26经验丰富步骤流程贴士

硬约束

前置条件：已部署 Langfuse 并接入生产环境追踪；已安装 Claude Code CLI；有工单系统（Jira 或 Notion）用于记录变更。边界：作者使用 20-50 个真实失败样本生成黄金数据集；评分不提升则回滚；工具品牌可替换，记录完整性优先于工具选择。

Nick Papacon 将原本依赖直觉的提示词迭代改为双工具闭环：Langfuse 负责追踪和证明问题，Claude Code 负责基于 trace 证据进行最小改动的修复。流程分为三个阶段——证明（追踪+分桶+数据集）、修复循环（最小改动+重跑评估）、人工判断（审批+回滚+记录）。

作者报告该规则已投入使用：没有前后评分的提示词修改只是编辑，有 trace 才构成产品工作。评分不提升即回滚，所有变更关联到具体 trace 和失败案例。（author_report）

来源未说明具体的评分指标定义（如准确率、成本阈值）、黄金数据集的标准格式、以及回滚是手动还是自动化触发。需要团队自行定义评分标准。图片中的流程图未在文本中展开，不可复现其细节。作者提及 Jira 和 Notion 可互换，工具选择不影响方法有效性。

接入 Langfuse 追踪生产运行
在所有生产提示词调用中接入 Langfuse SDK，确保每次运行记录：prompt 版本、模型、token 数、成本、延迟、工具调用。在 Langfuse 控制台确认 trace 正常上报。
失败分桶并生成黄金数据集
定期审查 Langfuse 中的失败 trace，按失败类型分桶：错误引用、缺失上下文、格式损坏、成本飙升等。当某个桶的样本量增长时，从中抽取 20-50 个真实失败案例，整理为黄金数据集（含输入、预期输出、实际输出）。
用 Claude Code 最小改动修复并重跑评估
将 Langfuse trace 链接、失败案例 ID 和黄金数据集交给 Claude Code，使用以下指令要求只改最小的一处。修复后必须在同一数据集上重跑，对比修复前后的评分、成本变化、延迟变化。没有重跑结果不得发布。
运行提示词 · 来源原文。Claude Code 对话中的核心指令
```
change the smallest prompt or harness piece that moves this score
```
人工审批与回滚决策
作者审批所有发布变更。如果评分没有提升，立即回滚到上一个提示词版本。禁止未经评分验证的提示词上线。
在工单中记录完整上下文
在 Jira 或 Notion 工单中记录：trace 链接、失败案例、代码 diff、前后评分、回滚版本号。工具选择不重要，记录完整性才是核心。

搭建指导 · 来源原文。交给搭建助手，先确认输入和权限，再按步骤执行

这一段是提示词，页面不会在这里插入广告。

change the smallest prompt or harness piece that moves this score

此 prompt 为搭建指导，不是 Claude Code 节点内的运行指令。实际修复指令见步骤3的 provenance=source 提示词。

试过这个方法吗？分享效果、遇到的问题或改进建议。留言审核后公开，请勿填写敏感信息。

正在加载…