逐步

将该方法应用于一个真实的任务。

在阅读前定义成功标准

在流畅的散文降低标准之前，写出任务、所需事实、格式约束、可接受的不确定性以及不可接受的失败模式。

检查点: 评审员可以在不查看答案或模型名称的情况下解释通过、部分通过和失败的条件。

将主张与展示分开

独立列出有影响的声明，不考虑语气、格式和风格。将一个经过润色但无支持的声明视为声明失败，而不是展示优势。

检查点: 正确性、证据、指令遵循和可用性可以分别评估。

将主张追溯到证据

对于每个重要的事实性声明，确定支持它的来源或任务输入。明确标记缺失、过时、次级或不匹配的证据。

检查点: 每个被接受的事实声明都有可见的支持，说明答案所说的内容。

定位不确定性和缺失的上下文

询问未观察到的内容，什么可能改变结果，添加了哪些假设，以及什么新证据会改变决策。

检查点: 该回答指出了一个有用的边界，而不是将不确定性转化为信心。

先根据任务做出选择，最后公布模型身份

先记录结论和理由，再公布模型身份、注明需要修正的地方，并解释这一结论能否适用于其他任务。

检查点: 该记录支持有限的决策，而不会成为通用模型排名。

决策规则

明确边界。

如果一个必要的实质性声明缺乏支持，不要将答案标记为完全满足任务。
如果多个答案符合标准，根据任务的剩余需求（如可审计性或简洁性）进行选择，而不是根据品牌偏好。
如果没有答案符合标准，就发布一个无胜者结论，并说明需要更正或下一步测试。
对于高影响的使用，即使答案通过了此检查表，也要求领域专家进行审查。

可重复使用的工件

AI输出审查记录

将模板复制到您的笔记中，或下载Markdown文件并将其与任务证据一起保存。

可复制和修改，用于个人、团队内部或商业工作。不得转售空白模板；第三方资料适用各自条款。模板使用条款

预览模板

# AI 输出审查记录

## 任务和成功标准
- 任务：
- 所需证据：
- 格式约束：
- 可接受的不确定性：
- 不可接受的失败：

## 盲审输出
- 输出标签：
- 指令遵循：符合 / 部分 / 未符合
- 后果性索赔和支持：
- 不支持的假设：
- 不确定性或缺失上下文：
- 此任务的可用性：

## 先做判断，再公布模型身份
- 结果：符合 / 部分 / 未符合
- 接受 / 更正 / 拒绝：
- 原因：

## 身份和边界
- 模型和版本：
- 运行条件：
- 所需更正：
- 此结果不能证明什么：
- 下一个证据或实验：

## 模板使用条款
可复制和修改，用于个人、团队内部或商业工作。不得转售空白模板；第三方资料适用各自条款。
https://richbay.ai/terms#template-use

链接证据

检查此方法的应用位置。

预算计算已审查案例
显示多个正确的输出仍可能在可审计性方面有所不同。
试点证据审查案例
当每个输出都跨越证据边界时，显示无胜者结果。
转换不确定性审查案例
显示因果不确定性如何改变接受决策。
NIST AI 600-1：生成式AI配置文件
主要风险管理参考，用于特定上下文的评估和可问责审查。

不要猜测模型来评判AI答案