方法 技术栈 · Richbay 已实测

受控模型比较

在一个范围明确的任务上比较模型输出，并在初次评判前不暴露模型身份。

4 个组件角色2 项明确的默认选择已审核 2026-09-05
← 所有技术栈检查默认设置

组件和角色

每个组件都有其存在的理由。

  1. 01
    版本化任务包

    冻结提示、约束和成功标准。

  2. 02
    受控模型运行

    为每个选定的模型和参数集捕获一个不可变的输出。

  3. 03
    证据台账

    将每个审查声明连接到可见的源或输出快照。

  4. 04
    人工审查检查点

    负责最终结论、限制和出版状态。

数据流

任务包 → 受控运行 → 不可变快照 → 证据审查 → 发布案例

默认选择

从这里开始，然后根据说明的原因切换。

任务定义

版本化Markdown或JSON任务包

选择原因
保持提示、约束、标准和修订内容可读和可比较。
当...时切换
当运行量、访问控制或评审员分配超出存储库文件时，使用正式的评估平台。

证据记录

不可变的输出文件加上结构化的索赔账本

选择原因
将模型返回的内容与后续的注释和结论分开。
当...时切换
当审计保留或多团队访问需要更强的控制时，使用带签名的对象存储。

操作假设

成本、隐私、替代方案和限制。

成本假设
推理基于使用量；编辑审查时间必须单独预算。在每次批次之前重新检查供应商定价。
隐私边界
任务包和捕获的输出将发送给选定的提供方，除非使用了本地模型。
参考实现
Richbay任务包+受控运行捕获+证据账本+已审核发布合同。
替代方案
当隐私或可重复性比广度更重要时，请使用一个供应商或本地模型。
已知限制
一个小的比较支持任务决策，而不是永久的模型排名。

人工检查点

保持负责任的决策可见。

  1. 批准任务和标准
  2. 检查每个捕获的输出
  3. 负责有限的结论

证据和来源

查看支持此记录的内容。

Richbay 已实测
最后审查 2026-09-05。在采用之前，请重新检查当前提供方的文档、限制、定价和条款。