实验 · 受控输出比较

此转换结果证明有所改进吗?

保持任务和参数固定,改变模型,并比较每个如何处理因果不确定性。

任务 保持提示和设置固定操作 更改比较的模型运行结果 检查更改和结论限制

受控变量: 模型输出;提示和生成设置保持固定

实验设置

保持任务固定。更改模型运行。

阅读用译文

版本A转化了100名访客中的8名。版本B在接下来的七天内转化了100名访客中的14名。没有使用随机分割,且每周的流量来源不同。这能证明B更好吗?给出一个决策建议并识别不确定性。

原始提示词(英文)

Version A converted 8 of 100 visitors. Version B converted 14 of 100 visitors during the following seven days. No randomized split was used, and traffic sources differed between the weeks. Does this prove B is better? Give a decision recommendation and identify the uncertainty.

为便于复核,捕获时的提示词和模型输出保留原文。译文仅辅助阅读,不代表重新运行模型。

更改的变量
已解决的模型 ID
固定条件
提示 · 最大 2000 Token · 温度 0.2 · top-p 0.9
证据集
一个版本化生成批次中的三个捕获输出

更改变量

选择两个捕获的运行进行比较。

尝试多种配对。输出和任务特定的审查会一起更新。

运行A

OpenAI

满足要求

openai/gpt-oss-20b

No – the data do not prove that Version B is superior.

Why not?

  • The two weeks were not randomized; traffic sources (e.g., referral, paid, organic) differed, so any conversion difference could be due to those sources rather than the version.
  • The sample size is small (100 visitors per week), so the observed 8 % vs. 14 % difference could be due to random variation.
  • External factors (seasonality, day‑of‑week, marketing campaigns) could have changed between the weeks.

Decision recommendation
Run a properly randomized A/B test (or multivariate test) with a larger, balanced sample and control for traffic source. Only then can you statistically assess whether B truly outperforms A.

Uncertainty

  • Confounding by traffic source and other time‑varying factors.
  • Statistical uncertainty due to the small sample size.
  • Potential interaction with other variables (device, location, etc.) that were not controlled.
检查此运行的审核
优势
  • 命名统计不确定性和混杂因素
  • 推荐一个平衡的随机测试
  • 将额外的潜在混杂因素明确作为假设,而非已发生的事实
风险
  • 这些潜在混杂因素尚未核实,归因前需要收集证据

最佳用途: 一份必须解释不确定性的决策备忘录。

运行B

通义千问

满足要求

qwen/qwen3-30b-a3b-fp8

No, this does not prove B is better. The lack of a randomized split and differing traffic sources introduce confounding variables. Recommendation: Conduct a controlled experiment with random assignment. Uncertainty: Results may be influenced by external factors.

检查此运行的审核
优势
  • 直接拒绝证明
  • 识别混杂因素和随机分配
风险
  • 不明确提及小样本

最佳用途: 一个简洁的执行答案。

有限结论

仅说明此运行集支持的内容。

所有三个都拒绝因果结论。它们在如何明确识别样本不确定性以及周与周之间的混淆方面有所不同。

评估目标

符合要求的回答会说明观察结果不能证明因果关系,指出样本量和时间、流量带来的不确定性,并建议在长期推广前开展同期随机对照测试。

可重复使用的比较方法
  1. 将观察到的比率与因果关系分开。
  2. 命名非随机分配和更改流量来源。
  3. 推荐一个并行的随机比较。

在同一个提示和参数集下的三个捕获输出;已审查 Sep 9, 2026。此实验仅描述这些运行情况,不代表全局模型排名。

构建下一步

将此结果转化为可重复的方法。

一个序列转换比较的结论边界。