一句话定义
人工监督是AI辅助工作流中计划的人工授权、审查、干预和升级，与任务的风险相匹配[1]。
快速回答
人工监督并不等同于有人在旁边。有意义的监督需要足够的上下文、能力、时间和权威来挑战、停止、更改或逆转AI辅助的操作。在压力下只能点击批准的审查者并不是一个强有力的控制措施。
监督应在工作流程上线前设计。团队需要决定哪些操作可以自动化，哪些需要审查，哪些需要最终批准，哪些必须升级到合格的所有者。后果越高，检查点应越强。
为什么重要
AI辅助的工作通常进展迅速。模型起草、排序、总结、推荐、检索或触发工具操作。这种速度可以有所帮助，但也可能在有人注意到之前将错误传递到流程中。人工监督为工作流程提供了一个在风险上升时放慢速度的地方。
NIST AI RMF 1.0 明确将定义、评估和记录人类监督过程作为映射AI风险的一部分 [1]。OECD也将AI系统视为其输出可以影响物理或虚拟环境的系统，并强调问责制为核心原则 [2]。这些观点指向一个实用规则：必须有人知道AI只是在协助，还是人在承担决策责任。
当AI影响金钱、健康、教育、就业、安全、客户账户、法律权利、安全或服务访问时，监督尤其重要。在这些情况下，精美的输出是不够的。工作流程需要证据、升级和可问责的所有权。
如何工作
首先分离角色。操作员在任务期间使用系统。审查员检查AI辅助的输出或建议的操作。负责决策的所有者对最终决策和后果负责。在小团队中，一个人可以承担多个角色，但角色仍应明确。
下一步将审查强度与风险匹配。低风险的草稿可能需要快速的人工阅读。面向客户的资料可能需要来源检查和语气审查。安全变更可能需要技术验证。招聘、医疗、法律或财务决策可能需要有资格的人类负责人、记录的证据和明确的申诉或撤销路径。
人工在环、人工在回路和最终批准是很有用的实现模式，但它们并不是普遍固定的定义。在一个产品中，人工在环可能意味着每次操作前都需要批准。在另一个产品中，它可能意味着对抽样输出进行审查。重要的是，人类实际上能看到和控制什么。
一个好的监督设计还应定义干预措施。审查者应知道如何暂停工作流、拒绝输出、要求更多证据、升级到专家、更正记录、回滚操作，或记录为何未遵循AI建议的原因。
端到端示例
想象一个支持团队使用AI助手起草退款回复。对于低价值的常规请求，助手起草回复，操作员在发送前进行审查。对于不寻常的请求、法律语言、愤怒的客户或大额退款，工作流会升级到高级审查者。
人工审核员可以看到客户事实、退款政策、来源段落、AI草稿、产品提供的信心警告以及之前的账户备注。审核员可以编辑、拒绝或升级处理。负责的负责人决定是否退款。这是监督，因为人类有上下文、权威，并且有改变结果的实质性机会。
常见误解
一个常见的误解是，人工审核可以保证安全。事实并非如此。人类可能会忽略错误，过于信任流畅的AI，草率地批准建议，感到疲倦，或者缺乏做出决策所需的专长。人工监督是一种必须设计和测试的控制措施，而不是一种魔法盾牌。
另一个误解是监督意味着每个AI输出都需要相同的手动审查。这可能导致疲劳和延迟，而不会减少真正的风险。基于风险的监督将人类注意力集中在最可能出错的地方。
风险和限制
缺乏监督可能比没有监督更糟糕，因为它会制造虚假的自信。一个流程可能声称有人类在负责，但实际上给人的时间太少、证据太少，或者没有权力阻止该行动。这可能会掩盖责任，而不是改善责任。
NIST将生成式AI的风险管理视为持续的生命周期责任 [3]。对于监督，这意味着团队应监控审查者是否真的能发现问题，升级路径是否有效，以及用户是否了解系统限制。CHI关于人机交互的指南也强调了设定期望、支持更正，并让用户能够提供反馈的可能性 [4]。
实用判断检查表
在依赖人工监督之前，请问：操作员是谁？审查者是谁？最终决策由谁负责？审查者能看到什么证据？审查者能否停止或撤销该操作？什么情况需要升级？当审查者与AI输出意见不一致时会发生什么？
还要问评审人是否有足够的专业知识和时间。法律、医疗、就业、安全或财务决策需要的不仅仅是快速一瞥。评审应与AI输出错误、不完整、有偏见、过时或应用于错误案例时可能造成的伤害相匹配。