AI 助手

对于本指南，AI助手是一个产品或工作流界面，它使用AI功能帮助人们完成任务；其功能和自主程度因产品而异。

"AI助手"是一个不断发展的产品类别，目前还没有一个被普遍接受的技术定义。在日常使用中，它通常指帮助人们写作、总结、搜索、计划、编程、分析、组织或采取下一步行动的软件。该助手可能使用语言模型、检索、记忆功能、工具或工作流规则，但这些组件并不是每个被称为AI助手的产品都必须的。

助手并不等同于底层模型。模型生成或评分输出。助手是围绕其之上的产品层：界面、指令、权限、工具、记忆选择、检索、安全规则、日志和交接流程。一些助手只起草文本。一些可以调用工具。一些可以在获得批准后执行有限的操作。这些差异很重要。

人们在搜索、办公软件、代码编辑器、客服台、学习工具、设计产品、浏览器和移动应用中遇到AI助手。该标签可以让系统显得更个性化和有能力。这可能有用，但也可能模糊责任。一个有帮助的界面仍然是有局限的软件。

CHI关于人机交互的指南强调了诸如设定期望、展示上下文相关的信息、支持高效纠正和启用用户反馈等模式 [1]。这些理念非常适合助手，因为用户需要了解系统能做什么，在系统失败时进行纠正，并在风险上升时保持控制。

对于团队来说，助手具有吸引力，因为它们可以将多个AI功能整合到一个工作流中。一个支持助手可能会分类工单、检索政策、起草回复并建议升级。系统可以节省时间，但每个功能都需要自己的边界和审查路径。

一个简单的助手可能将用户提示发送给语言模型并显示生成的答案。一个更复杂的助手可能使用系统指令、之前的对话、检索到的文档、账户数据、工具输出和格式规则来构建提示。然后产品决定向用户显示什么以及可用的任何操作。

记忆功能是产品功能，而不是证明底层模型像人一样记忆的证据。产品可能会存储偏好或摘要并在后续上下文中插入。这些存储的信息应有控制措施：查看、编辑、删除、禁用和政策清晰度。没有这些控制措施，记忆可能会造成隐私和期望问题。

工具访问和代理行为需要单独的权限、控制和审查边界。能够起草电子邮件的助手与能够发送电子邮件的助手不同。能够搜索日历的助手与能够预订会议的助手不同。代理行为应被视为更高控制的工作流程，不能仅从助手标签中假设。

想象一个内部人力资源助手。一名员工问：“我能否在另一个州远程工作两个月？”助手可能会检索人力资源政策，询问员工的位置，总结政策，并起草给经理的信息。它不应在没有适当权限和审查的情况下静默批准该安排、更新薪资记录或发送法律指导。

一个好的助手会展示政策来源，说明不确定性，识别缺失的细节，并在涉及税收、法律或雇佣规则时将问题转交给人类负责人。有用的部分不是助手听起来多么自信。有用的部分是它在保持权威可见的同时组织任务。

最大的误解是AI助手自动就是AI代理。一些助手可以跨工具进行计划和执行操作，但许多只是回答、起草或总结。类似代理的行为取决于产品设计、权限、工具、记忆和操作循环。

另一个误解是助手知道用户在产品中能看到的全部信息。它可能只接收到选定的上下文。它可能无法访问某个文件、账户记录或之前的对话。它也可能有用户看不到的产品指令。用户应询问使用了哪些信息，尤其是在重要决策时。

AI助手可能会产生幻觉、误解目标、越权、泄露敏感数据或让用户过度依赖精美的界面。经合组织将AI系统定义为能够影响环境的机器系统，这符合需要在上下文中检查助手输出和行为的需求[2]。NIST将AI风险管理视为一个持续的生命周期责任[3]。

实际风险是无边界地委托。如果助手可以访问工具、检索私人文档、记住偏好或代表用户行事，产品需要权限检查、日志记录、审查、回滚和清晰的用户控制。助手能做的事情越多，控制模型就应该越明显。

在依赖AI助手之前，请问：它在帮助完成什么任务？其下层使用的是什么模型或系统？它使用了什么上下文？它可以访问工具或私有数据吗？它可以采取行动，还是只能建议？我可以检查、更正或撤销结果吗？最终决策由谁负责？

使用助手进行起草、总结、组织、搜索和准备工作的任务。当助手涉及金钱、健康、法律、雇佣、客户账户、安全、私人数据或不可逆操作时，请放慢速度。一个有用的助手应该让工作更容易，同时保持证据、限制和责任可见。