一句话定义
对于本指南,AI助手是一个产品或工作流界面,它使用AI功能帮助人们完成任务;其功能和自主程度因产品而异。
快速回答
"AI助手"是一个不断发展的产品类别,目前还没有一个被普遍接受的技术定义。在日常使用中,它通常指帮助人们写作、总结、搜索、计划、编程、分析、组织或采取下一步行动的软件。该助手可能使用语言模型、检索、记忆功能、工具或工作流规则,但这些组件并不是每个被称为AI助手的产品都必须的。
助手并不等同于底层模型。模型生成或评分输出。助手是围绕其之上的产品层:界面、指令、权限、工具、记忆选择、检索、安全规则、日志和交接流程。一些助手只起草文本。一些可以调用工具。一些可以在获得批准后执行有限的操作。这些差异很重要。
为什么重要
人们在搜索、办公软件、代码编辑器、客服台、学习工具、设计产品、浏览器和移动应用中遇到AI助手。该标签可以让系统显得更个性化和有能力。这可能有用,但也可能模糊责任。一个有帮助的界面仍然是有局限的软件。
CHI关于人机交互的指南强调了诸如设定期望、展示上下文相关的信息、支持高效纠正和启用用户反馈等模式 [1]。这些理念非常适合助手,因为用户需要了解系统能做什么,在系统失败时进行纠正,并在风险上升时保持控制。
对于团队来说,助手具有吸引力,因为它们可以将多个AI功能整合到一个工作流中。一个支持助手可能会分类工单、检索政策、起草回复并建议升级。系统可以节省时间,但每个功能都需要自己的边界和审查路径。
如何工作
一个简单的助手可能将用户提示发送给语言模型并显示生成的答案。一个更复杂的助手可能使用系统指令、之前的对话、检索到的文档、账户数据、工具输出和格式规则来构建提示。然后产品决定向用户显示什么以及可用的任何操作。
记忆功能是产品功能,而不是证明底层模型像人一样记忆的证据。产品可能会存储偏好或摘要并在后续上下文中插入。这些存储的信息应有控制措施:查看、编辑、删除、禁用和政策清晰度。没有这些控制措施,记忆可能会造成隐私和期望问题。
工具访问和代理行为需要单独的权限、控制和审查边界。能够起草电子邮件的助手与能够发送电子邮件的助手不同。能够搜索日历的助手与能够预订会议的助手不同。代理行为应被视为更高控制的工作流程,不能仅从助手标签中假设。
端到端示例
想象一个内部人力资源助手。一名员工问:“我能否在另一个州远程工作两个月?”助手可能会检索人力资源政策,询问员工的位置,总结政策,并起草给经理的信息。它不应在没有适当权限和审查的情况下静默批准该安排、更新薪资记录或发送法律指导。
一个好的助手会展示政策来源,说明不确定性,识别缺失的细节,并在涉及税收、法律或雇佣规则时将问题转交给人类负责人。有用的部分不是助手听起来多么自信。有用的部分是它在保持权威可见的同时组织任务。
常见误解
最大的误解是AI助手自动就是AI代理。一些助手可以跨工具进行计划和执行操作,但许多只是回答、起草或总结。类似代理的行为取决于产品设计、权限、工具、记忆和操作循环。
另一个误解是助手知道用户在产品中能看到的全部信息。它可能只接收到选定的上下文。它可能无法访问某个文件、账户记录或之前的对话。它也可能有用户看不到的产品指令。用户应询问使用了哪些信息,尤其是在重要决策时。
风险和限制
AI助手可能会产生幻觉、误解目标、越权、泄露敏感数据或让用户过度依赖精美的界面。经合组织将AI系统定义为能够影响环境的机器系统,这符合需要在上下文中检查助手输出和行为的需求[2]。NIST将AI风险管理视为一个持续的生命周期责任[3]。
实际风险是无边界地委托。如果助手可以访问工具、检索私人文档、记住偏好或代表用户行事,产品需要权限检查、日志记录、审查、回滚和清晰的用户控制。助手能做的事情越多,控制模型就应该越明显。
实用判断检查表
在依赖AI助手之前,请问:它在帮助完成什么任务?其下层使用的是什么模型或系统?它使用了什么上下文?它可以访问工具或私有数据吗?它可以采取行动,还是只能建议?我可以检查、更正或撤销结果吗?最终决策由谁负责?
使用助手进行起草、总结、组织、搜索和准备工作的任务。当助手涉及金钱、健康、法律、雇佣、客户账户、安全、私人数据或不可逆操作时,请放慢速度。一个有用的助手应该让工作更容易,同时保持证据、限制和责任可见。