一句话定义
上下文窗口是指模型可以处理的一个推理序列或请求的标记容量 [1]。
快速回答
上下文窗口是模型在单个请求期间拥有的工作空间。它通常以标记为单位进行衡量，标记是小段文本。产品可能在模型生成答案之前，将用户消息、系统指令、示例、检索到的段落、对话历史、工具结果和输出约束放入该空间中。
上下文窗口与记忆不同。只有当产品将历史记录重新放入模型上下文时，对话历史才会影响当前请求。产品记忆、存储的用户偏好、检索和上下文窗口是独立的机制，即使产品在一个界面上结合了它们。
为什么重要
上下文窗口决定了模型在单次交互中可以使用的内容。如果用户粘贴了一段简短的合同，模型可能有空间容纳整个文档和问题。如果用户粘贴了一长串笔记，产品可能需要截断、总结、检索选定的片段或拒绝部分输入。
这很重要，因为人们常常假设如果信息在聊天中出现得更早，模型仍然拥有它。这可能不正确。产品可能只包括最近的对话、摘要、选定的记忆、检索到的文档，或者根本没有之前的上下文。可见的聊天线程不一定是发送给模型的确切上下文。
这也很重要，因为更大的上下文窗口并不保证能更好地利用每个细节。《中间迷失》研究发现，评估的语言模型和任务对长输入上下文中的相关信息出现的位置敏感，当相关信息出现在中间时，性能通常更差 [2]。这一结果应归因于所研究的系统和任务，而不是转化为普遍的说法，即每个模型总是忽略中间部分。
如何工作
在生成之前，应用程序会组装一个请求。该请求可以包括系统级指令、用户消息、产品选择的对话历史、示例、检索到的段落、工具输出和格式规则。然后，模型处理该组装上下文中的标记，并作为输出生成新的标记。
输入和输出限制是产品和模型实现的细节。在某些系统中，输入标记和生成的输出共享一个总容量。在其他系统中，文档可能说明单独的输入和输出限制。一篇概念文章不应将一种分配规则视为所有产品的普遍规则。
当组装的上下文太大时，应用程序必须决定该怎么做。它可能会删除较旧的消息，进行总结，仅检索选定的段落，要求用户缩短输入，或把任务拆分成较小的请求。每个选择都会改变模型可以使用的证据。
端到端示例
想象一个学生让AI助手比较三篇文章。第一篇文章很短，第二篇很长，第三篇是在长时间对话后粘贴的。产品可能包括用户请求、一些系统指令、部分对话历史和文章文本。如果总长度太大，可能会丢弃较早的对话回合或使用摘要。
一个好的工作流程会让这一点变得清晰。学生可以问："你使用了哪些资料？"并检查答案是否确实引用了所有三篇文章。如果上下文中缺少一篇文章，答案可能仍然听起来完整，但只反映了模型接收到的内容。
常见误解
最大的误解是上下文窗口意味着记忆。记忆意味着产品存储信息并在以后重新调用它。上下文窗口是单个请求的容量。产品可能单独存储偏好或摘要，但这些存储的信息只有在产品将其插入当前上下文时才会影响生成。
另一个误解是上下文窗口内的所有内容都会得到同等的关注和可靠的使用。模型可能会遗漏、稀释或错误地应用信息，尤其是在长篇、复杂或矛盾的上下文中。出现在请求中并不等于被正确使用。
风险和限制
更长的上下文有助于处理大文档、多步骤任务和更丰富的示例，但也带来了风险。用户可能会粘贴比需要的更敏感的数据。检索的段落可能包含过时或敌对的文本。长输入会使人们更难验证哪些证据驱动了答案。
NIST将生成式AI的风险视为涉及设计、使用、监控和评估的生命周期风险 [3]。对于上下文窗口，这意味着团队应测试产品包含的内容、丢弃的内容、如何处理长输入，以及用户是否了解限制。
实用判断检查表
在依赖长上下文的答案之前，请问：实际包含哪些文档或消息？有没有被总结或省略的内容？答案是否引用了支持每个重要主张的确切段落？是否可能包含敏感数据？是否有旧消息或检索到的文档包含与任务冲突的指令？
在阅读、比较、从提供的材料中起草以及保持任务连贯性时，使用长上下文。当答案影响政策、法律、医疗、财务、雇佣、客户或安全决策时，请放慢速度。更大的上下文窗口为模型提供了更多的可能证据，而不是自动正确性。