1.1 KiB
1.1 KiB
title, type, tags, last_updated
| title | type | tags | last_updated | |||||
|---|---|---|---|---|---|---|---|---|
| Context Window | concept |
|
2025-01-16 |
Definition
Context Window（上下文窗口）是 LLM 或 Embedding Model 一次性处理的最大 token 数量。超过该限制的内容无法被模型感知，必须切分或截断。
Key Numbers
- Embedding Model：通常 512~8192 token（如 BAAI/bge 系列）
- LLM：差异极大，从 4K（GPT-3.5）到 200K+（Claude 3）不等
Practical Impact
对 Embedding Model
- 决定单次可 Embedding 的最大文本长度
- 超过则需 Split（切分文档）
对 LLM（Generation 阶段）
- 决定用户问题 + 检索上下文 + 系统 Prompt 的总 token 预算
- 超过则需截断（可能丢失关键信息）
Token Estimation
- 英文：1 token ≈ 3~4 个字母
- 中文：1 token ≈ 1 个汉字
Related Concepts
- Split — 文档需要切分以满足 Context Window 约束
- Embedding — Embedding Model 的 Context Window 限制
- Token — Context Window 的计量单位
- Generation — LLM 的 Context Window 决定最终可输入的上下文量