33 lines
1.1 KiB
Markdown
33 lines
1.1 KiB
Markdown
---
|
||
title: "Context Window"
|
||
type: concept
|
||
tags: [llm, context-window, token, embedding, rag]
|
||
last_updated: 2025-01-16
|
||
---
|
||
|
||
## Definition
|
||
Context Window（上下文窗口）是 LLM 或 Embedding Model 一次性处理的最大 token 数量。超过该限制的内容无法被模型感知，必须切分或截断。
|
||
|
||
## Key Numbers
|
||
- **Embedding Model**：通常 512~8192 token（如 BAAI/bge 系列）
|
||
- **LLM**：差异极大，从 4K（GPT-3.5）到 200K+（Claude 3）不等
|
||
|
||
## Practical Impact
|
||
### 对 Embedding Model
|
||
- 决定单次可 Embedding 的最大文本长度
|
||
- 超过则需 Split（切分文档）
|
||
|
||
### 对 LLM（Generation 阶段）
|
||
- 决定用户问题 + 检索上下文 + 系统 Prompt 的总 token 预算
|
||
- 超过则需截断（可能丢失关键信息）
|
||
|
||
## Token Estimation
|
||
- **英文**：1 token ≈ 3~4 个字母
|
||
- **中文**：1 token ≈ 1 个汉字
|
||
|
||
## Related Concepts
|
||
- [[Split]] — 文档需要切分以满足 Context Window 约束
|
||
- [[Embedding]] — Embedding Model 的 Context Window 限制
|
||
- [[Token]] — Context Window 的计量单位
|
||
- [[Generation]] — LLM 的 Context Window 决定最终可输入的上下文量
|