31 lines
676 B
Markdown
31 lines
676 B
Markdown
---
|
|
title: "Token"
|
|
type: concept
|
|
tags: [llm, fundamental-unit]
|
|
last_updated: 2025-12-20
|
|
---
|
|
|
|
## 基本信息
|
|
- **类型**：基本输入单元
|
|
- **来源**：大模型相关术语和框架总结
|
|
|
|
## 定义
|
|
Token 是大模型各种算法的基本输入单元，可以认为是一个单词或者一个短语。
|
|
|
|
## 计量规则
|
|
- 1 个英文字符 ≈ 0.3 个 token
|
|
- 1 个中文字符 ≈ 0.6 个 token
|
|
|
|
## 重要性
|
|
- Token 数量直接影响 LLM 的计算成本
|
|
- 上下文窗口长度以 token 为单位限制
|
|
- Tokenization 是 LLM 处理文本的第一步
|
|
|
|
## 关联
|
|
- [[LLM]] ← 基本输入单元
|
|
- [[Embedding]] ← Token 转化为向量
|
|
|
|
## Aliases
|
|
- Tokens
|
|
- 词元
|