757 B
757 B
title, type, tags, aliases, last_updated
| title | type | tags | aliases | last_updated | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Token | concept |
|
|
2025-12-20 |
Definition
Token，大语言模型的基本输入单元，可以认为是一个单词或一个短语。是模型计费和性能计算的基础单位。
Key Facts
- 英文：1 个字符 ≈ 0.3 个 Token
- 中文：1 个字符 ≈ 0.6 个 Token（即中文 Token 消耗约是英文的 2 倍）
- Token 数量直接影响 API 调用成本和响应延迟
- Tokenization（分词）是将自然语言文本转换为 Token 序列的过程
Connections
- Large Language Model ← 计量单位 ← Token