nexus/wiki/concepts/Token.md

title, type, tags, last_updated

title	type	tags	last_updated
Token	concept	llm fundamental-unit	2025-12-20

基本信息

• 类型：基本输入单元
• 来源：大模型相关术语和框架总结

定义

Token 是大模型各种算法的基本输入单元，可以认为是一个单词或者一个短语。

计量规则

• 1 个英文字符 ≈ 0.3 个 token
• 1 个中文字符 ≈ 0.6 个 token

重要性

• Token 数量直接影响 LLM 的计算成本
• 上下文窗口长度以 token 为单位限制
• Tokenization 是 LLM 处理文本的第一步

关联

• LLM ← 基本输入单元
• Embedding ← Token 转化为向量

Aliases

• Tokens
• 词元