nexus/wiki/concepts/Token.md

title, type, tags, date

title	type	tags	date
Token	concept	llm token	2025-12-20

Definition

大模型各种算法的基本输入单元，可以认为是一个单词或者一个短语。

Token Calculation Rules

• 1 个英文字符 ≈ 0.3 个 token
• 1 个中文字符 ≈ 0.6 个 token

Related Concepts

• LLM：使用 Token 作为输入的语言模型
• Embedding：将 Token 转化为向量化表示
• vLLM：优化 Token 处理效率的推理引擎