--- title: "Token" type: concept tags: [llm, token] date: 2025-12-20 --- ## Definition 大模型各种算法的基本输入单元,可以认为是一个单词或者一个短语。 ## Token Calculation Rules - 1 个英文字符 ≈ 0.3 个 token - 1 个中文字符 ≈ 0.6 个 token ## Related Concepts - [[LLM]]:使用 Token 作为输入的语言模型 - [[Embedding]]:将 Token 转化为向量化表示 - [[vLLM]]:优化 Token 处理效率的推理引擎