18 lines
466 B
Markdown
18 lines
466 B
Markdown
---
|
|
title: "Token"
|
|
type: concept
|
|
tags: [llm, token]
|
|
date: 2025-12-20
|
|
---
|
|
|
|
## Definition
|
|
大模型各种算法的基本输入单元，可以认为是一个单词或者一个短语。
|
|
|
|
## Token Calculation Rules
|
|
- 1 个英文字符 ≈ 0.3 个 token
|
|
- 1 个中文字符 ≈ 0.6 个 token
|
|
|
|
## Related Concepts
|
|
- [[LLM]]：使用 Token 作为输入的语言模型
|
|
- [[Embedding]]：将 Token 转化为向量化表示
|
|
- [[vLLM]]：优化 Token 处理效率的推理引擎 |