Auto-sync

wiki/concepts/Token.md

@@ -0,0 +1,30 @@
+---
+title: "Token"
+type: concept
+tags: [llm, fundamental-unit]
+last_updated: 2025-12-20
+---
+
+## 基本信息
+- **类型**：基本输入单元
+- **来源**：大模型相关术语和框架总结
+
+## 定义
+Token 是大模型各种算法的基本输入单元，可以认为是一个单词或者一个短语。
+
+## 计量规则
+- 1 个英文字符 ≈ 0.3 个 token
+- 1 个中文字符 ≈ 0.6 个 token
+
+## 重要性
+- Token 数量直接影响 LLM 的计算成本
+- 上下文窗口长度以 token 为单位限制
+- Tokenization 是 LLM 处理文本的第一步
+
+## 关联
+- [[LLM]] ← 基本输入单元
+- [[Embedding]] ← Token 转化为向量
+
+## Aliases
+- Tokens
+- 词元