Auto-sync: 2026-04-16 17:30

wiki/concepts/Token.md

@@ -1,30 +0,0 @@
----
-title: "Token"
-type: concept
-tags: [llm, fundamental-unit]
-last_updated: 2025-12-20
----
-
-## 基本信息
-- **类型**：基本输入单元
-- **来源**：大模型相关术语和框架总结
-
-## 定义
-Token 是大模型各种算法的基本输入单元，可以认为是一个单词或者一个短语。
-
-## 计量规则
-- 1 个英文字符 ≈ 0.3 个 token
-- 1 个中文字符 ≈ 0.6 个 token
-
-## 重要性
-- Token 数量直接影响 LLM 的计算成本
-- 上下文窗口长度以 token 为单位限制
-- Tokenization 是 LLM 处理文本的第一步
-
-## 关联
-- [[LLM]] ← 基本输入单元
-- [[Embedding]] ← Token 转化为向量
-
-## Aliases
-- Tokens
-- 词元