Auto-sync: 2026-04-18 12:03

2026-04-18 12:03:11 +08:00
parent 1a82750f1c
commit 7d361490b2
85 changed files with 2857 additions and 7 deletions
--- a/wiki/concepts/Token.md
+++ b/wiki/concepts/Token.md
@@ -0,0 +1,18 @@
+---
+title: "Token"
+type: concept
+tags: [llm, token]
+date: 2025-12-20
+---
+
+## Definition
+大模型各种算法的基本输入单元，可以认为是一个单词或者一个短语。
+
+## Token Calculation Rules
+- 1 个英文字符 ≈ 0.3 个 token
+- 1 个中文字符 ≈ 0.6 个 token
+
+## Related Concepts
+- [[LLM]]：使用 Token 作为输入的语言模型
+- [[Embedding]]：将 Token 转化为向量化表示
+- [[vLLM]]：优化 Token 处理效率的推理引擎