ishenwei/nexus
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
914c8f6925aed40c2381e1f9d977e70ab1fdceb7
nexus/wiki/concepts/Token.md
weishen 7d361490b2 Auto-sync: 2026-04-18 12:03
2026-04-18 12:03:16 +08:00

466 B
Raw Blame History

title, type, tags, date
title type tags date
Token concept
llm
token
2025-12-20

Definition

大模型各种算法的基本输入单元，可以认为是一个单词或者一个短语。

Token Calculation Rules

  • 1 个英文字符 ≈ 0.3 个 token
  • 1 个中文字符 ≈ 0.6 个 token

Related Concepts

  • LLM：使用 Token 作为输入的语言模型
  • Embedding：将 Token 转化为向量化表示
  • vLLM：优化 Token 处理效率的推理引擎
Reference in New Issue View Git Blame Copy Permalink