Auto-sync: update nexus workspace
This commit is contained in:
22
wiki/concepts/Token.md
Normal file
22
wiki/concepts/Token.md
Normal file
@@ -0,0 +1,22 @@
|
||||
---
|
||||
title: "Token"
|
||||
type: concept
|
||||
tags: [token, llm, pricing, metering]
|
||||
aliases: [Token, Tokens, 分词, 词元]
|
||||
last_updated: 2025-12-20
|
||||
---
|
||||
|
||||
## Definition
|
||||
Token,大语言模型的基本输入单元,可以认为是一个单词或一个短语。是模型计费和性能计算的基础单位。
|
||||
|
||||
## Key Facts
|
||||
- 英文:1 个字符 ≈ 0.3 个 Token
|
||||
- 中文:1 个字符 ≈ 0.6 个 Token(即中文 Token 消耗约是英文的 2 倍)
|
||||
- Token 数量直接影响 API 调用成本和响应延迟
|
||||
- Tokenization(分词)是将自然语言文本转换为 Token 序列的过程
|
||||
|
||||
## Connections
|
||||
- [[Large Language Model]] ← 计量单位 ← [[Token]]
|
||||
|
||||
## Sources
|
||||
- [[大模型相关术语和框架总结|llm-mcp-prompt-rag-vllm-token-数据蒸馏]]
|
||||
Reference in New Issue
Block a user