2.3 KiB
2.3 KiB
title, type, tags, date, source_file
| title | type | tags | date | source_file | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏 | source |
|
2025-12-20 | ../raw/AI/大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏.md |
Summary
- 核心主题：大模型核心术语和技术框架
- 问题域：梳理LLM、MCP、RAG、Agent、LangChain、vLLM、蒸馏等术语
- 方法/机制：解释各术语的定义、原理和应用场景
- 结论/价值：为理解大模型技术体系提供基础词汇表
Key Claims
- LLM（Large Language Model）：通常以参数规模≥1B被称为"大模型"
- Prompt：输入给大模型的语句
- MCP（Model Context Protocol）：为LLM提供标准化接口连接外部数据源和工具
- Agent：大模型+MCP工具融合后的智能体
- RAG（Retrieval-augmented generation）：检索增强生成，解决hallucination问题
- Embedding：向量化，将词转化为浮点型数字计算词与词之间的距离
- LangChain：快速实现agent的开发框架
- vLLM：通过PagedAttention和连续批处理优化GPU内存利用
- KV Cache：保存历史K/V向量，避免重复计算
- Token：大模型基本输入单元，中文约0.6个token/字符
- 数据蒸馏：用大模型生成精简数据训练小模型
Key Concepts
- LLM：大语言模型
- MCP：模型上下文协议
- Agent：智能体
- RAG：检索增强生成
- Embedding：向量化
- LangChain：Agent开发框架
- vLLM：高效LLM推理引擎
- KV Cache：键值缓存
- Token：令牌，大模型基本输入单元
- 数据蒸馏：知识蒸馏，用大模型数据训练小模型
- PagedAttention：vLLM的内存管理技术
- 连续批处理：vLLM的推理优化技术
- Hallucination：大模型一本正经胡说八道的现象
Key Entities
Connections
- LLM ← uses ← Token
- LLM ← enhanced_by ← RAG
- LLM ← enhanced_by ← Agent
- Agent ← built_with ← MCP
- vLLM ← uses ← PagedAttention
- vLLM ← uses ← KV Cache
- 数据蒸馏 ← generates ← LLM