57 lines
2.3 KiB
Markdown
57 lines
2.3 KiB
Markdown
---
|
||
title: 大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏
|
||
type: source
|
||
tags: [LLM, MCP, RAG, vLLM, Token, 数据蒸馏]
|
||
date: 2025-12-20
|
||
source_file: ../raw/AI/大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏.md
|
||
---
|
||
|
||
## Summary
|
||
- 核心主题：大模型核心术语和技术框架
|
||
- 问题域：梳理LLM、MCP、RAG、Agent、LangChain、vLLM、蒸馏等术语
|
||
- 方法/机制：解释各术语的定义、原理和应用场景
|
||
- 结论/价值：为理解大模型技术体系提供基础词汇表
|
||
|
||
## Key Claims
|
||
- LLM（Large Language Model）：通常以参数规模≥1B被称为"大模型"
|
||
- Prompt：输入给大模型的语句
|
||
- [[MCP]]（Model Context Protocol）：为LLM提供标准化接口连接外部数据源和工具
|
||
- [[Agent]]：大模型+MCP工具融合后的智能体
|
||
- [[RAG]]（Retrieval-augmented generation）：检索增强生成，解决hallucination问题
|
||
- [[Embedding]]：向量化，将词转化为浮点型数字计算词与词之间的距离
|
||
- [[LangChain]]：快速实现agent的开发框架
|
||
- [[vLLM]]：通过PagedAttention和连续批处理优化GPU内存利用
|
||
- [[KV Cache]]：保存历史K/V向量，避免重复计算
|
||
- Token：大模型基本输入单元，中文约0.6个token/字符
|
||
- 数据蒸馏：用大模型生成精简数据训练小模型
|
||
|
||
## Key Concepts
|
||
- [[LLM]]：大语言模型
|
||
- [[MCP]]：模型上下文协议
|
||
- [[Agent]]：智能体
|
||
- [[RAG]]：检索增强生成
|
||
- [[Embedding]]：向量化
|
||
- [[LangChain]]：Agent开发框架
|
||
- [[vLLM]]：高效LLM推理引擎
|
||
- [[KV Cache]]：键值缓存
|
||
- [[Token]]：令牌，大模型基本输入单元
|
||
- [[数据蒸馏]]：知识蒸馏，用大模型数据训练小模型
|
||
- [[PagedAttention]]：vLLM的内存管理技术
|
||
- [[连续批处理]]：vLLM的推理优化技术
|
||
- [[Hallucination]]：大模型一本正经胡说八道的现象
|
||
|
||
## Key Entities
|
||
- [[LangChain]]：Agent开发框架
|
||
- [[vLLM]]：开源LLM推理优化项目
|
||
|
||
## Connections
|
||
- [[LLM]] ← uses ← [[Token]]
|
||
- [[LLM]] ← enhanced_by ← [[RAG]]
|
||
- [[LLM]] ← enhanced_by ← [[Agent]]
|
||
- [[Agent]] ← built_with ← [[MCP]]
|
||
- [[vLLM]] ← uses ← [[PagedAttention]]
|
||
- [[vLLM]] ← uses ← [[KV Cache]]
|
||
- [[数据蒸馏]] ← generates ← [[LLM]]
|
||
|
||
## Contradictions
|