53 lines
3.2 KiB
Markdown
53 lines
3.2 KiB
Markdown
---
|
||
title: "大模型术语全总结：LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏"
|
||
type: source
|
||
tags: ['LLM', 'MCP', 'RAG', 'vLLM', 'Token', '数据蒸馏', '术语', 'AI']
|
||
date: 2025-12-20
|
||
source: https://mp.weixin.qq.com/s/
|
||
author: AI工程化
|
||
---
|
||
|
||
## Source File
|
||
- [[raw/AI/大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏.md]]
|
||
|
||
## Summary
|
||
- 核心主题：系统梳理大模型核心术语（LLM、MCP、RAG、Agent、LangChain、vLLM、Token、数据蒸馏）的含义与关系
|
||
- 问题域：AI 术语快速迭代，开发者难以系统理解核心概念及其关联
|
||
- 方法/机制：每个术语配合图示和生活化比喻，解释技术本质和协作关系
|
||
- 结论/价值：形成完整 LLM 技术栈认知地图：LLM（推理）+MCP（工具连接）+RAG（知识补充）+vLLM（高效推理）
|
||
|
||
## Key Claims
|
||
- **LLM**：≥1B 参数的语言模型；GPT-2=1.5B、GPT-3=175B；分底座（通用）和专有（专项）两类
|
||
- **Prompt**：输入 LLM 的提示词，是与大模型交互的唯一接口
|
||
- **MCP（模型上下文协议）**：LLM 连接外部数据源/工具的标准化协议；大模型只告诉你"该调用什么工具"，实际调用需通过 MCP Client→Server 执行
|
||
- **Agent = LLM + MCP**：LLM 输出步骤，Agent 执行动作；LLM 给你"发邮件的方法"，Agent 真正发出邮件
|
||
- **RAG（检索增强生成）**：解决 LLM 幻觉问题；检索外部知识库→将 chunk+问题输入 LLM→基于上下文生成；比做给"天才大脑"配"图书馆助理"
|
||
- **Embedding（向量化）**：词→浮点数向量→计算语义距离；"一百"到"两百"比到"一千"更近
|
||
- **LangChain**：快速构建 Agent 的开发框架，标准接口连接 LLM、工具、数据源
|
||
- **vLLM**：高效 GPU 推理引擎；核心：PagedAttention（KV Cache 分块管理）+ 连续批处理（减少 GPU 空载）
|
||
- **Token**：基本输入单元；1英文字符≈0.3 Token；1中文字符≈0.6 Token
|
||
- **数据蒸馏（Data Distillation）**：用大模型生成精简高质量训练数据，蒸馏到小模型使其逼近大模型效果
|
||
|
||
## Key Quotes
|
||
> "大模型是不会自己去调用外部数据源或者工具的，大模型只会告诉我们需要调用哪些工具，而我们需要自己去实现工具的调用。"
|
||
> "LLM 复习局限于特定的数据集，面对陌生领域会'写一个解字然后放飞自我'，RAG 给了提示，让正确率从 60% 到 90%。"
|
||
|
||
## Key Concepts
|
||
- [[MCP]]（模型上下文协议）：LLM 连接外部工具/数据的标准化通信协议，Anthropic/Claude Code/ Cursor 均支持
|
||
- [[Agent执行模型]]：LLM（给步骤） + MCP（执行工具） = Agent（真正完成任务）
|
||
- [[PagedAttention]]：vLLM 的 KV Cache 分块管理技术，避免连续内存碎片化和 OOM
|
||
- [[连续批处理]]（Continuous Batching）：vLLM 推理优化，步进级调度 GPU 任务，减少空闲
|
||
|
||
## Key Entities
|
||
- [[LangChain]]：Agent 开发框架
|
||
- [[vLLM]]：高效 LLM 推理开源项目
|
||
|
||
## Connections
|
||
- [[Agent]] ← is_combined_from ← [[LLM]] + [[MCP]]
|
||
- [[RAG]] ← augments ← [[LLM]]
|
||
- [[vLLM]] ← enables ← [[LLM]]（高效推理）
|
||
- [[数据蒸馏]] ← trains ← [[LLM]]
|
||
|
||
## Contradictions
|
||
- （无已知冲突）
|