--- title: "大模型术语全总结:LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏" type: source tags: ['LLM', 'MCP', 'RAG', 'vLLM', 'Token', '数据蒸馏', '术语', 'AI'] date: 2025-12-20 source: https://mp.weixin.qq.com/s/ author: AI工程化 --- ## Source File - [[raw/AI/大模型相关术语和框架总结|LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏.md]] ## Summary - 核心主题:系统梳理大模型核心术语(LLM、MCP、RAG、Agent、LangChain、vLLM、Token、数据蒸馏)的含义与关系 - 问题域:AI 术语快速迭代,开发者难以系统理解核心概念及其关联 - 方法/机制:每个术语配合图示和生活化比喻,解释技术本质和协作关系 - 结论/价值:形成完整 LLM 技术栈认知地图:LLM(推理)+MCP(工具连接)+RAG(知识补充)+vLLM(高效推理) ## Key Claims - **LLM**:≥1B 参数的语言模型;GPT-2=1.5B、GPT-3=175B;分底座(通用)和专有(专项)两类 - **Prompt**:输入 LLM 的提示词,是与大模型交互的唯一接口 - **MCP(模型上下文协议)**:LLM 连接外部数据源/工具的标准化协议;大模型只告诉你"该调用什么工具",实际调用需通过 MCP Client→Server 执行 - **Agent = LLM + MCP**:LLM 输出步骤,Agent 执行动作;LLM 给你"发邮件的方法",Agent 真正发出邮件 - **RAG(检索增强生成)**:解决 LLM 幻觉问题;检索外部知识库→将 chunk+问题输入 LLM→基于上下文生成;比做给"天才大脑"配"图书馆助理" - **Embedding(向量化)**:词→浮点数向量→计算语义距离;"一百"到"两百"比到"一千"更近 - **LangChain**:快速构建 Agent 的开发框架,标准接口连接 LLM、工具、数据源 - **vLLM**:高效 GPU 推理引擎;核心:PagedAttention(KV Cache 分块管理)+ 连续批处理(减少 GPU 空载) - **Token**:基本输入单元;1英文字符≈0.3 Token;1中文字符≈0.6 Token - **数据蒸馏(Data Distillation)**:用大模型生成精简高质量训练数据,蒸馏到小模型使其逼近大模型效果 ## Key Quotes > "大模型是不会自己去调用外部数据源或者工具的,大模型只会告诉我们需要调用哪些工具,而我们需要自己去实现工具的调用。" > "LLM 复习局限于特定的数据集,面对陌生领域会'写一个解字然后放飞自我',RAG 给了提示,让正确率从 60% 到 90%。" ## Key Concepts - [[MCP]](模型上下文协议):LLM 连接外部工具/数据的标准化通信协议,Anthropic/Claude Code/ Cursor 均支持 - [[Agent执行模型]]:LLM(给步骤) + MCP(执行工具) = Agent(真正完成任务) - [[PagedAttention]]:vLLM 的 KV Cache 分块管理技术,避免连续内存碎片化和 OOM - [[连续批处理]](Continuous Batching):vLLM 推理优化,步进级调度 GPU 任务,减少空闲 ## Key Entities - [[LangChain]]:Agent 开发框架 - [[vLLM]]:高效 LLM 推理开源项目 ## Connections - [[Agent]] ← is_combined_from ← [[LLM]] + [[MCP]] - [[RAG]] ← augments ← [[LLM]] - [[vLLM]] ← enables ← [[LLM]](高效推理) - [[数据蒸馏]] ← trains ← [[LLM]] ## Contradictions - (无已知冲突)