--- title: "大模型相关术语和框架总结" type: source tags: [llm, mcp, prompt, rag, token, vllm] date: 2025-12-20 --- ## Source File - [[raw/AI/大模型相关术语和框架总结|LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏.md]] ## Summary - 核心主题:大模型(LLM)核心术语与技术框架的科普性梳理 - 问题域:大模型应用开发中的关键概念理解,包括 LLM、Agent、MCP、RAG、Embedding、LangChain、vLLM 等 - 方法/机制:MCP 协议实现工具调用标准化;RAG 通过检索增强解决幻觉问题;vLLM 通过 PagedAttention 和连续批处理优化推理效率 - 结论/价值:为开发者提供大模型技术栈的全景图,降低认知门槛 ## Key Claims - LLM 以参数规模衡量,≥1B 参数通常被视为大模型门槛 - MCP 协议为 LLM 应用提供标准化接口,连接外部数据源和工具 - 大模型仅输出步骤方法,不执行实际调用,需配合 MCP 才能实现真正自动化 - RAG 通过检索增强将 LLM 考试正确率从 60% 提升至 90% - vLLM 通过 PagedAttention(块式 KV Cache)和连续批处理优化 GPU 利用率 - Token 是 LLM 的基本输入单元,中文约 0.6 token/字符,英文约 0.3 token/字符 - 数据蒸馏利用大模型生成精简数据,训练小模型逼近大模型效果 ## Key Quotes > "大模型是不会自己去调用外部数据源或者工具的,大模型只会告诉我们需要调用哪些工具,而我们需要自己去实现工具的调用。" — MCP 协议核心约束 > "一百和两百的距离近,而一百离一千远,所以一百相比于一千,更接近两百这个语意。" — Embedding 语义距离含义 ## Key Concepts - [[LLM]]:Large Language Model,以参数规模衡量(≥1B 参数) - [[MCP]]:Model Context Protocol,LLM 与外部工具的标准化通信协议 - [[Agent]]:智能体,大模型 + MCP 工具整合后实现实际任务执行 - [[RAG]]:Retrieval-augmented generation,检索增强生成,解决幻觉问题 - [[Embedding]]:向量化,将词转化为浮点数字以计算语义距离 - [[LangChain]]:快速实现 Agent 的开发框架,提供 LLM 标准接口和工具集成 - [[vLLM]]:虚拟大语言模型,通过 PagedAttention 和连续批处理优化推理效率 - [[Token]]:LLM 的基本输入单元,中文约 0.6 token/字符 - [[数据蒸馏]]:Data Distillation,用大模型生成精简数据训练小模型 ## Key Entities - [[DeepSeek]]:国产大模型代表(文中提及) - [[Manus]]:AI Agent 产品(文中提及) - [[GPT-2]]:1.5B 参数早期语言模型 - [[GPT-3]]:175B 参数大模型 ## Connections - [[LLM]] ← 基础层 ← [[MCP]] - [[MCP]] ← 扩展能力 ← [[Agent]] - [[RAG]] ← 解决幻觉 ← [[LLM]] - [[Embedding]] ← 向量化基础 ← [[RAG]] - [[LangChain]] ← 开发框架 ← [[Agent]] - [[vLLM]] ← 推理优化 ← [[LLM]] ## Contradictions - 与 [[LLMs-RAG-AI-Agent-三个到底什么区别]] 冲突: - 冲突点:RAG 与 Agent 的边界定义 - 当前观点:本文将 Agent 定义为大模型+MCP,RAG 作为独立增强机制 - 对方观点:另一文强调 LLM/RAG/Agent 是层级递进关系