3.7 KiB
3.7 KiB
title, type, tags, date
| title | type | tags | date | |||
|---|---|---|---|---|---|---|
| 大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏 | source |
|
2025-12-20 |
Source File
Summary
- 核心主题：AI/LLM 领域核心技术术语和技术框架的系统性梳理
- 问题域：AI 领域术语繁多、更新快、概念容易混淆，初学者和从业者均需要系统性参考
- 方法/机制：按功能分层（模型→协议→架构→优化→数据），从定义到关联完整覆盖
- 结论/价值：建立统一的 AI 技术术语认知框架，便于跨团队沟通和技术选型决策
Key Claims
- LLM（大型语言模型）：≥1B 参数为"大模型"门槛，GPT-2（1.5B）、GPT-3（175B）、GPT-4（未公开）
- Prompt（提示词）：人与 LLM 的协作协议，核心是消除信息差，引导模型按预期方式响应
- MCP（模型上下文协议）：标准化 LLM 与外部工具/数据的通信协议，MCP Server 负责实际执行，LLM 只给步骤
- Agent（智能体）：LLM + MCP 工具 = 可执行任务的智能体，大模型负责推理，工具负责执行
- RAG（检索增强生成）：通过检索外部知识解决 LLM 幻觉，考试正确率从 60% 提升至 90%
- Embedding（向量化）：词→浮点数向量，计算语义距离（一百和两百距离近，一百和一千距离远）
- LangChain：快速构建 Agent 的开发框架，提供 160+ 文档加载器和工具链
- vLLM：通过 PagedAttention（块式 KV Cache）+ 连续批处理优化 GPU 利用率，是当前最高效的 LLM 推理框架之一
- Token：LLM 基本输入单元，中文约 0.6 token/字符，英文约 0.3 token/字符，API 按 Token 计费
- 数据蒸馏：用大模型生成精简数据训练小模型，用高质量合成数据弥补小模型能力差距
Key Quotes
"MCP 协议的核心约束：大模型不执行实际调用，只给出步骤建议，实际执行由 MCP Server 负责"
Key Concepts
- LLM：大型语言模型，≥1B 参数的语言模型为"大模型"门槛
- Prompt工程：人与 LLM 协作协议的设计与优化
- MCP：Model Context Protocol，LLM 与外部工具/数据的标准化通信协议
- Agent：智能体，LLM + MCP 工具整合后实现实际任务执行
- RAG：检索增强生成，通过外部知识检索解决 LLM 幻觉问题
- Embedding：向量化，词→固定长度浮点数向量，计算语义距离
- vLLM：PagedAttention 与连续批处理的 LLM 推理优化框架
- Token：LLM 基本输入单元，中文约 0.6 token/字符
- 数据蒸馏：用大模型生成精简数据训练小模型的技术
- 向量数据库：存储 Embedding 向量并支持相似度检索的数据库
Key Entities
- OpenAI：GPT 系列模型发布方，LLM 领域标杆
- Anthropic：Claude 系列模型发布方
- LangChain：LLM 应用开发框架
- Qwen：通义千问大模型
- BAAI：Embedding 模型开源方
Connections
- LLM ← 包含 ← Agent + RAG + Prompt工程
- Agent ← 依赖 ← LLM + MCP
- MCP ← 连接 ← Agent + 外部工具/数据
- RAG ← 依赖 ← 向量数据库 + 嵌入向量 + LLM
- vLLM ← 优化 ← LLM 推理性能
- 数据蒸馏 ← 使用 ← LLM 生成训练数据 → 训练小模型
- Token ← 计量单位 ← LLM 输入输出
Contradictions
- 与 RAG（RAG从入门到精通系列1基础RAG）重复：两文档均介绍 RAG，本文档侧重术语定义，该文档侧重实操流程
- 当前观点：本文档作为术语参考，该文档作为实操指南
- 对方观点：可合并为单一综合文档