64 lines
3.7 KiB
Markdown
64 lines
3.7 KiB
Markdown
---
|
||
title: "大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏"
|
||
type: source
|
||
tags: [LLM, AI术语, 技术框架]
|
||
date: 2025-12-20
|
||
---
|
||
|
||
## Source File
|
||
- [[raw/未分类/大模型相关术语和框架总结LLM-MCP-Prompt-RAG-vLLM-Tokens数据蒸馏.md]]
|
||
|
||
## Summary
|
||
- 核心主题：AI/LLM 领域核心技术术语和技术框架的系统性梳理
|
||
- 问题域：AI 领域术语繁多、更新快、概念容易混淆，初学者和从业者均需要系统性参考
|
||
- 方法/机制：按功能分层（模型→协议→架构→优化→数据），从定义到关联完整覆盖
|
||
- 结论/价值：建立统一的 AI 技术术语认知框架，便于跨团队沟通和技术选型决策
|
||
|
||
## Key Claims
|
||
- LLM（大型语言模型）：≥1B 参数为"大模型"门槛，GPT-2（1.5B）、GPT-3（175B）、GPT-4（未公开）
|
||
- Prompt（提示词）：人与 LLM 的协作协议，核心是消除信息差，引导模型按预期方式响应
|
||
- MCP（模型上下文协议）：标准化 LLM 与外部工具/数据的通信协议，MCP Server 负责实际执行，LLM 只给步骤
|
||
- Agent（智能体）：LLM + MCP 工具 = 可执行任务的智能体，大模型负责推理，工具负责执行
|
||
- RAG（检索增强生成）：通过检索外部知识解决 LLM 幻觉，考试正确率从 60% 提升至 90%
|
||
- Embedding（向量化）：词→浮点数向量，计算语义距离（一百和两百距离近，一百和一千距离远）
|
||
- LangChain：快速构建 Agent 的开发框架，提供 160+ 文档加载器和工具链
|
||
- vLLM：通过 PagedAttention（块式 KV Cache）+ 连续批处理优化 GPU 利用率，是当前最高效的 LLM 推理框架之一
|
||
- Token：LLM 基本输入单元，中文约 0.6 token/字符，英文约 0.3 token/字符，API 按 Token 计费
|
||
- 数据蒸馏：用大模型生成精简数据训练小模型，用高质量合成数据弥补小模型能力差距
|
||
|
||
## Key Quotes
|
||
> "MCP 协议的核心约束：大模型不执行实际调用，只给出步骤建议，实际执行由 MCP Server 负责"
|
||
|
||
## Key Concepts
|
||
- [[LLM]]：大型语言模型，≥1B 参数的语言模型为"大模型"门槛
|
||
- [[Prompt工程]]：人与 LLM 协作协议的设计与优化
|
||
- [[MCP]]：Model Context Protocol，LLM 与外部工具/数据的标准化通信协议
|
||
- [[Agent]]：智能体，LLM + MCP 工具整合后实现实际任务执行
|
||
- [[RAG]]：检索增强生成，通过外部知识检索解决 LLM 幻觉问题
|
||
- [[Embedding]]：向量化，词→固定长度浮点数向量，计算语义距离
|
||
- [[vLLM]]：PagedAttention 与连续批处理的 LLM 推理优化框架
|
||
- [[Token]]：LLM 基本输入单元，中文约 0.6 token/字符
|
||
- [[数据蒸馏]]：用大模型生成精简数据训练小模型的技术
|
||
- [[向量数据库]]：存储 Embedding 向量并支持相似度检索的数据库
|
||
|
||
## Key Entities
|
||
- [[OpenAI]]：GPT 系列模型发布方，LLM 领域标杆
|
||
- [[Anthropic]]：Claude 系列模型发布方
|
||
- [[LangChain]]：LLM 应用开发框架
|
||
- [[Qwen]]：通义千问大模型
|
||
- [[BAAI]]：Embedding 模型开源方
|
||
|
||
## Connections
|
||
- [[LLM]] ← 包含 ← [[Agent]] + [[RAG]] + [[Prompt工程]]
|
||
- [[Agent]] ← 依赖 ← [[LLM]] + [[MCP]]
|
||
- [[MCP]] ← 连接 ← [[Agent]] + 外部工具/数据
|
||
- [[RAG]] ← 依赖 ← [[向量数据库]] + [[嵌入向量]] + [[LLM]]
|
||
- [[vLLM]] ← 优化 ← [[LLM]] 推理性能
|
||
- [[数据蒸馏]] ← 使用 ← [[LLM]] 生成训练数据 → 训练小模型
|
||
- [[Token]] ← 计量单位 ← LLM 输入输出
|
||
|
||
## Contradictions
|
||
- 与 [[RAG]]（RAG从入门到精通系列1基础RAG）重复：两文档均介绍 RAG，本文档侧重术语定义，该文档侧重实操流程
|
||
- 当前观点：本文档作为术语参考，该文档作为实操指南
|
||
- 对方观点：可合并为单一综合文档
|