3.1 KiB
3.1 KiB
title, type, tags, date
| title | type | tags | date | ||||||
|---|---|---|---|---|---|---|---|---|---|
| 大模型相关术语和框架总结 | source |
|
2025-12-20 |
Source File
- raw/AI/大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏.md
Summary
- 核心主题：大模型（LLM）核心术语与技术框架的科普性梳理
- 问题域：大模型应用开发中的关键概念理解，包括 LLM、Agent、MCP、RAG、Embedding、LangChain、vLLM 等
- 方法/机制：MCP 协议实现工具调用标准化；RAG 通过检索增强解决幻觉问题；vLLM 通过 PagedAttention 和连续批处理优化推理效率
- 结论/价值：为开发者提供大模型技术栈的全景图，降低认知门槛
Key Claims
- LLM 以参数规模衡量，≥1B 参数通常被视为大模型门槛
- MCP 协议为 LLM 应用提供标准化接口，连接外部数据源和工具
- 大模型仅输出步骤方法，不执行实际调用，需配合 MCP 才能实现真正自动化
- RAG 通过检索增强将 LLM 考试正确率从 60% 提升至 90%
- vLLM 通过 PagedAttention（块式 KV Cache）和连续批处理优化 GPU 利用率
- Token 是 LLM 的基本输入单元，中文约 0.6 token/字符，英文约 0.3 token/字符
- 数据蒸馏利用大模型生成精简数据，训练小模型逼近大模型效果
Key Quotes
"大模型是不会自己去调用外部数据源或者工具的，大模型只会告诉我们需要调用哪些工具，而我们需要自己去实现工具的调用。" — MCP 协议核心约束 "一百和两百的距离近，而一百离一千远，所以一百相比于一千，更接近两百这个语意。" — Embedding 语义距离含义
Key Concepts
- LLM：Large Language Model，以参数规模衡量（≥1B 参数）
- MCP：Model Context Protocol，LLM 与外部工具的标准化通信协议
- Agent：智能体，大模型 + MCP 工具整合后实现实际任务执行
- RAG：Retrieval-augmented generation，检索增强生成，解决幻觉问题
- Embedding：向量化，将词转化为浮点数字以计算语义距离
- LangChain：快速实现 Agent 的开发框架，提供 LLM 标准接口和工具集成
- vLLM：虚拟大语言模型，通过 PagedAttention 和连续批处理优化推理效率
- Token：LLM 的基本输入单元，中文约 0.6 token/字符
- 数据蒸馏：Data Distillation，用大模型生成精简数据训练小模型
Key Entities
Connections
- LLM ← 基础层 ← MCP
- MCP ← 扩展能力 ← Agent
- RAG ← 解决幻觉 ← LLM
- Embedding ← 向量化基础 ← RAG
- LangChain ← 开发框架 ← Agent
- vLLM ← 推理优化 ← LLM
Contradictions
- 与 LLMs-RAG-AI-Agent-三个到底什么区别 冲突：
- 冲突点：RAG 与 Agent 的边界定义
- 当前观点：本文将 Agent 定义为大模型+MCP，RAG 作为独立增强机制
- 对方观点：另一文强调 LLM/RAG/Agent 是层级递进关系