60 lines
3.1 KiB
Markdown
60 lines
3.1 KiB
Markdown
---
|
||
title: "大模型相关术语和框架总结"
|
||
type: source
|
||
tags: [llm, mcp, prompt, rag, token, vllm]
|
||
date: 2025-12-20
|
||
---
|
||
|
||
## Source File
|
||
- raw/AI/大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏.md
|
||
|
||
## Summary
|
||
- 核心主题：大模型（LLM）核心术语与技术框架的科普性梳理
|
||
- 问题域：大模型应用开发中的关键概念理解，包括 LLM、Agent、MCP、RAG、Embedding、LangChain、vLLM 等
|
||
- 方法/机制：MCP 协议实现工具调用标准化；RAG 通过检索增强解决幻觉问题；vLLM 通过 PagedAttention 和连续批处理优化推理效率
|
||
- 结论/价值：为开发者提供大模型技术栈的全景图，降低认知门槛
|
||
|
||
## Key Claims
|
||
- LLM 以参数规模衡量，≥1B 参数通常被视为大模型门槛
|
||
- MCP 协议为 LLM 应用提供标准化接口，连接外部数据源和工具
|
||
- 大模型仅输出步骤方法，不执行实际调用，需配合 MCP 才能实现真正自动化
|
||
- RAG 通过检索增强将 LLM 考试正确率从 60% 提升至 90%
|
||
- vLLM 通过 PagedAttention（块式 KV Cache）和连续批处理优化 GPU 利用率
|
||
- Token 是 LLM 的基本输入单元，中文约 0.6 token/字符，英文约 0.3 token/字符
|
||
- 数据蒸馏利用大模型生成精简数据，训练小模型逼近大模型效果
|
||
|
||
## Key Quotes
|
||
> "大模型是不会自己去调用外部数据源或者工具的，大模型只会告诉我们需要调用哪些工具，而我们需要自己去实现工具的调用。" — MCP 协议核心约束
|
||
> "一百和两百的距离近，而一百离一千远，所以一百相比于一千，更接近两百这个语意。" — Embedding 语义距离含义
|
||
|
||
## Key Concepts
|
||
- [[LLM]]：Large Language Model，以参数规模衡量（≥1B 参数）
|
||
- [[MCP]]：Model Context Protocol，LLM 与外部工具的标准化通信协议
|
||
- [[Agent]]：智能体，大模型 + MCP 工具整合后实现实际任务执行
|
||
- [[RAG]]：Retrieval-augmented generation，检索增强生成，解决幻觉问题
|
||
- [[Embedding]]：向量化，将词转化为浮点数字以计算语义距离
|
||
- [[LangChain]]：快速实现 Agent 的开发框架，提供 LLM 标准接口和工具集成
|
||
- [[vLLM]]：虚拟大语言模型，通过 PagedAttention 和连续批处理优化推理效率
|
||
- [[Token]]：LLM 的基本输入单元，中文约 0.6 token/字符
|
||
- [[数据蒸馏]]：Data Distillation，用大模型生成精简数据训练小模型
|
||
|
||
## Key Entities
|
||
- [[DeepSeek]]：国产大模型代表（文中提及）
|
||
- [[Manus]]：AI Agent 产品（文中提及）
|
||
- [[GPT-2]]：1.5B 参数早期语言模型
|
||
- [[GPT-3]]：175B 参数大模型
|
||
|
||
## Connections
|
||
- [[LLM]] ← 基础层 ← [[MCP]]
|
||
- [[MCP]] ← 扩展能力 ← [[Agent]]
|
||
- [[RAG]] ← 解决幻觉 ← [[LLM]]
|
||
- [[Embedding]] ← 向量化基础 ← [[RAG]]
|
||
- [[LangChain]] ← 开发框架 ← [[Agent]]
|
||
- [[vLLM]] ← 推理优化 ← [[LLM]]
|
||
|
||
## Contradictions
|
||
- 与 [[LLMs-RAG-AI-Agent-三个到底什么区别]] 冲突：
|
||
- 冲突点：RAG 与 Agent 的边界定义
|
||
- 当前观点：本文将 Agent 定义为大模型+MCP，RAG 作为独立增强机制
|
||
- 对方观点：另一文强调 LLM/RAG/Agent 是层级递进关系
|