56 lines
2.6 KiB
Markdown
56 lines
2.6 KiB
Markdown
---
|
||
title: 大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏
|
||
type: source
|
||
tags: [llm, mcp, prompt, rag, token, vllm]
|
||
date: 2025-12-20
|
||
---
|
||
|
||
## Source File
|
||
- [[raw/AI/大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏.md]]
|
||
|
||
## Summary
|
||
- 核心主题：大模型领域核心术语和框架科普
|
||
- 问题域：AI 大模型基础知识
|
||
- 方法/机制：术语解释 + 框架介绍
|
||
- 结论/价值：建立对大模型技术栈的系统认知
|
||
|
||
## Key Claims
|
||
- LLM（Large Language Model）行业以参数规模和训练数据/算力来衡量，通常 ≥1B 参数被称为“大模型”
|
||
- MCP（Model Context Protocol）是为 LLM 提供标准化接口的开放协议，使 LLM 能连接外部数据源和工具
|
||
- Agent 智能体需要将 LLM 整合 MCP 工具才能真正执行步骤，而不仅是给出方法
|
||
- RAG（Retrieval-augmented generation）通过检索增强来解决 LLM 的幻觉问题，提升回答准确率
|
||
- vLLM 通过 PagedAttention 和连续批处理优化 GPU 内存使用，提升推理效率
|
||
|
||
## Key Quotes
|
||
> "大模型是不会自己去调用外部数据源或者工具的，大模型只会告诉我们需要调用哪些工具，而我们需要自己去实现工具的调用。" — 解释了 LLM 与 Agent 的本质区别
|
||
|
||
> "LLM 在考试的时候面对陌生的领域，只会写一个解字，然后就准备放飞自我了，而此时 RAG 给了亿些提示，让 LLM 懂了开始往这个提示的方向做，最终考试的正确率从 60% 到了 90%！" — 直观解释 RAG 的作用
|
||
|
||
## Key Concepts
|
||
- [[LLM]]：大型语言模型，以参数规模衡量
|
||
- [[MCP]]：模型上下文协议，标准化接口
|
||
- [[Agent]]：智能体，整合 LLM + MCP 工具
|
||
- [[RAG]]：检索增强生成，解决幻觉
|
||
- [[Embedding]]：向量化，词转化为浮点数计算语义距离
|
||
- [[LangChain]]：快速实现 Agent 的开发框架
|
||
- [[vLLM]]：虚拟大语言模型，优化 GPU 内存和推理效率
|
||
- [[Token]]：大模型的基本输入单元
|
||
- [[数据蒸馏]]：利用大模型生成精简数据训练小模型
|
||
|
||
## Key Entities
|
||
- [[ChatGPT]]：OpenAI 开发的大型语言模型示例
|
||
- [[GPT-2]]：1.5B 参数的早期较大语言模型
|
||
- [[GPT-3]]：175B 参数的代表性大模型
|
||
|
||
## Connections
|
||
- [[LLM]] ← 核心概念 ← [[MCP]]
|
||
- [[LLM]] ← 核心概念 ← [[Agent]]
|
||
- [[LLM]] ← 核心概念 ← [[RAG]]
|
||
- [[LLM]] ← 核心概念 ← [[vLLM]]
|
||
- [[LLM]] ← 核心概念 ← [[数据蒸馏]]
|
||
- [[Agent]] ← 依赖 ← [[MCP]]
|
||
- [[RAG]] ← 技术基础 ← [[Embedding]]
|
||
- [[LangChain]] ← 用于构建 ← [[Agent]]
|
||
|
||
## Contradictions
|
||
- （暂无） |