50 lines
2.4 KiB
Markdown
50 lines
2.4 KiB
Markdown
---
|
||
title: "RAG从入门到精通系列1：基础RAG"
|
||
type: source
|
||
tags: [rag, llm, retrieval-augmented-generation, 向量数据库]
|
||
sources: ["https://mp.weixin.qq.com/s/TlFNOw7_3Q8qywKLpVUmfg"]
|
||
last_updated: 2026-04-15
|
||
---
|
||
|
||
## Source File
|
||
- raw/AI/RAG从入门到精通系列1：基础RAG.md
|
||
|
||
## Summary
|
||
- 核心主题：基础 RAG（检索增强生成）的技术原理与工程实践
|
||
- 问题域：如何让 LLM 使用外部私有数据或最新数据
|
||
- 方法/机制：Indexing（文档加载→切分→向量化→存入向量库）→ Retrieval（问题向量化→相似度检索）→ Generation（问题+知识片段→PromptTemplate→LLM生成）
|
||
- 结论/价值：RAG 是连接 LLM 与外部数据源的通用方法，LangChain/LlamaIndex 等框架可简化管道构建
|
||
|
||
## Key Claims
|
||
- LLM 本身不具备特定任务相关的私有数据或最新数据
|
||
- RAG 通过 Indexing-Retrieval-Generation 三阶段将外部数据连接到 LLM
|
||
- Embedding Model 的 Context Window 有限（512~8192 token），需将文档切分成 Split
|
||
- Vector Store 实现各种 Embedding Vector 相似度比较方法
|
||
- LangChain/LlamaIndex 框架可简化检索与生成链路的串联
|
||
|
||
## Key Concepts
|
||
- [[RAG]]：检索增强生成，连接 LLM 与外部数据源的方法
|
||
- [[Embedding]]：将文本转为固定长度数值向量，捕获语义信息
|
||
- [[向量数据库]]：存储 Embedding Vector，实现相似度检索
|
||
- [[Indexing]]：文档加载、文本切分、向量化、存入向量库的过程
|
||
- [[Retrieval]]：根据问题语义向量检索相似知识片段
|
||
- [[Generation]]：将问题+知识片段输入 LLM 生成答案
|
||
- [[LangChain]]：LLM 应用开发框架，支持 RAG 管道构建
|
||
- [[Token]]：模型处理文本的基本单位，英文3-4字母/中文1汉字 ≈ 1 token
|
||
- [[Context Window]]：Embedding Model 能接受的最大 token 数，通常512~8192
|
||
- [[Split/文档块]]：切分后的文档片段，满足 Embedding Model 长度限制
|
||
|
||
## Key Entities
|
||
- [[LangChain]]：LLM 应用开发框架
|
||
- [[Qdrant]]：Rust 编写的开源向量数据库
|
||
- [[BAAI]]：开源 Embedding Model 提供方（如 BGE 系列）
|
||
|
||
## Connections
|
||
- [[RAG]] ← 核心概念 ← [[LLM]]
|
||
- [[Embedding]] ← 核心技术 ← [[RAG]]
|
||
- [[向量数据库]] ← 存储层 ← [[RAG]]
|
||
- [[Indexing]] ← 第一阶段 ← [[RAG]]
|
||
- [[Retrieval]] ← 第二阶段 ← [[RAG]]
|
||
- [[Generation]] ← 第三阶段 ← [[RAG]]
|
||
- [[LLM]] ← 生成层 ← [[RAG]]
|