Auto-sync: update nexus workspace
This commit is contained in:
@@ -1,34 +1,49 @@
|
||||
---
|
||||
title: "Retrieval"
|
||||
type: concept
|
||||
tags: [rag, retrieval, vector-search, similarity]
|
||||
last_updated: 2025-01-16
|
||||
---
|
||||
|
||||
## Definition
|
||||
Retrieval(检索阶段)是 RAG Pipeline 的第二步,根据用户问题的语义向量(Embedding Vector),在向量数据库中按相似度找出 Top-k 个最相关的文档块(Split)。
|
||||
|
||||
## Process
|
||||
1. **Query Embedding**:将用户问题通过同一个 Embedding Model 转化为语义向量
|
||||
2. **Vector Search**:在 Vector Store 中按相似度(余弦相似度/点积/欧氏距离)检索最接近的 k 个向量
|
||||
3. **Result Selection**:返回对应的原始文本块(Split)作为上下文
|
||||
|
||||
## Key Parameters
|
||||
- **Top-k(k值)**:决定返回多少个最相关的文档块,k 过小可能遗漏关键信息,k 过大则引入噪声
|
||||
- **Similarity Metric**:余弦相似度最常用,适合方向性语义匹配;点积适合归一化向量;欧氏距离适合几何距离度量
|
||||
|
||||
## In RAG Pipeline
|
||||
- **上游**:依赖 Indexing 阶段构建的向量数据库
|
||||
- **下游**:检索结果传递给 Generation 阶段作为上下文
|
||||
|
||||
## Challenges
|
||||
- **语义鸿沟**:用户问题的措辞与文档中相关内容可能不同(词汇不匹配)
|
||||
- **上下文窗口限制**:Top-k 个文档块的总 token 数不能超过 LLM 的 Context Window
|
||||
- **噪声召回**:向量相似度高但实际无关的文档块可能被召回
|
||||
|
||||
## Related Concepts
|
||||
- [[RAG]] — Retrieval 是 RAG Pipeline 的第二阶段
|
||||
- [[Vector Store]] — 检索的数据库后端
|
||||
- [[Embedding]] — 检索的向量来源
|
||||
- [[Generation]] — Retrieval 的下一阶段,接收检索结果作为上下文
|
||||
- [[Hybrid Search]] — 结合向量检索与关键词检索以弥补单一向量检索的不足
|
||||
---
|
||||
title: "Retrieval"
|
||||
type: concept
|
||||
tags: [RAG, 向量检索, 语义搜索]
|
||||
sources: [rag从入门到精通系列1-基础rag]
|
||||
last_updated: 2025-01-16
|
||||
---
|
||||
|
||||
## Definition
|
||||
|
||||
Retrieval(检索阶段)是 RAG 管道的第二阶段,根据用户问题的语义向量(Embedding Vector)在向量数据库中检索与之最相似的 Top-k 个文档块。
|
||||
|
||||
## Core Process
|
||||
|
||||
```
|
||||
用户问题 → 问题向量化 → Vector Store 相似度检索 → 返回 Top-k 文档块
|
||||
```
|
||||
|
||||
1. **问题向量化**:将用户输入的自然语言问题通过相同的 Embedding Model 转换为向量
|
||||
2. **相似度计算**:Vector Store 计算问题向量与所有文档块向量的相似度(常用方法:余弦相似度、点积、欧氏距离)
|
||||
3. **返回 Top-k 结果**:返回相似度最高的 k 个文档块作为检索结果
|
||||
|
||||
## Similarity Metrics
|
||||
|
||||
| 方法 | 适用场景 |
|
||||
|------|----------|
|
||||
| 余弦相似度(Cosine) | 归一化向量,衡量方向相似性 |
|
||||
| 点积(Dot Product) | 未归一化向量,兼顾 magnitude |
|
||||
| 欧氏距离(L2) | 几何距离,适用低维空间 |
|
||||
|
||||
## Retrieval Strategies
|
||||
|
||||
- **Top-k Retrieval**:返回相似度最高的 k 个结果
|
||||
- **MMR(Maximal Marginal Relevance)**:平衡相关性和多样性,减少重复信息
|
||||
- **Hybrid Retrieval**:结合关键词检索(BM25)与向量检索
|
||||
|
||||
## Connections
|
||||
|
||||
- [[Retrieval]] ← part_of ← [[RAG]]
|
||||
- [[Retrieval]] ← uses ← [[Vector-Store]]
|
||||
- [[Retrieval]] ← uses ← [[Embedding]]
|
||||
- [[Retrieval]] ← feeds_into ← [[Generation]]
|
||||
|
||||
## Aliases
|
||||
|
||||
- Information Retrieval
|
||||
- Semantic Search
|
||||
- 向量检索
|
||||
- 语义检索
|
||||
|
||||
Reference in New Issue
Block a user