828 B
828 B
title, type, tags
| title | type | tags |
|---|---|---|
| IncrementalIndexing | concept |
Definition
增量索引，只处理新增或变化的内容，避免重新处理未变化的数据。
Key Mechanism
使用内容哈希（如 SHA-256）标识每个文档块：
- 首次索引：计算哈希，存储 (哈希, 内容, 向量)
- 后续索引：重新计算哈希，仅对不匹配的块进行嵌入
- 未变化的块：跳过，零 API 调用
Benefits
- 节省成本：只嵌入新增/变化内容
- 提升速度：跳过已索引内容
- 一致性保证：相同内容始终生成相同向量
Application
- memsearch 使用 SHA-256 内容哈希实现增量索引
- 文档原文始终是真相，索引是派生缓存