41 lines
1.5 KiB
Markdown
41 lines
1.5 KiB
Markdown
---
|
||
title: "Fine-Tuning"
|
||
type: concept
|
||
tags: [AI, ML, fine-tuning, foundation-model, customization]
|
||
sources: [public-cloud-learning-sessions-opentext-ai-use-cases-20241126-160106-meeting-rec]
|
||
last_updated: 2026-05-12
|
||
---
|
||
|
||
## Aliases
|
||
- Fine-tuning
|
||
- Model Fine-tuning
|
||
- 模型的微调
|
||
|
||
## Definition
|
||
Fine-Tuning（微调）是在预训练基础模型之上，使用特定领域或任务的数据进一步训练模型，使其适应特定业务场景。与 RAG 不同，微调直接修改模型权重，而非在推理时注入外部知识。
|
||
|
||
## Key Facts
|
||
- 属于三大数据整合方法之一（RAG / Fine-tuning / Continued Pre-training）
|
||
- 与 RAG 的核心区别：RAG 保留原始模型权重，通过检索增强回答；Fine-tuning 修改模型权重，改变模型本身
|
||
- 适用场景：特定领域术语、风格、任务类型的深度适配
|
||
- 成本：需要额外的训练资源和时间
|
||
- AWS Amazon Bedrock 支持 Fine-tuning 基础模型
|
||
|
||
## Comparison with RAG
|
||
|
||
| 维度 | Fine-Tuning | RAG |
|
||
|------|-------------|-----|
|
||
| 修改模型权重 | 是 | 否 |
|
||
| 推理延迟 | 无额外延迟 | 有检索开销 |
|
||
| 外部知识库 | 不依赖 | 依赖 |
|
||
| 适用场景 | 风格/任务适配 | 知识密集型问答 |
|
||
| 成本 | 训练成本高 | 索引/检索成本 |
|
||
|
||
## Related Concepts
|
||
- [[Foundation-Models]]：微调作用于基础模型
|
||
- [[RAG]]：另一种数据整合方法，与微调互补
|
||
- [[Amazon-Bedrock]]：提供 Fine-tuning 能力
|
||
|
||
## Sources
|
||
- [[public-cloud-learning-sessions-opentext-ai-use-cases-20241126-160106-meeting-rec]]
|