23 lines
821 B
Markdown
23 lines
821 B
Markdown
---
|
||
title: "数据蒸馏"
|
||
type: concept
|
||
tags: [ai, 数据蒸馏, 模型压缩]
|
||
date: 2025-12-20
|
||
---
|
||
|
||
## Definition
|
||
数据蒸馏（Data Distillation），利用一个高性能的大模型生成精简但有价值的数据，使得一个小模型可以从中学习并逼近大模型的效果。
|
||
|
||
## Core Mechanism
|
||
1. **教师模型（Teacher Model）**：高性能的大模型，负责生成高质量数据
|
||
2. **数据生成**：教师模型产出精简但有价值的数据
|
||
3. **学生模型（Student Model）**：小模型从蒸馏数据中学习
|
||
|
||
## Use Cases
|
||
- 模型压缩：将大模型知识迁移到小模型
|
||
- 领域适应：在特定领域数据上微调
|
||
- 成本优化：推理效率与效果的平衡
|
||
|
||
## Related Concepts
|
||
- [[LLM]]：教师模型和学生模型的源头
|
||
- [[vLLM]]：高效的模型推理引擎 |