---
title: "数据蒸馏"
type: concept
tags: [ai, 数据蒸馏, 模型压缩]
date: 2025-12-20
---

## Definition
数据蒸馏（Data Distillation），利用一个高性能的大模型生成精简但有价值的数据，使得一个小模型可以从中学习并逼近大模型的效果。

## Core Mechanism
1. **教师模型（Teacher Model）**：高性能的大模型，负责生成高质量数据
2. **数据生成**：教师模型产出精简但有价值的数据
3. **学生模型（Student Model）**：小模型从蒸馏数据中学习

## Use Cases
- 模型压缩：将大模型知识迁移到小模型
- 领域适应：在特定领域数据上微调
- 成本优化：推理效率与效果的平衡

## Related Concepts
- [[LLM]]：教师模型和学生模型的源头
- [[vLLM]]：高效的模型推理引擎