nexus/wiki/concepts/数据蒸馏.md

title, type, tags, date

title	type	tags	date
数据蒸馏	concept	ai 数据蒸馏 模型压缩	2025-12-20

Definition

数据蒸馏（Data Distillation），利用一个高性能的大模型生成精简但有价值的数据，使得一个小模型可以从中学习并逼近大模型的效果。

Core Mechanism

1. 教师模型（Teacher Model）：高性能的大模型，负责生成高质量数据
2. 数据生成：教师模型产出精简但有价值的数据
3. 学生模型（Student Model）：小模型从蒸馏数据中学习

Use Cases

• 模型压缩：将大模型知识迁移到小模型
• 领域适应：在特定领域数据上微调
• 成本优化：推理效率与效果的平衡

Related Concepts

• LLM：教师模型和学生模型的源头
• vLLM：高效的模型推理引擎