nexus/wiki/concepts/数据蒸馏.md

title, type, tags, last_updated

title	type	tags	last_updated
数据蒸馏	concept	llm model-compression	2025-12-20

基本信息

• 全称：Data Distillation
• 类型：模型压缩技术
• 来源：大模型相关术语和框架总结

定义

数据蒸馏是利用一个高性能的大模型生成精简但有价值的数据，使得一个小模型可以从中学习并逼近大模型的效果。

核心思想

• 大模型（Teacher）生成高质量合成数据
• 小模型（Student）从合成数据中学习
• 目标：用更少参数达到接近大模型的性能

应用场景

• 边缘设备部署（资源受限）
• 降低推理成本
• 特定领域模型快速训练

关联

• LLM ← Teacher 模型
• vLLM ← 推理优化

Aliases

• Data Distillation
• 知识蒸馏
• 模型蒸馏