---
title: "数据蒸馏"
type: concept
tags: [llm, model-compression]
last_updated: 2025-12-20
---

## 基本信息
- **全称**：Data Distillation
- **类型**：模型压缩技术
- **来源**：大模型相关术语和框架总结

## 定义
数据蒸馏是利用一个高性能的大模型生成精简但有价值的数据，使得一个小模型可以从中学习并逼近大模型的效果。

## 核心思想
- 大模型（Teacher）生成高质量合成数据
- 小模型（Student）从合成数据中学习
- 目标：用更少参数达到接近大模型的性能

## 应用场景
- 边缘设备部署（资源受限）
- 降低推理成本
- 特定领域模型快速训练

## 关联
- [[LLM]] ← Teacher 模型
- [[vLLM]] ← 推理优化

## Aliases
- Data Distillation
- 知识蒸馏
- 模型蒸馏