Auto-sync

wiki/concepts/数据蒸馏.md

@@ -0,0 +1,33 @@
+---
+title: "数据蒸馏"
+type: concept
+tags: [llm, model-compression]
+last_updated: 2025-12-20
+---
+
+## 基本信息
+- **全称**：Data Distillation
+- **类型**：模型压缩技术
+- **来源**：大模型相关术语和框架总结
+
+## 定义
+数据蒸馏是利用一个高性能的大模型生成精简但有价值的数据，使得一个小模型可以从中学习并逼近大模型的效果。
+
+## 核心思想
+- 大模型（Teacher）生成高质量合成数据
+- 小模型（Student）从合成数据中学习
+- 目标：用更少参数达到接近大模型的性能
+
+## 应用场景
+- 边缘设备部署（资源受限）
+- 降低推理成本
+- 特定领域模型快速训练
+
+## 关联
+- [[LLM]] ← Teacher 模型
+- [[vLLM]] ← 推理优化
+
+## Aliases
+- Data Distillation
+- 知识蒸馏
+- 模型蒸馏