Auto-sync: 2026-04-18 12:03

2026-04-18 12:03:11 +08:00
parent 1a82750f1c
commit 7d361490b2
85 changed files with 2857 additions and 7 deletions
--- a/wiki/concepts/数据蒸馏.md
+++ b/wiki/concepts/数据蒸馏.md
@@ -0,0 +1,23 @@
+---
+title: "数据蒸馏"
+type: concept
+tags: [ai, 数据蒸馏, 模型压缩]
+date: 2025-12-20
+---
+
+## Definition
+数据蒸馏（Data Distillation），利用一个高性能的大模型生成精简但有价值的数据，使得一个小模型可以从中学习并逼近大模型的效果。
+
+## Core Mechanism
+1. **教师模型（Teacher Model）**：高性能的大模型，负责生成高质量数据
+2. **数据生成**：教师模型产出精简但有价值的数据
+3. **学生模型（Student Model）**：小模型从蒸馏数据中学习
+
+## Use Cases
+- 模型压缩：将大模型知识迁移到小模型
+- 领域适应：在特定领域数据上微调
+- 成本优化：推理效率与效果的平衡
+
+## Related Concepts
+- [[LLM]]：教师模型和学生模型的源头
+- [[vLLM]]：高效的模型推理引擎