823 B
823 B
title, type, tags, aliases, last_updated
| title | type | tags | aliases | last_updated | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Data Distillation | concept |
|
|
2025-12-20 |
Definition
Data Distillation，数据蒸馏，利用高性能的大模型生成精简但有价值的数据，使一个小模型可以从中学习并逼近大模型的效果。
Key Facts
- 核心思想：用大模型作为"教师"（Teacher），生成高质量训练数据
- 小模型（Student）从这些数据中学习
- 目标：以更低成本达到接近大模型的效果
- 是模型压缩和高效部署的重要技术手段
Connections
- Large Language Model ← 教师模型 ← Data Distillation