34 lines
816 B
Markdown
34 lines
816 B
Markdown
---
|
||
title: "数据蒸馏"
|
||
type: concept
|
||
tags: [llm, model-compression]
|
||
last_updated: 2025-12-20
|
||
---
|
||
|
||
## 基本信息
|
||
- **全称**：Data Distillation
|
||
- **类型**：模型压缩技术
|
||
- **来源**：大模型相关术语和框架总结
|
||
|
||
## 定义
|
||
数据蒸馏是利用一个高性能的大模型生成精简但有价值的数据，使得一个小模型可以从中学习并逼近大模型的效果。
|
||
|
||
## 核心思想
|
||
- 大模型（Teacher）生成高质量合成数据
|
||
- 小模型（Student）从合成数据中学习
|
||
- 目标：用更少参数达到接近大模型的性能
|
||
|
||
## 应用场景
|
||
- 边缘设备部署（资源受限）
|
||
- 降低推理成本
|
||
- 特定领域模型快速训练
|
||
|
||
## 关联
|
||
- [[LLM]] ← Teacher 模型
|
||
- [[vLLM]] ← 推理优化
|
||
|
||
## Aliases
|
||
- Data Distillation
|
||
- 知识蒸馏
|
||
- 模型蒸馏
|