Auto-sync: 2026-04-16 17:30
This commit is contained in:
@@ -1,33 +0,0 @@
|
||||
---
|
||||
title: "数据蒸馏"
|
||||
type: concept
|
||||
tags: [llm, model-compression]
|
||||
last_updated: 2025-12-20
|
||||
---
|
||||
|
||||
## 基本信息
|
||||
- **全称**：Data Distillation
|
||||
- **类型**：模型压缩技术
|
||||
- **来源**：大模型相关术语和框架总结
|
||||
|
||||
## 定义
|
||||
数据蒸馏是利用一个高性能的大模型生成精简但有价值的数据，使得一个小模型可以从中学习并逼近大模型的效果。
|
||||
|
||||
## 核心思想
|
||||
- 大模型（Teacher）生成高质量合成数据
|
||||
- 小模型（Student）从合成数据中学习
|
||||
- 目标：用更少参数达到接近大模型的性能
|
||||
|
||||
## 应用场景
|
||||
- 边缘设备部署（资源受限）
|
||||
- 降低推理成本
|
||||
- 特定领域模型快速训练
|
||||
|
||||
## 关联
|
||||
- [[LLM]] ← Teacher 模型
|
||||
- [[vLLM]] ← 推理优化
|
||||
|
||||
## Aliases
|
||||
- Data Distillation
|
||||
- 知识蒸馏
|
||||
- 模型蒸馏
|
||||
Reference in New Issue
Block a user