---
title: "vLLM"
type: concept
tags: [llm, vllm, 推理引擎]
date: 2025-12-20
---

## Definition
vLLM（虚拟大语言模型），由 vLLM 社区维护的开源项目，旨在让大语言模型更高效地大规模执行计算，通过更好地利用 GPU 内存来加快生成式 AI 应用的输出速度。

## Core Technologies

### KV Cache
- **K 和 V**：每个 token 的向量化后通过线性变换得到的两类向量，用于注意力计算
- **KV Cache**：将历史 K/V 保存下来，后续步不用重复计算
- **问题**：KV Cache 随上下文长度、层数、头数、维度线性增长，成为推理中最大的显存开销之一

### PagedAttention（分块 attention）
- 将每条序列的 KV Cache 切分为固定大小的块（block）
- 用页表式映射管理它们，像操作系统的虚拟内存一样灵活调度
- 避免了按序列分配一大块连续内存导致的碎片化和 OOM
- 支持动态并发与复用

### Continuous Batching（连续批处理）
- 不是攒满一批再跑，而是在每个解码步骤（按 token 迭代）都把活跃请求组装成一个批
- 序列长度不同也能高效合批，GPU 基本满负载运转
- 减少短任务被长任务阻塞的头阻塞，提高并发与公平性

## Related Concepts
- [[LLM]]：使用 vLLM 进行推理的语言模型
- [[Token]]：vLLM 处理的基本单元
- [[PagedAttention]]：vLLM 的核心技术