---
title: "vLLM"
type: concept
tags: [llm, inference, gpu, optimization, kv-cache]
sources: [大模型相关术语和框架总结｜llm-mcp-prompt-rag-vllm-token-数据蒸馏]
last_updated: 2026-04-25
---

# vLLM

## Aliases
- vLLM
- Virtual Large Language Model
- 虚拟大语言模型

## Definition

vLLM 是由 **vLLM 社区**维护的开源 LLM 推理框架，旨在通过更好地利用 GPU 内存来加快生成式 AI 应用的输出速度，实现高吞吐、低成本的推理服务。

## Core Mechanisms

### PagedAttention（分块注意力）

传统方法按序列分配一大块连续内存存储 KV Cache，导致显存碎片化和 OOM（内存溢出）。

vLLM 的 PagedAttention 将 KV Cache 切分为固定大小的**块（block）**，用类操作系统的**页表式映射**管理：

- 避免按序列分配连续内存导致的碎片化
- 支持动态并发与显存复用
- 在多分支（beam search）和重复前缀场景下复用相同前缀产生的 KV 块，极大减少预填充（prefill）时间

### Continuous Batching（连续批处理）

传统批处理：攒满一批再跑，短任务被长任务阻塞（头阻塞）。

连续批处理：
- 在每个解码步骤（按 token 迭代）都把活跃请求组装成一个批
- 序列长度不同也能高效合批
- GPU 基本满负载运转
- 基于 PagedAttention 的块式内存 + 步进级调度器，无需等待整批结束即可把新请求插入下一步的批次

## Related Concepts

- [[KV Cache]]：vLLM 优化的核心对象，PagedAttention 将 KV Cache 分块管理
- [[Large Language Model]]：vLLM 服务的对象
- [[PagedAttention]]：vLLM 提出的注意力机制
- [[Continuous Batching]]：vLLM 使用的调度策略

## Sources

- [[大模型相关术语和框架总结｜llm-mcp-prompt-rag-vllm-token-数据蒸馏]]