tag

PagedAttention

共 2 篇文章。

全部文章 Go Golang Godot Tutorial Rust Rust Tutors SaaS PRD Lua 游戏客户端 Long Term Novel Writing Experience Spore Trilogy Creative Writing Notes 孢子三部曲孢子三部曲创作手记回顾

vLLM 深度解析：连续批处理与内存高效推理

大语言模型（LLM）推理服务的扩展性瓶颈，往往不在计算吞吐量，而在 GPU 显存。传统推理框架将 KV Cache 以连续张量形式预分配，造成大量内存浪费，导致 batch size 被严重限制。

2026-09-109 分钟阅读

vLLM LLM 推理系统

KV Cache 优化与注意力机制加速：FlashAttention / PagedAttention

大型语言模型（LLM）的推理性能已经成为生产环境部署中的核心挑战。在 Transformer 架构中，自注意力机制（Self-Attention）虽然在建模长距离依赖方面表现出色，但其计算和内存开销随序列长度呈平方增长。

2026-09-1013 分钟阅读

LLM 注意力优化 FlashAttention