模型服务化：Triton、vLLM 与 TGI 推理引擎
训练好的权重只是半成品，对外提供能力要靠推理引擎。本文对比 Triton、vLLM 与 TGI 三种主流服务化方案，讲清模型仓库与配置文件、动态批处理与连续批处理、PagedAttention 显存管理、张量并行切分、压测指标，以及从单机到 Kubernetes 的容量规划与扩缩容实践。
tag
VLLM
共 15 篇文章。
推理服务的 Kubernetes 部署与弹性伸缩
本文面向 LLM 推理服务的生产部署，讲清 GPU 调度（device plugin、taints、MIG、time-slicing）的配置要点，比较 Deployment 与 StatefulSet 的边界，给出 startupProbe 应对模型加载的探针设计，说明 HPA 基于 CPU 失效的原因并改用 KEDA 加 Prometheus 队列深度指标，附可运行 YAML。
KV Cache 管理与前缀缓存
本文拆解 KV Cache 的显存公式与增长规律，对比 MHA、GQA、MQA 的显存差异，讲清 PagedAttention 的 block 管理机制，并深入 Prefix Caching 与 RadixAttention 如何复用系统提示与共享前缀，给出首 token 延迟下降 60~80% 的实测数据、vLLM 开启参数与命中率统计方法。
模型量化与显存优化
本文系统梳理 LLM 推理中的数值格式与量化方法，覆盖 FP16、BF16、INT8、INT4 与 FP8 的位宽差异，对比 GPTQ、AWQ、SmoothQuant、bitsandbytes NF4 的原理与适用场景，给出 7B、13B、70B 在不同精度下的显存占用与 MMLU 精度损失对照，并提供 vLLM 量化参数配置与可运行量化脚本。
连续批处理与 PagedAttention 原理
本文深入讲解大模型推理的两项核心优化。先讲清静态批处理、动态批处理到连续批处理的演进与显存吞吐差异，再剖析 PagedAttention 如何把 KV Cache 切分为固定大小 block 并用 block table 建立逻辑到物理映射，使显存碎片从 60% 到 80% 的浪费降到 4% 以内。文中给出 vLLM 实测吞吐与一段可运行的连续批处理调度模拟代码。
大模型推理服务与优化：KV Cache、PagedAttention、连续批处理与量化部署
把大模型高效地服务出去：KV Cache 的显存账本与碎片问题、PagedAttention 的分页管理、连续批处理如何把吞吐拉高数倍、vLLM/TGI/SGLang 的选型对比、INT8/FP8/AWQ/GPTQ 量化部署、投机解码的加速原理、吞吐与延迟的权衡曲线，以及压测方法与容量规划公式。
大模型推理引擎对比 vLLM / TensorRT-LLM / SGLang
本文对比三款主流大模型推理引擎 vLLM 0.6.3、TensorRT-LLM 0.13.0 与 SGLang 0.4.1。从架构原理（PagedAttention 与连续批处理、编译期图优化、RadixAttention 与前端 DSL）切入，给出 Llama-3-8B 与 70B 在 A100 与 H100 上的吞吐与 TTFT 对比表，详解显存与并发关键参数，并提供选型决策表与客户端代码。
LLMOps 全景与生产化挑战
本文系统梳理 LLMOps 全景与生产化落地难点。从与 MLOps 的本质差异（提示与模型漂移、非确定性输出、评测困难）讲起，拆解 LLM 应用从数据提示、评测、部署、监控到反馈闭环的生命周期，归纳成本、延迟、质量、安全、可观测五大挑战，给出 L1 到 L4 成熟度模型与工具栈全景表，并提供一段可运行的 LLMOps 健康度检查脚本。
LLMOps 大模型服务化与推理优化
把大模型从 Demo 推到生产，难点不在调用 API，而在吞吐、延迟、显存与成本之间的取舍。本专题覆盖 LLMOps 的完整工程链路：LLMOps 全景与生产化挑战、vLLM / TensorRT-LLM / SGLang 推理引擎对比、连续批处理与 PagedAttention 显存管理原理、GPTQ/AWQ/FP8 量化与显存优化、KV Cache 与前缀缓存复用、Kubernetes 上的推理服务部署与弹性伸缩、模型网关与多模型路由、Prompt 版本管理与 A/B 实验、RAG 检索服务工程化、Agent 服务的可观测性与链路追踪、Token 成本核算与 FinOps，以及模型评测与灰度发布。后续补充的 6 篇进阶内容进一步覆盖 LoRA 与 QLoRA 微调流水线、向量数据库与检索索引选型、提示注入防护与护栏、多智能体编排、结构化输出与函数调用，以及语义缓存与 Prompt 缓存。
Kubernetes AI/ML 工作负载：GPU 调度与训练作业
面向 AI/ML 的 Kubernetes 实战：GPU 资源声明与调度、NVIDIA Device Plugin 与 MIG 共享、TFJob/PyTorchJob 训练作业、KServe 与 vLLM 推理服务、GPU 节点池与成本、调度排队与可观测性。
KV Cache 与 PagedAttention：显存复用与长上下文推理
KV Cache 是自回归推理最大的显存开销来源，PagedAttention 用操作系统页式管理思想把显存复用做到极致，配合 KV 量化、剪枝与前缀共享，共同支撑长上下文推理。
LLM 推理优化全栈指南：从 KV Cache 到投机解码
大模型部署的成本与延迟由推理优化决定，本文系统讲解自回归生成的内存瓶颈、KV Cache 原理与显存计算公式、PagedAttention 与连续批处理、GPTQ/AWQ/INT8 权重量化、投机解码与并行生成、前缀缓存与 Prompt 优化、TTFT/TPOT/ITL 指标，以及 vLLM/TensorRT-LLM/llama.cpp 框架选型与生产容量规划的完整方法论。
vLLM 深度解析：连续批处理与内存高效推理
大语言模型（LLM）推理服务的扩展性瓶颈，往往不在计算吞吐量，而在 GPU 显存。传统推理框架将 KV Cache 以连续张量形式预分配，造成大量内存浪费，导致 batch size 被严重限制。
AI 推理加速与系统专题：从 CUDA 到生产级推理引擎
AI 推理系统完整专题：CUDA GPU 并行编程、cuBLAS/cuDNN 加速库、算子融合与 CUDA Graph、TensorRT 推理优化、ONNX Runtime 跨平台部署、vLLM 高吞吐服务、模型量化与压缩（INT8/FP16/GPTQ/QAT/FP8）、投机采样（Speculative Decoding）、AI 编译器（TVM/MLIR/torch.compile）、Serverless 推理平台、性能调优检查清单、NCCL 集合通信与多卡推理、分布式推理与 GPU 集群调度、推理基准与压测、FlashAttention 与注意力内核、KV Cache 与 PagedAttention、MoE 稀疏专家推理、Prefill/Decode 分离与连续批处理、LLM 服务可观测性、推理安全防护、多模态推理与边缘端推理部署，覆盖从 GPU 编程到推理工程化全栈实践。并补齐 GPU 性能剖析（Nsight）、结构化输出与受限解码、LLM 网关与多模型路由、向量化与重排服务、推理弹性伸缩与冷启动、RAG 推理链路优化等进阶议题。
大模型本地部署与私有托管：从 Ollama 到 vLLM 生产级推理集群
全面指南：本地部署 LLM 的核心动机（隐私/成本/合规/延迟）、Ollama 一键部署与自定义 Modelfile、llama.cpp / llamafile CPU 推理优化、vLLM 生产级 GPU 服务、TGI 与 HuggingFace 生态集成、GGUF/AWQ/GPTQ/FP8 量化方案选型、LocalAI / LM Studio / GPT4All 自托管方案、CPU vs GPU 硬件需求与 VRAM 估算公式、OpenAI 兼容 API 集成模式、私有模型安全加固策略。包含完整 Docker Compose 模板、基准测试数据与实践命令。