模型压缩：量化、剪枝、蒸馏与部署优化实战
模型压缩让大模型在有限显存与延迟预算下可用，是边缘部署与降本增效的关键。本文系统讲解模型压缩四大技术：量化（PTQ/QAT/INT8/INT4/FP16）、剪枝（结构化/非结构化）、知识蒸馏（logits/特征/教师学生）、低秩分解，并结合 ONNX/TensorRT/TVM 部署优化、显存与吞吐权衡、精度保持评估方法，以及 LLM 量化与边缘部署的实战案例。
tag
TensorRT
共 5 篇文章。
TensorRT 深度实践：从 ONNX 到高性能推理引擎
1. TensorRT 简介 TensorRT 是 NVIDIA 推出的高性能深度学习推理 SDK，核心目标是将训练好的模型转化为能够在 NVIDIA GPU 上高效执行的推理引擎。与基于 PyTorch、TensorFlow 的原生推理相比，TensorRT 通过层融合（Layer Fusion）
AI 推理加速与系统专题：从 CUDA 到生产级推理引擎
AI 推理系统完整专题：CUDA GPU 并行编程、cuBLAS/cuDNN 加速库、算子融合与 CUDA Graph、TensorRT 推理优化、ONNX Runtime 跨平台部署、vLLM 高吞吐服务、模型量化与压缩（INT8/FP16/GPTQ/QAT/FP8）、投机采样（Speculative Decoding）、AI 编译器（TVM/MLIR/torch.compile）、Serverless 推理平台、性能调优检查清单、NCCL 集合通信与多卡推理、分布式推理与 GPU 集群调度、推理基准与压测、FlashAttention 与注意力内核、KV Cache 与 PagedAttention、MoE 稀疏专家推理、Prefill/Decode 分离与连续批处理、LLM 服务可观测性、推理安全防护、多模态推理与边缘端推理部署，覆盖从 GPU 编程到推理工程化全栈实践。并补齐 GPU 性能剖析（Nsight）、结构化输出与受限解码、LLM 网关与多模型路由、向量化与重排服务、推理弹性伸缩与冷启动、RAG 推理链路优化等进阶议题。
多模态模型优化与部署：CLIP、Stable Diffusion 与视觉语言模型工程化
多模态 AI 正在重塑内容生成、视觉搜索和智能交互的边界。本文系统讲解多模态模型的核心架构（CLIP 对比学习、Diffusion 去噪、ViT 视觉编码），以及工程化部署中的关键挑战：跨模态对齐优化、扩散模型的 U-Net 加速、图像生成的分页缓存、批处理动态尺寸、以及从 PyTorch 到 TensorRT ONNX 的生产级转换实战。
11. 模型部署与推理优化
ML 模型生产化部署指南：ONNX 跨平台转换、TorchServe 服务化、量化蒸馏压缩、TensorRT 加速与边缘端部署