GPU 性能剖析：Nsight Systems 与 Nsight Compute 实战
GPU 跑不满、Kernel 慢却不知卡在哪，是推理优化的日常困境。本文拆解 NVIDIA 剖析双工具的分工：Nsight Systems 看时间线（谁在等谁、Kernel 间空隙、数据传输与同步），Nsight Compute 看单个 Kernel 内部（占用率、访存、算力与带宽利用率）。给出采集命令、关键指标解读、典型瓶颈模式与从剖析到优化的闭环流程。
tag
CUDA
共 12 篇文章。
38. 并行计算与 GPU 编程模型
从 SIMD 与 SIMT 分类出发，梳理 Amdahl 与 Gustafson 并行性能定律，讲解 OpenMP 共享内存并行与 false sharing、数据竞争的成因，深入 MPI 点对点与集合通信，再到 GPU 的线程层次、warp、共享内存与合并访存，对照 CUDA 与 OpenCL 概念，并给出前缀和、矩阵乘、归约三类并行算法要点。
Nix 中的 CUDA 与机器学习环境：cudaPackages 与 PyTorch
Nix 中的 CUDA 与机器学习环境实战：GPU 环境为什么难（驱动/运行时/库三方版本约束）、nixpkgs 的 cudaPackages 布局、驱动与 cudatoolkit 的版本匹配、GPU 开发 shell 搭建、PyTorch 打包与 Python 生态、版本匹配矩阵与常见错配、容器镜像部署、cudaCapabilities 编译加速与多 GPU、常见坑与排错清单。
FlashAttention 与高效注意力内核：IO 感知与分块计算
标准注意力的瓶颈不是算力而是显存 IO：中间矩阵 S、P 的写入读出把 HBM 带宽吃满。FlashAttention 用分块 + 重算 + online softmax 把 IO 从 O(N²) 降到 O(N)，成为长上下文推理的基础设施。
GPU 容器与 AI 推理部署：NVIDIA Container Toolkit 与 MIG 深度实践
系统讲解 GPU 容器化的完整技术栈：GPU 与容器的隔离模型、NVIDIA Container Toolkit 与 nvidia-container-runtime 架构、CUDA 基础镜像选型与版本匹配、GPU 资源调度与共享（MPS/MIG）、大模型推理容器化部署（vLLM）、多 GPU 与 MIG 切分、Kubernetes 中的 GPU 调度，以及 GPU 容器的监控排障实践。
算子融合与 Kernel 优化：从 CUDA Graph 到 FlashAttention 的极致性能
在 GPU 推理中，最贵的往往不是计算，而是数据搬运：每一个算子都要把中间结果写回显存、再读出来，内存带宽成为瓶颈。算子融合就是把多个算子合并成一个 kernel，减少显存往返，是 TensorRT、vLLM、PyTorch 编译器都在做的事。本文从融合原理讲起，拆解 FlashAttention 类融合，再到 CUDA Graph 与自定义 kernel 开发流程。一、为什么需要算子融合
CUDA 编程入门：从 Hello GPU 到线程网格模型
在大模型推理与训练日益普及的今天，GPU 已不再是游戏玩家的专属硬件，而是 AI 基础设施的核心。理解 CUDA 编程，是每一位希望深入 AI 系统优化的工程师必经之路。本文从零开始，带你掌握 GPU 并行计算的核心概念与实战代码。一、为什么要用 GPU 计算？
CUDA 内存管理与性能优化：Bank Conflict 与合并访问
在现代 GPU 计算中，内存访问模式往往是决定内核性能的首要因素。算法复杂度相同的两个 CUDA Kernel，仅仅因为访问显存的方式不同，执行时间可能相差数倍甚至一个数量级。本文将系统梳理 CUDA 编程中各类内存的访问特性，深入讲解合并访问（Coalesced Access）与 Bank Con
cuBLAS / cuDNN / cuFFT：NVIDIA 加速库实战
在 CUDA C++ 应用开发中，开发者很少从零编写核函数。NVIDIA 官方提供了一套经过深度优化的加速库，覆盖线性代数、深度学习、信号处理、并行算法等核心场景。这套库不仅性能卓越，而且经过大量生产环境验证。
GPU 架构与并行计算：从 SIMT 到 GPGPU 编程
深入解析 GPU SIMT 执行模型、Warp 调度、显存层次结构，对比 Vulkan Compute Shader 与 CUDA，掌握 GPGPU 并行算法设计核心要点。
AI 推理加速与系统专题：从 CUDA 到生产级推理引擎
AI 推理系统完整专题：CUDA GPU 并行编程、cuBLAS/cuDNN 加速库、算子融合与 CUDA Graph、TensorRT 推理优化、ONNX Runtime 跨平台部署、vLLM 高吞吐服务、模型量化与压缩（INT8/FP16/GPTQ/QAT/FP8）、投机采样（Speculative Decoding）、AI 编译器（TVM/MLIR/torch.compile）、Serverless 推理平台、性能调优检查清单、NCCL 集合通信与多卡推理、分布式推理与 GPU 集群调度、推理基准与压测、FlashAttention 与注意力内核、KV Cache 与 PagedAttention、MoE 稀疏专家推理、Prefill/Decode 分离与连续批处理、LLM 服务可观测性、推理安全防护、多模态推理与边缘端推理部署，覆盖从 GPU 编程到推理工程化全栈实践。并补齐 GPU 性能剖析（Nsight）、结构化输出与受限解码、LLM 网关与多模型路由、向量化与重排服务、推理弹性伸缩与冷启动、RAG 推理链路优化等进阶议题。
WebGPU 浏览器图形 API 完整教程：从第一个三角形到 Compute Shader
WebGPU 是 W3C 推出的下一代浏览器图形与计算 API，取代了已有十年历史的 WebGL。本教程从浏览器环境配置开始，完整讲解 WebGPU 的适配器与设备枚举、命令编码器、渲染管线、顶点缓冲、 uniform 绑定、纹理加载与采样，以及 Compute Shader 通用计算编程，帮助前端开发者迈入现代 GPU 编程时代。