tag

推理加速

共 3 篇文章。

全部文章 Go Golang Godot Tutorial Rust Rust Tutors SaaS PRD Lua 游戏客户端 Long Term Novel Writing Experience Spore Trilogy Creative Writing Notes 孢子三部曲孢子三部曲创作手记回顾

KV Cache 优化与注意力机制加速：FlashAttention / PagedAttention

大型语言模型（LLM）的推理性能已经成为生产环境部署中的核心挑战。在 Transformer 架构中，自注意力机制（Self-Attention）虽然在建模长距离依赖方面表现出色，但其计算和内存开销随序列长度呈平方增长。

2026-09-1013 分钟阅读

LLM 注意力优化 FlashAttention

GPTQ / AWQ / W4A16：大语言模型权重量化实战

使用 70 GB 显存才能跑一次的 Llama-2-70B，量化后可以塞进 24 GB 的消费级显卡。这不是魔法，而是大语言模型（LLM）权重量化带来的实际收益。本文将深入讲解 GPTQ、AWQ、SmoothQuant、W4A16 等主流量化方案的原理与实战，帮助你在生产环境中实现 4 倍模型压缩而

2026-09-109 分钟阅读

LLM 量化 GPTQ

CUDA 编程入门：从 Hello GPU 到线程网格模型

在大模型推理与训练日益普及的今天，GPU 已不再是游戏玩家的专属硬件，而是 AI 基础设施的核心。理解 CUDA 编程，是每一位希望深入 AI 系统优化的工程师必经之路。本文从零开始，带你掌握 GPU 并行计算的核心概念与实战代码。一、为什么要用 GPU 计算？

2026-09-108 分钟阅读

CUDA GPU 并行计算