https://plumephp.com/tags/%E9%87%8F%E5%8C%96/Recent content in 量化 on PlumePHPHugozh-CNThu, 10 Sep 2026 10:00:00 +0800https://plumephp.com/ai-llm-quantization/Thu, 10 Sep 2026 10:00:00 +0800https://plumephp.com/ai-llm-quantization/<p>使用 70 GB 显存才能跑一次的 Llama-2-70B，量化后可以塞进 24 GB 的消费级显卡。这不是魔法，而是大语言模型（LLM）权重量化带来的实际收益。本文将深入讲解 GPTQ、AWQ、SmoothQuant、W4A16 等主流量化方案的原理与实战，帮助你在生产环境中实现 4 倍模型压缩而不显著牺牲精度。</p>