LoRA on PlumePHPhttps://plumephp.com/tags/lora/Recent content in LoRA on PlumePHPHugozh-CNSun, 27 Sep 2026 11:30:00 +0800大模型高效微调：从全参微调到 LoRA/QLoRA 与 DPOhttps://plumephp.com/ai-llm-fine-tuning/Sun, 27 Sep 2026 10:30:00 +0800https://plumephp.com/ai-llm-fine-tuning/大模型高效微调：LoRA/QLoRA 原理、PEFT 技术、微调数据构造、SFT 与 DPO 对齐流程与工程实践。量化感知训练（QAT）与量化微调：伪量化、STE 与 QLoRA 实战https://plumephp.com/ai-qat-quantization-aware/Sun, 27 Sep 2026 11:30:00 +0800https://plumephp.com/ai-qat-quantization-aware/<blockquote> <p>训练后量化（PTQ）在精度敏感场景常常失手，量化感知训练（QAT）则让模型在训练阶段就&quot;学会&quot;适应量化噪声，是工业界把 INT8 精度损失压到 1% 以内的关键手段。本文从伪量化算子与直通估计器（STE）讲起，给出 QAT 完整流程，讲解蒸馏+量化组合，并深入 LoRA 量化微调（QLoRA）与工业实践。</p>