迁移学习实战:预训练模型、特征提取与微调全流程
迁移学习实战:什么是迁移学习、预训练模型生态(ImageNet/HuggingFace)、冻结与微调策略、特征提取 vs 微调的选择、学习率分层、适配层设计、CNN 与 Transformer 迁移、完整微调代码流水线。
tag
迁移学习实战:什么是迁移学习、预训练模型生态(ImageNet/HuggingFace)、冻结与微调策略、特征提取 vs 微调的选择、学习率分层、适配层设计、CNN 与 Transformer 迁移、完整微调代码流水线。
全参数微调大语言模型在显存、数据与工程成本上都不现实,参数高效微调(PEFT)成为主流选择。本文系统讲解微调技术全景:全参微调的局限、LoRA 低秩分解原理与实现、QLoRA 的 4bit 量化与嵌套量化、Adapter 与 Prefix Tuning、微调数据构造与合成、训练超参配置、评测与过拟合防护,以及 SFT 与 DPO 两条对齐路线的工程实践对比。