(4)XTuner 大模型单卡低成本微调实战
WAurblove
2024年01月16日 21:41

LLM对话模板作用

指令微调原理

增量预训练微调

LoRA方法用旁路分支为模型参数调整降低显存开销

全参数微调、LoRA、QLoRA微调的对比

XTuner简介

不同算法优化前后在不同计算卡上的显存占用