Stable-Diffusion之SDXL的LoRA训练参数设置
AI8ge8888888
2023年11月21日 19:34
收录于文集
共10篇
stable-diffusion

Stable-Diffusion来到XL时代,如果屏幕前的你正在或正想使用kohya-ss、秋叶、赛博炼丹炉来进行XL的LoRA模型训练,那么,以下几点针对8G、12G、16G、24G显存的建议参数不可错过。具体建议设置如下:

一、LoRA type:8Gvram用standard,12Gvram以上的可选用LyCORIS/LoHa;

二、Train batch size:8、12、16、24Gvram依次推荐使用1,6,6,8;

三、Cache latents和Cache latents to dise这两个选项都建议☑️;(图见二)

四、Max resolution:8Gvram 512x512,12Gvram 768x768,16Gvram以及24Gvram 1024x1024;(图见二)

五、关于lr学习率,上手optimizer优化器建议选择Adafactor,"learning_rate": 4e-07,"lr_scheduler": "constant_with_warmup","lr_warmup": 0;如果optimizer选择DAdaptation,那么LR Scheduler选constant,learning rate、Unet learning rate、Text Encoder learning rate都填1;选择AdamW8bit的话,可能还需要更新bitsandbytes。(图见二)

六、Cache text encoder outputs这个选项除了24Gvram可不☑️,其他的都建议☑️;(图见二)

七、由于XL有两个文本编码器,训练的话遇到各种目前无法解决的问题,所以建议不训练文本编码器。因此需要添加如下命令:--network_train_only 。训练器kohya-ss-GUI V22.2.1的具体添加路径是在LoRA---Training---Parameters---Advanced---Additional parameters。

八、Gradient checkpointing都建议☑️。图见上图。