Anima 单角色 Lora 训练经验阶段性总结
1lch2
编辑于 2026年07月05日 21:11

这几天花了十几个小时,以及在autodl上浪费了20多块钱之后,终于练出来了一个细节满意的lora,发个专栏总结一些阶段性的经验和结论,主要是供自己之后参考,也顺便给有兴趣的人提供一点参考。

性能需求

Anima的lora训练相比于基于SDXL的Noob明显更吃性能,不论是对步数还是对显卡性能的需求都明显更高。我这段时间同时在用本地设备和云端训练,本机是 4070 Ti Super,云端租用的5090。本地训练如果想把模型全部加载到显存中,不卸载模型层数,基本上最低需要12G显存。

过去在4090上训练700步,大约20分钟时间就可以拟合得非常好。而在Anima这里,我用了两套参数分别在云端5090和本地4070TiSuper上都花费了两个小时左右才得到满意结果。

如果你也想在Anima上训练角色lora,那就得准备好面对更长时间和更高的租卡成本。

成果展示

这里我分别展示两套参数训练出来的结果,使用了同一套训练集,角色是明日方舟的天火,只练了她的泳装。数据集直接沿用了去年的,因为冷门角色没啥人画[藏狐]。

先贴一下官方立绘方便对比。

我们天火什么时候才能有新衣服😭

最佳结果:dim8 2400steps

这是目前训练结果细节最接近立绘的一张,很好学习到了胸前的银色心形图案,腰上的红色白色腰带,以及侧边的系带蝴蝶结。除了腰带扣细节不太对,基本上都符合立绘设定。

跑对比图时注意到不同checkpoint之间差异非常小,种子和提示词一致时,基本只有服装细节有变化。我个人认为dim 8就是单角色单服装的lora体积甜点了,信息容量满足了角色服装的绝大部分细节,但又不至于把背景或者动作要素拟合到角色身上。

2026年7月5日补充:

经过对比实验,应该把这里的结论修改成“dim 8是单角色单服装比较极限的参数配置”。dim16在学习速度上会比dim8快一些,如果不是素材非常单一,那么选择dim16也比较合适。

况且不论是dim16还是dim8训练出来的lora,文件体积都只有不到50MB,如果不是追求极限节省空间,可以考虑直接用dim16

dim16 1488steps

这张图的种子和提示词跟上一张有差别

这个检查点在自己机器上训练,因为自己显卡性能与5090差距很大所以花费时间更长但步数更少。即使是更少的步数,也能看出来大部分细节都学会了,腰带扣部分虽然还是没有学到,被 o-ring 等提示词污染了,但整体上还是令人满意。

不过对比检查点时候发现,控制提示词和种子不变时,不同检查点出图的动作和背景有明显差别。看得出来dim 16确实比 dim 8拟合更快一点,但也会不可避免地多学习到很多无关的要素。

2026年7月5号补充:

后面我又尝试使用16dim 8alpha训练了一个角色,虽然前期有同参数下出图变化较大的问题,但后面逐渐拟合时候,也和dim8一样稳定了下来。

但上文提到的训练细节的结论不变,还是需要补充特定细节的裁切特写图,至于是哪些细节,至少我现在没法在第一次训练时候就确定,只能在第一炉lora出来以后观察出图里有哪些细节学习不足的部分了。

数据集

前面说我基本沿用了去年在Noob上训练天火lora的数据集,但也不完全是这样。在今天端出来这两个满意lora前,我已经尝试了8轮,每次结果都没法满意,基本都是胸前图案和腰带细节两处的效果非常差,而且也学习不到腰两侧的蝴蝶结。

和群友交流以后,尝试把这两处学习较差的细节部分单独裁切出来增强数据。打标时候没有对这两个细节专门添加tag,也没有使用自然语言描述。结果证明确实效果要比先前好。

所以对于这类无法用tag精细描述的服装或者装饰细节,很有必要做专门的数据增强操作,让模型能学习到外观特点。

训练参数

Anima和SDXL训练最大的区别就是步数了,不要幻想能和之前一样15分钟一个角色lora,DiT架构就是远比UNet吃性能。老老实实拉高步数,想练好细节就得准备拉到2000步以上。

云端训练的最佳结果:dim8, alpha 4, 优化器AdamW,batch size 8,调度器 cosine with restarts,重启2次,unet lr 2.2e-5。总步数2400

本地训练的次优结果: dim16, alpha 8, 优化器 prodigy, batch size 4,lr 设1交给神童优化器自己调度。总步数1488。如果拉到2000步应该也可以拟合得一样好。

另外在SDXL模型上惯用的打乱标签顺序功能在Anima上默认不开,Kohya_ss 脚本现在有一套新的数据集配置,可以用json格式给tag分类,之后在对角色无关的部分打乱顺序训练。目前还没琢磨明白那套配置写法,好在老办法也是完全兼容的,还是可以直接用之前的数据集。

下一步

接下来准备尝试摸索训练画风lora的参数,把自己之前Noob的画风迁移过来。Anima似乎对于画风拟合得格外快,可能之前在Noob上头疼的画风拟合问题在Anima这里就不是问题了。到时候再发另一篇专栏总结下。