随便写写:练衣服lora的小笔记
ReroWintermoon
编辑于 2023年10月26日 19:47

训练

首先练Cos服lora的核心问题主要是减少对某一特征的学习,在大多数情况下就是不希望学头。即使这个角色的脑袋很普通,但如果全都是同种发色也容易在使用时产生影响让换发色变得不那么容易或是污染你的角色lora的头。

目前减少对头部的学习的法子包括但不限于:

色块遮脸法

这个在c站那篇文章(https://civitai.com/articles/726/an-easy-way-to-make-a-cosplay-lora-cosplay-lora)已经提过。这里补充一下:可以用不规则和不同颜色的色块涂脸,减少过拟合风险。

缺点:如果使用的色块过多,某些优化器(如:神童)和某些采样器(如SDE)会让色块过拟合。同时色块对画风也有微妙的影响。

手动正则法

也就是塞果体人啦。对减少画风和动作污染都有帮助,而且所占步数可以多一些,但其实没那么好找,如果设置的循环较高,建议是发型常规一些,散发直发是最好的。此外,如果你想扒下衣服的角色有特殊的角,而你不想固定那个角,可以放长着不同角的图。又比如BA角色的光环,你就可以多塞几张其他光环(推荐是传统光环)的图(或者把光环P没)。但手动正则法仍然无法完全解除发型发色和衣服的绑定。

以及你可以拿类似衣服的局部特写作为补充。比如那款牛纹弹弓素材不多,我就拿其他的弹弓的下半身和后背放进去;奶盖舞娘,也没有什么素材,有的上半身是白的但不是奶盖,我就截掉“会看出不是奶盖的部分”然后打上奶盖的标。

还有个例子就是大凤泳装(大莱过于瑟琴,不放图了),小腹那里的交叉带子multi-strapped bikini等都无法吸收(这年头比基尼越来越花里胡哨了),导致即使completely nude也会有个带子在那里,于是我就加了一波打上completely nude的下半身图(记得视情况加上close-up, lower body, hip focus, crotch focus等),这样避免了污染头部,也提升了AI对completely nude这套“衣服”的理解。

裁剪去头法

实际上在莉拉睡袍那个lora之前我就用这个法子练过几个衣服lora。即直接把图片中角色的头部截了并打上"head out of frame&#​34;这个标。不过那时候没悟出果体人大法,有时还漏了head ou of frame导致污染。

比如这样

相比色块遮脸法其实方便很多,但也有问题:

  1. 你的数据集里最好还是得有几张露脸的,而且不建议只有原主的脸——对,结合手动正则法使用,从而平衡面部特征的权重使其不会过度偏向原主。

  2. 很多素材都喜欢抬手摸脸玩头发,导致截头也会把手给截掉,这时候打标器更容易漏动作标,务必检查补上。

P图

虽说已经足够简单,但以上这些方法对于某些案例仍然无法完美应对。头发和服装存在一定耦合性,对于那些较长的头发,long hair和very long hair不能完全吸收,色块和截头也不能很好的去掉,这就会导致搭配短发角色使用时,仍然会有谜之长发在身后,抑或是变成奇怪的披风。一个例子就是Last Origin里的Cerestia of Life(大莱过于瑟琴,不放图了),她是金发但头发末端渐变为白,背后还插着俩大树枝,这就带来了谜之白色披风等污染,解决办法嘛,只能P了。


应用

触发词的选择:自造词/近似自造词,要不就实义词,或者压根没有。

用一个靠谱的触发词将特征吸收,从而使其不绑定于1girl,这样在搭配那些自带衣服还很难换的角色lora时效果更好(不知道是怎么传起来的“删了的特征才是学进去的”这种潦草的说法)。1girl涵盖的东西太多了,要达成指定的效果有时就像拿恒河水调出指定几种物质浓度的混合溶液,远不如拿蒸馏水和纯净物调起来方便。

只是如今角色设计越发繁复,穿的衣服一个比一个复杂和奇怪,很多时候压根就找不到对应tag。尾张那个泳装(大莱过于瑟琴,不放图了)你说是连体泳衣吧,前面是类似豪车圣姨的一块松垮的布,说是dress吧 ,又没有裙摆,下面也确实是绷着的。

所以说一个角色就应该只练头和只练衣服两个lora各整一个啊用起来多方便(

自造词自然就是那些自己编的tag,还有一些tag看似自动补全能出来,在几个booru上也有,但样本量低,或是NAI训练时没学进去,这样的tag跟自造词也没什么差别。还有一些词比较奇怪,无lora下输进去没反应,但稍微训练一下特征就绑上了。

只是在大多数情况下自造词都没有什么吸收能力,远不如1girl。(悲)

而确实有用的实义词呢?大多数情况下都是好的。但……

1.有时角色的训练集里有同样或同类tag但长得不太一样的元素。这样又会打起架来。如果你能熟练掌握控制网语义分割……好像cos服装lora也没有什么用了(

2.打标器给不出真正对应的tag。比如雅努斯的万圣节皮肤,如果绑dress,下摆遮住小腹,如果绑leotard和miniskirt,那么有一半概率会露一小块侧腰。最后试了试black nightgown+miniskirt,基本解决。但打标器本来是没有给出nightgown的。阿尔比恩的那个裙子也是。似乎只要是比较奇怪的裙子/长袍绑到gown或nightgown上效果都不错。


一些就是很难学的东西

打个比方的话,不同模型的人物有时就像是有着不同的装备体系,缺了某个装备槽位,衣服就是装不上。之前练了绫地宁宁的衣服但是发现在铜之心上带子遮不住胸。第一版僵尸服我删掉了胸部相关的标,在某个真人模型上那个符纸就消失了。

以及外套袖子真的是重灾区。亚子的衣服(算是早期作品),jacket和long sleeves对于某些模型就是会off shoulder。雅努斯的踌躇换衣时间,在某些模型上写long sleeves会跑出黑夹克。还有Nikke的爱丽丝那套居家服,因为袖子颜色不一样,无论删不删标,AI都倾向于把袖子扯断或者变成外面的粉红外套。

只能希望再有普罗米修斯盗个二号天火。(novelai:你不要过来啊!)XL有点步子太大扯到了。