【NovelAI】2年过后,我对于NAI3有哪些新的思考了?
桪常PUTR
编辑于 2024年03月29日 23:31
收录于文集
共3篇
Novel ai生成的二次元图究竟有多强?

胡言乱语的前言:

普罗米修斯带来火种点燃了民间AI绘画社区,自此不知多久……如今这团原初之火已经燃烧到极限。而一场火雨悄然从空中降临,砸向地面上的一切………

(注:本文章内图片均由NAIV3生成而来)

距离上一次写AI绘画专栏已经过去2年了,我本人虽然没有继续写这类东西,但相关资讯还是会关注的。novelai官方在持续的摆烂之后,于23年8月末拿出了全新基于XL的大模型NAI-V3,这也让novelAI重新回到了王座之上。

你说本地SD,一个一个炼了多少模型了,有变化不啦?换汤不换药啊。人家nai3也有理由的啊,我用的什么底模啊,我用的SDXL啊,你这批模型是什么模型啊?你叫我比,SD1.5模型现在什么水平,就这么几个底模,还源于nai早期模型,你能比吗?比不了,没这个能力知道吗?再下去要输NJ了,NJ输完输文心一格了,文心一格输完,接下来没得输了……


在我还没用NAI-V3之前

叠甲:我本人,非专业,爱好者,全乱写,你说对,那就对

现在才写NAI3属于是在火星蹭热度级别。NAI3已经不是啥新鲜事了 ,半年前就已经出的东西。而且这个模型大家肯定不陌生,蓝P站基本已经被nai3的图霸榜了,很多质量高的图还不少。(虽然大部分都是“那方面”的)……

奈何本人根本用不了(一个字“”,之前的novelAI都是嫖朋友的)无缘与NAI3自然也就无法评价,最近终于是成功让我白嫖到了(洋溢着白嫖的喜悦),在使用了2个月后有了些新的思考,在此记录下来,也算是对自己两年前那篇文章的一个回顾。

其实在SDXL大模型公布的时候,我就明白,1.5的模型已经走到极限了。可以说,基于1.5模型的图已经没有继续看的必要。各方面都没办法与XL相比,再怎么融也只是小修小补,无非从几种画风来回倒腾变成另外几种画风来回倒腾。而词条理解,泛化,屎山,都是再怎么改也没办法解决的问题,毕竟这些都是底层的东西,想要解决,必须得换底模

最初的熔炉是从nai泄露的模型。不严格的说,社区模型很大程度上被nai最初的模型给限制住了,连novelAI官方也是。在V3之前,官方自己出的几个所谓新模型也是一顶一的抽象,大家那个时候都在调侃nai作为最初的领军人物,却越来越拉。

可以很明确的一点,未来发展必须基于新的底模,而目前最新的大模型就是XL,它也许就是未来。

但SDXL的模型训练难度很大。在XL发布很长一段时间里,虽然有很多社区XL模型发布,不过还是在贴合XL模型本身的真实模型的基础上进行增减,绘画(或者说二次元类)模型并不多,很多模型处于一个能跑但不实用的诡异阶段。

那时候的XL大模型基本上给我的一个感觉就是:高情商,华而不实;低情商,电子垃圾。没用几下,就又回去继续用1.5模型了,这也让我一度认为XL跟所谓的2.0、2.5一样也不过是个冲击波而已,还是继续等吧。

但NAI3的横空出世,不仅展示了XL底模的上限有多高,也给展示了钞能力跟民间社区训练的差别。(他什么算力我们什么算力,更别说都雇人手精准打标…)

他的强大有且包括,一个大模型就拥有了各种功能;只需要tag就能生成各种的人物角色,包括各种细节也能还精准还原;最恐怖当然还是能模仿许多知名画师画风……

虽然在先前SD也能通过lora或者大模型来做到,但那些都远不及NAI3给我带来的震撼。无论是画师lora 还是画风大模型,模仿出来的那些画风不过是东施效颦,而角色lora只能说部分还行,很多的要么欠拟合,要么过拟合,质量很不稳定。

(早知道,还是novelAI)

在我用上NAI-V3之后……

说句夸张的玩笑话,在我上手使用到nai3的那一天,我突然觉得这两年民间的各种AI模型各种lora都是个笑话,一刹那,就变成了一团没有任何意义的电子数据。

“在这个没有星星的夜里,黑暗不仅仅是缺乏光明,它是一个实体,压得人喘不过气来。”

NAI还不单单是模仿画风那么简单,也正因为是AI,他能融合画风,现在NAI3社群的一大实验就是尝试各种画师的画风组合,就像调配各种未知的药剂一样,寻找不同排列组合下全新的,不一样的变化,或者寻找可以添加的新药剂(画师)。

大家感觉NAI3画风好像没那么多,看到的画风好像也都是那几样,其实只是P站上,大家爱用的“网红画风”来回就那几个而已。加上很多人的画师tag都是来回抄的,自然让人感觉画风好像不多的样子。

如果NAI3不打上画师tag生成,出来的图片质量可说是灾难级别的,容易的出好图的画师测试下来之后,形成了“老五样”的格式,自然也是画风看起来固定的原因。

同样,我也按照以往的惯例,生成了各种发色的精灵,而这次,NAI3已经可以让我实现一个精灵一个画风了。(大伙儿如果阅图量丰富,各种画师图片看得足够多的话,甚至能一眼分辨出图片里的主要画风是来自哪个作者的)

如今的NAI3基本是碾压的态势(还贵)横扫现在所有社区模型,社区的XL模型要跟上估计一年都算乐观,很多XL模型依旧处于勉强能用阶段。

其实,民间的模型训练者们,很多都一直在回避的一件事情,那就是避免涉及真实存在的画师,比如说,使用他们的画作进行训练来尝试获得他们的画风。(不过就当时来看,除非那些画风极其特殊且非常有风格的画师,很多训练出来的所谓画师lora都不行。

早期还是有不少这类的lora,后来这类模型开始慢慢减少了,因为到后面,很多模型作者为了避嫌,选择使用AI生成的图来训练AI大模型。(大部分图片是来自NJ生成的,这也是后来AI模型画风趋向固定的原因之一)而且除了自用以外,很多模型作者也都会选择公开,自然就会被其他人拿来再次融合,相似也是必然的。

而NAI3,他能跑出这么多画师的风格而且模仿得如此相像,训练素材有什么可想而知。毕竟他们使用的是Danbooru图库,那怕很多画师已经联系了图库,从上面撤下了自己的画作。但novelAI官方那边很显然是有之前的备份,并且还在不断更新,这次更是在上次模型的基础上进行了更详细精准的打标,这也是保证nai3能一直支持到23年6月之前出现的角色的基础。

而且很多素材,你甚至你根据吐出来水印知道来源,就比如上面那张蓝发精灵,那个大眼睛透明水印是什么东西,想必不需要我多说了吧。尤其是很多在微博活跃的画师,比如wlop,防冻液老师,他们的画师tag就很容易的出现微博的水印。而你如果输入arknight、官方作品,这两个标签,他也能把明日方舟的水印原封不动的吐出来,原神也是一样的。这些图片是怎么来的,合不合法,想必也不需要我多解释

而且novelAI官方很早就有理由了,人家说了,我收的是显卡算力的费用,不是使用AI模型的费用。以此来打马虎眼,因为有了上次的教训,这次模型恐怕是不会再有盗火者出现了,那怕真弄出来,估计是使用不了的,毕竟有说过novelAI官方用的是自己魔改过后的XL框架。

大公司模型正在从开源转向封闭,毕竟人家MJ、NJ就是非开源模型,赚得是盆满钵满。nai因为泄露,除了早期有赚,后面都没人用你了。比起所谓发展,那肯定是赚钱更重要,没人会跟钱过不去的。真正的开源恐怕以后也会越来越少,大公司自研成功降维打击,民间社区开源抱团需求发展,是现在的趋势。(所以请珍惜每一位还在坚持开源共享的作者吧)

不过,目前还是不用太悲观的,虽然我刚上手nai3的时候也觉得民间没必要在继续练模型了,比不了的。但novelAI在这次成功之后,又开始摆烂了。社区模型虽然追赶的速度很慢,但也已经有一两个能达到NAI3四分之一左右能力的模型出现,因为是SD模型,自然也支持lora跟controlnet,拓展性跟可控性会更好。而且最重要的一点是:

他们是无私分享的。


一些碎碎念:

这次NAI3更新最大的受害者是谁?

自然是各位画师了,毕竟之前模仿的画风还只是小打小闹,这次是真正意义上的“灵魂汲取”,虽然很多人觉得这也只是形似罢了,还远未达到神似的程度,但足以窥见未来的发展。

尤其我个人感觉,最大的受害者应该就是小纪老师TrNyteal了,他的画师tag:artist:ciloranko,可以说是好图必用,P站上每张平涂风格的图,里面tag基本上都有他。(而厚涂风常用的就是wlop)

一则亲身经历的地狱笑话:我游戏群里一位朋友发了小纪老师画的vi3(来自星尘的女角色)。然后另一位群友说,别发AI图片了,不爱看。又来一位说,不错啊,现在AI这么厉害了啊。而我这个知道这张图是小纪老师画的人,很尴尬的说了一句:“有没有可能,这个是被AI偷去画风的原作者画的……”

设身处地想一下,几乎整个NAI生成的都是跟自己画风如此相像的图,而且这“不是乱打的,而是有备而来的”,能高兴吗?恐怕没人会高兴的起来吧。

经过这次V3的更新你的观点发生变化了吗?

我的观点依旧没变,现在的NAI3依然只是一个便捷的约稿工具人,离所谓替代画师机器人上岗,让绘画成为所谓“消逝的职业”还差得远。

现在V3的能力更强了,但也只是出图品质,跟出图质量比以前更好了,更耐看,支持的东西更多了。但扩散模型本身的问题依旧没有解决,抽卡质量高了,也还是不代表每次都能出好的卡。你看到的那些AI常犯的那些错误(手指,透视之类的)V3一样也有,只是概率更低些,但依旧会有,那怕现在新的图生图功能很牛了,可以上人工图生图手动修复,但依旧不容易解决,而且很花时间。(P站上人家上传给你看的图,肯定都是挑没问题的给你看啊)

人的能动性依旧是AI生成图片所需要。我一直觉得AI绘画这个词用的不恰当,AI的本质是生成图片或者说“渲染”,而非词义上的“绘画”。可能我原本是做3D的原因,我看待大模型更像是看待一个渲染器,只不过输入内容从“三维模型”变成了“单词组合”而已。正如渲染器已经帮你解决的如何计算出真实的光影,网上的好心人也提供了很多模型,但参数还是场景布置依旧需要你来解决。

NAI3同样,AI帮你解决了“画”的问题,但想,还是得你来想的,并“要求”他“画”给你看。你还是得自己思考,“画”什么,调参数,挑选出好的,这中间也是需要审美能力参与的。之前秋叶佬转发过一则判例,那则案例里,法院给出的裁定也说明了,人在创作生成式AI作品的时候,调节设置,输入参数,这些行为,也算是劳动。(但AI模型本身的版权问题依旧是模糊的。

事实上,很多人光是思考tag这一步都懒得做。那怕现在有各种词库让你随意组合,大部分人还是选择随机生成,或者抄别人的tag……毕竟大家都只是玩玩,没多少是认真愿意花时间在这上面,想tag也是需要消耗脑子的……

P站上很多非常厉害的NAI3作品,甚至都做成了一段故事。这中间除了NAI3,还需要PS等工具的参与,已经重复大量的局部图生图,更别说构建这一段故事的想法了,这可不是AI他自己就会搞定的。(虽然确实,创作这些东西是不怎么需要进行画画这项工作了)

大家以为的AI绘画:给我画100张某某X某某一起***的故事,然后唰一百种就好了。

实际上的AI绘画:半天想好一串tag,反复修改,诶,怎么这里出问题了;这个地方怎么变了;怎么这里就是调不好;为啥跑不出来?算了摆了()

不过如果只是把NAI3当成一个可以满足你任何想法的约稿工具人,只要你能描述你的想法,他就能大概画出来,不过他也很笨,只能按他的想法来画。

我想,这个大概才是现在V3真正扮演的角色。

(furry也是可以画的。)

未来会是怎样的呢?

我还是那句话,走一步看一步,未来的事情未来说。不过有些事情还是可以从变化中发现端倪的。

22年到24年2年过去,这期间每天都有新的技术出现,发展很快……吗?只能说如快。看似新技术天天有,但正在落实能够面向大众应用的,似乎没多少。真正像当初novelAI,GPT这些一经问世就掀起巨大波澜的AI技术似乎没了。基本到23年之前,很多东西都是基于这些应用技术的小修小补,或者增添删改,本质还是没有多少变化。

但你能说没变化吗?不能啊,你看,这V3不就来了吗?听说GPT5也“很快”就要公开问世了。(感觉更多像个拉投资噱头)也时不时冒出那么一两个不要脸的,用AI生成图片来当美术的公司,拿开源的东西牟利的SMFW,然后被大伙儿发现,开喷,自讨苦吃。

我一位朋友原本还幻想着AI技术继续发展下去,AI配音AI视频AI绘画联合,以后能够随便生成想要看的“小电影”从此解决人生一大需求呢。目前看来还得要一段时间。

最后我把之前文章的结尾稍微修改一下,来个总结。

AI的目的是便捷人类,使用AI的是人。AI的问题,本质还是人的问题,人决定了AI如何看待,如果发展,如何使用。未来的走向是人决定的,而不是机器决定的,创作这件事本身来自人类,也只属于人类。

问题的关键,是人。

(本文写作耗时6个小时)