豆包生成角色序列帧动画的完整工作流
掰西克
编辑于 2025年08月19日 23:59

工作流由以下步骤构成:

海选网图 -> 豆包图生图 -> 抠图,制作绿幕版角色底图 -> 豆包图生视频 -> PR处理视频导出序列帧 -> 调整序列图大小 -> 打图集 -> 导入游戏引擎

看上去流程还是挺长的,好处是不用会画画、建模以及动作,能稍微扣下图就行。并且目前所有工具都可以免费用(PR和PS要找下破解版)

最终在unity中的效果如下(角色是一个飞行的姿态,所以移动会比较简单)

1.海选图片

这个没啥好说的,贴几个常用的素材网站,输入关键词然后按喜好翻牌子就行

https://huaban.com/discovery

https://www.artstation.com/?sort_by=community&dimension=all

https://www.pinterest.com/

https://www.element3ds.com/index.php

2.豆包图生图

这个是所有流程中最基础最重要的一环,务必将初始的角色底图调教好,否则后续的所有工作都会受到影响

https://www.doubao.com/chat/

把海选图作为参考图上传之后,描述一下你需要调整成的角色形象。这一步可以多试几次慢慢调整。哪里不对改哪里。

多抽几次卡,如果效果不理想,可以尝试让豆包解释一张你理想状态的参考图,然后再把它的描述贴回去生成

经过多次的调教,得到一个基本符合设定的底图(这里我是打算做一个仙侠风的年轻道士)

3.抠图,制作绿幕版角色底图

换成绿色底的意义在于生成视频后可以通过PR快速的将背景处理为纯透明,试了一下各种方法,这个应该是最省事效果也最好的。

顺便还可以在PS里对原图的一些小瑕疵的地方做些微调,用ai做微调的效果往往不太理想,ai还是更擅长做整体的感觉。

4.图生视频

由于豆包每天限10次图生视频,所以一定要先想好提示词,避免过于简略纯靠抽奖。

图生视频还有个好处,虽然是2D国风立绘,ai还是会尝试加入一些光影的变化,形成了一种类似3渲2D的效果

上传之前生成的绿色背景的底图,就可以开始抽卡了

最基础的动作一般是4个:

待机、移动、攻击、倒地

其中待机和移动一般会循环播放,对首尾帧的一致性要求比较高

但是这在图生视频时极为不可控,只能尽量让动作是可循环的,或者中间的一些片段是可循环的,通过PR剪成连贯的动作

在制作移动动作时用原始底图始终不理想,我就重新生成了一个移动中pose的底图,以这个为参考生成视频

5.PR处理视频导出序列帧

(PR可能对于没接触过视频剪辑的同学来说是个陌生的软件,但实际操作上比PS更加简单直接,下面提到的功能基本看一个2分钟的视频就能上手操作)

视频处理主要做这几件事情:

a.减掉不需要的片段(使用剃刀工具)

b.背景由绿幕变成纯透明(使用超级键效果)

c.对于待机和移动动作,剪切出视频中的循环片段(找到视频中的相似帧然后掐头去尾)

d.去水印(使用中间值效果)

导出序列帧,建议采样率不要太高,否则图集会很大。我用6帧感觉已经够用了,毕竟3帧已经是电竞水平

注意规划一下导出时的命名方式,否则后续要批量修改的话还是挺烦人

6.批量调整图片

单张的序列帧图肯定不能和视频原始像素尺寸一样,否则图集大小会爆炸。根据游戏内的实际效果,进行适当的缩小到合适的分辨率。如果图片空白区域比较大还可以进行裁剪。

使用的工具是XnConvert,比网上流传的小工具好用多了。

(另外PR里可以在输出时调整图片大小,但是失真度很高,感觉图像压缩还是交给专业的图像处理软件会比较好)

https://www.xnview.com/en/xnconvert/#downloads

a.批量选择需要修改的文件。这里建议分目录处理,保存文件时会比较方便。

b.添加转换动作,这里是调整大小(注意和画布大小做区分,那个是裁剪图片用的)

c.输出设置里填写文件名规则,去掉默认添加的后缀,用原名直接替换

d.点转换,开始批量处理,压缩率还是挺可观的。

7.TexturePacker打图集

将之前的4组动作的序列图全部拖入TexturePacker,由于我是在unity中生成动画,在右侧的output files中选择unity的工作流。点发布,即可生成图集文件。

8.导入unity

需要在unity商店先安装TexturePacker Importer的插件。插件安装好后,直接把上一步生成的.png和.tpsheet拖入unity工程目录,会自动生成一个图集文件(unity转化成一系列的Sprite)

展开图集,将对应名字的图片一起拖入场景,会自动生成animation和controller文件,改成合适的名字,再把动画片段赋给做好的动画状态机,就可以实现角色动画控制了。