Z-Image也能用ControlNet啦,支持姿势/深度/边缘控制生图!
知音探索
2025年12月05日 16:37

Z-Image也能用ControlNet啦,支持姿势/深度/边缘控制生图!

之前带大家玩了一下,z-image,也分享了简单部署的方法,没看过的可以看看哦。

当时还在期待生态的壮大呢,现在,不管是阿里还是comfyui动作都挺快的,已经支持了controlnet,尝试了一下,也遇到一些问题,先来看一下效果,再把部署过程分享给大家。

本次支持的包括:Canny、HED、深度、姿态和MLSD

魔搭:https://www.modelscope.cn/models/PAI/Z-Image-Turbo-Fun-Controlnet-Union

先来看看效果吧,左侧为原图,右侧为生成的,都是简单提示词。


姿态控制——这里使用的是OpenPose人体姿态检测,通过提取图像中的身体关键点(每只手21个关键点、面部68个,生成骨架图。再将骨架图作为条件,引导AI生成符合人体结构的人物动作。

深度估计

通过生成单通道深度图(灰度图,白色代表近,黑色代表远),表示场景中物体的三维空间位置。再将深度图作为条件,可以使模型更好理解图像的空间透视关系。

不同采样器效果也不同,大家可以都试试,也欢迎分享经验呀。

时间方面,分别是300s,80s,190s。跨度有些大,但大致是这个范围。


Canny-边缘检测

通过提取图像中的硬边缘(二值化、清晰轮廓)。与扩散模型融合,将边缘特征注入生成过程,可以实现对图像结构的精确控制。

下面的提示词都是很简单的,但边缘特征保留得很好。一般是需要清晰边缘的场景使用。

时间方面:80s,170s,220s


直线段检测算法

通过检测图像中的直线段特征(如建筑的墙面、室内的家具边缘)引导模型生成。

一般是建筑与室内设计这些用的更多。下面可以看到保持了空间的布局和陈设。


HED

通过提取软边缘(灰度渐变、细节丰富)与Canny的硬边缘不同,HED的软边缘更接近手绘风格,可以保留边缘的过渡信息。

可以看到轮廓和背景都保留了下来。


一起看一下

好,那我们该怎么使用呢?把过程分享给大家。

首先你得有一套z-image的文生图吧,没有的,可以参考一下我的上一期。

这样,你应该已经有了一个启动器了,首先,更新启动器,直接到开发板按最新的(更新很快),我当时看到正式版也更新了以为也支持了,其实不行,在ModelPatchLoader那里会报错,如果你也遇到了,更新一下就行。

其次就是模型下载了,国内可以在魔搭下载

https://www.modelscope.cn/models/PAI/Z-Image-Turbo-Fun-Controlnet-Union/files

hf也可以

https://huggingface.co/alibaba-pai/Z-Image-Turbo-Fun-Controlnet-Union

接下来又是一个问题了,模型放在哪?不同于以前的放controlnet里,你需要放在model_patches

接下来就是工作流的获取了,大家可以在这里,没有依赖太多插件,可以简单体验。

https://www.runninghub.cn/post/1996491801185886209

其实,你现在运行还可能会有问题,或者说大概率有,就是预处理的模型上--AIO Aux Preprocessor节点。也就是这个插件。

模型可能没下载,会报错,我是在这个up这里下的,全部大概30个g。

网页链接​

覆盖一下目录就行,

其实,接下来还可能有问题(诶),就是一些预处理器上可能还会报错,就是插件版本太新了,大家可以换一个一点的,或者跳过错误的试一试哪些能用,也可以看看之前的图片,有截到。

至此,你应该可以使用了。

也欢迎大家一起交流反馈,分享经验。感兴趣的可以拿下面的图试试。