本篇专栏是为了总结一下探客使用Qwen image Edit model 的心得以及社区中探索到的有趣要点。
Qwen image Edit继承了Qwen image强大的文本编辑功能,并支持同时编辑语义和外观。
能够在保持文字原始大小、字体和样式的同时,进行精确的文本更改。
Qwen image本身的生图能力其实并不突出,但是有了这样强大的文本编辑功能,我们就能在任何图片上进行文本编辑了。
当然,出了文本编辑,Qwen image Edit还能够更改图像的内容,例如移除某个角色,移除某段文字,甚至是将一个角色拆分成素材精灵...
(游戏制作中,角色的衣服,头发,武器...等等)
那么如此强大的模型,如何使用呢?
非GGUF同学,只需要更新comfyui
然后按照:https://docs.comfy.org/tutorials/image/qwen/qwen-image-edit
给的示例工作流,下载相应的模型文件:
1.F8的Qwen image Edit
下载地址:https://huggingface.co/Comfy-Org/Qwen-Image-Edit_ComfyUI/resolve/main/split_files/diffusion_models/qwen_image_edit_fp8_e4m3fn.safetensors
2.CLIP文本编码器,同时也是支持视觉识别的自然语言生成模型(是的,可以用来当聊天机器人)
下载地址:https://huggingface.co/Comfy-Org/Qwen-Image_ComfyUI/resolve/main/split_files/text_encoders/qwen_2.5_vl_7b_fp8_scaled.safetensors
3.VAE
下载地址:https://huggingface.co/Comfy-Org/Qwen-Image_ComfyUI/resolve/main/split_files/vae/qwen_image_vae.safetensors
4.Lightning的4步出图lora
下载地址:https://huggingface.co/lightx2v/Qwen-Image-Lightning/resolve/main/Qwen-Image-Lightning-4steps-V1.0.safetensors
下载完成后,分别将模型文件放入相应的文件夹。
📂 ComfyUI/
├── 📂 models/
│ ├── 📂 diffusion_models/
│ │ └── qwen_image_edit_fp8_e4m3fn.safetensors
│ ├── 📂 loras/
│ │ └── Qwen-Image-Lightning-4steps-V1.0.safetensors
│ ├── 📂 vae/
│ │ └── qwen_image_vae.safetensors
│ └── 📂 text_encoders/
│ └── qwen_2.5_vl_7b_fp8_scaled.safetensors
然后将工作流拖进comfyui中,直接使用就可以了。
但是,那是对于显存大的使用者而言的,对于显存不足的使用者,还是要用GGUF量化模型。
这里就和以往有些不同了,首先让我们更新comfyui-GGUF到最新版本。
然后,让我们下载相应的GGUF量化模型文件:
1.GGUF的Qwen image edit(选择需要的模型文件)
下载地址:https://huggingface.co/QuantStack/Qwen-Image-Edit-GGUF/tree/main
2.GGUF的CLIP(选择需要的模型文件)
下载地址:https://huggingface.co/unsloth/Qwen2.5-VL-7B-Instruct-GGUF/tree/main
这里需要注意,加载GGUF版本的CLIP,除了量化模型之外,还需要额外下载一个mmproj文件。
下载地址:https://huggingface.co/unsloth/Qwen2.5-VL-7B-Instruct-GGUF/blob/main/mmproj-F16.gguf
然后重命名使其与主文件匹配。
如果您的主文件是 Qwen2.5-VL-7B-Instruct-UD-Q6_K_XL.gguf ,则将其命名为 Qwen2.5-VL-7B-Instruct-mmproj-FP16.gguf
然后将文件放入相应的文件夹:
📂 ComfyUI/
├── 📂 models/
│ ├── 📂 unet/
│ │ └── Qwen_Image_Edit-Q6_K.gguf
│ ├── 📂 loras/
│ │ └── Qwen-Image-Lightning-4steps-V1.0.safetensors
│ ├── 📂 vae/
│ │ └── qwen_image_vae.safetensors
│ └── 📂 text_encoders/
│ ├── Qwen2.5-VL-7B-Instruct-UD-Q6_K_XL.gguf
│ │
│ └──Qwen2.5-VL-7B-Instruct-mmproj-FP16.gguf
然后将工作流修改成对应的GGUF模型加载节点,这样就可以启动了。
当然,CLIP也可以不用GGUF,而是用FP8格式的模型来加载,有足够显存的同学可以不使用GGUF模型。
使用要点:
1.使用Qwen Image Edit时编辑人物图片时,有些时候会使人物的脸发生改变,可以使用遮罩处理人物的面部来解决这个问题。
2.100万像素(例如1000*1000),对该模型的使用来说是比较好的选择。
不过官方推荐的分辨率为:1328x1328(1:1)、1664x928(16:9)、928x1664(9:16)、1472x1140(4:3)和 1140x1472(3:4)。
由于该模型需要更长的生成时间,所以使用大分辨率还是要掂量掂量的。
(2080ti,100万像素,4步出图需要1分50秒)
但是,由于Qwen Image Edit 的 VAE 处理的维度是 16 的倍数,Qwen2.5-VL-7B 是一种视觉语言模型,其维度为 14 的倍数。
所以想要消除Qwen Image Edit的缩放效果,输入图像,其宽度/高度可以被 16 和 14 整除,它们的最小公倍数 (LCM) 为 112。
也就是说,输入的宽高分辨率为112的倍数能最大程度上消除所以想要消除Qwen Image Edit的缩放效果。
而这个效果是造成输出和原图片不一致的重要原因,即VAE和编码器的维度不匹配。
社区中有人指出:VAE 压缩率 (×8) 与 Qwen2.5-VL 的块大小 (14) 似乎也存在不匹配的情况。根据我的测试,使用能被其最小公倍数 (56) 整除的尺寸通常会获得更好的结果。但由于 TextEncodeQwenImageEdit 会在内部进行另一次大小调整,因此它并不总是根据输入大小保持一致。
3.简单的图片拼接就能实现多图片输入。
4.该模型支持中英文自然语言输入提示。