入门指南:使用Flux引擎与ComfyUI开启AI绘画之旅
balbalaKX
2024年08月30日 22:03
收录于文集
共1篇

Flux引擎是由原Stable Diffusion团队开发的新兴绘图引擎,以卓越的图像质量和强大的提示词理解能力脱颖而出。本文将对当前热门的Flux引擎进行说明,并给出配置方法,帮助你轻松入门AI绘画世界。

Flux引擎的主要优势

  • 图像质量细节表现出色,特别是人体结构(如手部)的精准绘制。

  • 提示词理解能力准确理解并执行复杂提示词,适应长文本提示。

  • 多样化输出能处理从风景到人像、从抽象概念到产品展示等各种图像需求。

Flux当前主要版本说明

Flux当前有多个版本,我们来做一个简要说明区别:

前3个是官方发布版本。nf4版是早期的量化版本,目前该作者已不再更新,并推荐了gguf的量化版本。为了后续更好地使用与flux配套的插件,建议使用gguf的Q4版本,除非你的显卡显存达到了12G以上。

初识comfyUI

ComfyUI 是采用基于节点的图形界面,用户可以通过连接不同的节点来构建图像生成工作流程。它支持多种 AI 模型,且具有高度的可扩展性。目前flux的gguf Q4版暂时只支持在comfyUI中使用。

目前有许多大神提供了整合包,也可以采用官方在github上的项目ComfyUI(作者:comfyanonymous),只需一键下载后,点击里面的运行文件即可,非常地方便,作者已经把python环境都内嵌好了。

下载完成后,为了加载gguf模型,我们需要采用到comfyUI中的多种节点。其实一般常用的节点可以分为以下几大类,很多插件是其中的细分:

而为了使用gguf版的flux,我们需要下载配套的模块:

Unet Loader (GGUF):加载gguf模型

DualCLIPLoader:加载clip_1和t5xxl_fp8_e4m3fn两个clip模型

Xlabs Sampler:采样器

Load VAE : ae模型

将相关模型下载,并依次放入到整合包下的资源对应文件夹下。比如我安装在了“D:/ComfyUI_windows_portable\ComfyUI\models\clip”中,放置clip模型。

生图效果展示

随后依照官方工作流流程,依次连接节点,再运行即可。flux模型支持的风格多样,无论是写实的风格,还是动漫风格都是可以的。

参考资料:

comfyanonymous/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. (github.com)

city96/ComfyUI-GGUF: GGUF Quantization support for native ComfyUI models (github.com)

XLabs-AI/flux-dev-fp8 · Hugging Face