控制网 (ControlNet)

涂鸦控制网功能可以极大程度提高 AI绘画的可控性,支持涂鸦,插值,深度图等十多种类型的预训练风格,来提升 AI绘制图片的内容和质量。你可以在此看到详细的控制网风格说明: https://github.com/lllyasviel/ControlNet-v1-1-nightly

在 JoyFusion中使用控制网步骤

1. 安装模型控制网插件

特定模型和尺寸需要安装才可以获得控制网能力。

模型控制网插件

2. 安装控制网风格插件

特定类型和尺寸的风格插件只需安装一次即可。安装之后可以配合具备控制网能力的模型一起使用。

控制网风格插件

3. 在JoyFusion使用

当你安装了对应插件即可时候可以在创作中心使用控制网(ControlNet)。如下图所示,当对应的两个插件都展示绿色标识的时候标识插件已经被识别到(如果你下载了没有被识别到可以关闭 App重试,偶尔会遇到这个问题)。目前JoyFusion可以支持涂鸦(Scribble)和插值(InaPaint)的应用内编辑(其他风格需要通过第三方的功能服务来生成例如:在线生成线稿图 https://online.rapidresizer.com/photograph-to-pattern.php, 现在升成骨骼图: https://openposeai.com/ )。你只要最终提交了控制网特定风格图片条目,就会生效。JoyFusion也支持多种控制网风格融合。

涂鸦模式应用内编辑
插值(InPaint)模式应用内编辑

当前设置的控制网条目展示

控制网功能演示视频

控制网使用演示视频(Youtube版)

BiliBili版本: https://www.bilibili.com/video/BV1fh4y1D764

Last updated