20|ControlNet:出道即巅峰,构图控制没有对手
南柯
你好,我是南柯。
我们知道 Stable Diffusion 可以用文本引导图像生成。除了使用 prompt 这种比较原始的方式,还有没有控制能力更强的方法呢?
其实早在第 2 讲,我就留过一个思考题,AI 绘画生成的图像在手部和脸部细节存在瑕疵有哪些解决方式。而我们今天要讲的技术—— ControlNet 就可以解决这个问题,对图像结构做出一定的限制,比如手部的关键点信息、五官信息等。
2023 年 2 月,ControlNet 这个方法一经提出,便凭借其对于 AI 绘画效果的控制能力火遍全网。最初的 ControlNet 主要用于线稿上色、图像风格化、可控姿态的人体生成等任务。如今各路网友脑洞大开,使用 ControlNet 做出了创意二维码、将文字自然地融入照片等趣味效果。
这一讲,我们一起来探讨 ControlNet 背后的技术原理和各种应用场景。掌握了 ControlNet 这个“大杀器”,你对于 AI 绘画效果的控制能力会上一个台阶,在下个实战篇实现创意 AI 绘画任务时也会更加得心应手。
初识 ControlNet
如果说 prompt 是对于 AI 绘画模型指令级的控制,ControlNet 无疑是构图级的控制。为了让你对它建立感性认识,我们先结合一些图片例子,感受一下 ControlNet 的构图控制能力。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
ControlNet是一种新的图像生成技术,通过对图像结构施加限制,实现对AI绘画效果的精准控制。该技术结合了Stable Diffusion(SD)模型,通过引入控制条件,如图像轮廓、手绘线稿等,使得生成的图像能够满足特定的构图要求。ControlNet的算法原理包括模型结构设计、控制条件输入和信息交互等方面。其基本结构在SD模型的基础上增加了一些组件,通过特定的设计和训练过程,实现对SD模型生成图像的控制。通过ControlNet的训练,可以逐渐发挥对SD模型的控制作用,从而提升AI绘画效果的精准度和多样性。ControlNet技术的出现为AI绘画任务带来了新的可能性,能够应用于线稿上色、图像风格化、可控姿态的人体生成等任务,同时也能够创造出趣味性的效果,如创意二维码、将文字自然地融入照片等。ControlNet的持续进化也带来了新的功能,包括指令级修图和Tile功能,进一步提升了其应用领域和效果。总之,ControlNet技术的出现为图像生成和处理领域带来了新的可能性,为读者提供了更多有趣的实践项目和思考题。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 绘画核心技术与实战》,新⼈⾸单¥59
《AI 绘画核心技术与实战》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
- peter请教老师两个问题: Q1:ControlNet可以独立使用吗? Q2:ControlNet只能配合SD使用吗?还是可以和其他模型配合?
作者回复: 你好。针对Q1,ControlNet模型当前不能独立使用,必须配合一个SD基础模型。针对Q2,ControlNet是一个通用算法方案,可以用于其他AI绘画模型,比如Imagen等,但是需要按照这一讲提到的方法重训训练ControlNet模型。希望能帮助到你。
2023-09-03归属地:北京
收起评论