21｜ 实战项目（四）：用ControlNet给你的创意上色
模型获取
官方发布的模型
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
本文介绍了ControlNet在AI绘画项目中的实际应用。首先介绍了如何获取官方发布的ControlNet模型以及社区传播的第三方模型的方法。随后详细介绍了官方发布的模型和各种控制条件的功能，以及有趣的第三方模型的应用。文章展示了使用ControlNet完成AI绘画任务的经典技能，包括使用Canny控制条件进行AI绘画和基于OpenPose条件的ControlNet绘画过程。通过代码示例展示了如何使用不同的控制条件和prompt引导模型生成不同的效果。此外，还介绍了ControlNet的趣味玩法，包括图像风格化、二维码生成和创意文字。最后，文章展示了如何利用ControlNet模型完成线稿上色的任务，展示了ControlNet模型的多样性和灵活性。整体来说，本文通过实际代码演示了ControlNet的强大功能，为读者提供了实践指南和技术应用的启发。
《AI 绘画核心技术与实战》，新⼈⾸单¥59
全部留言(5)
- 最新
- 精选
Toni包括ControlNet 在内的AI绘画工具越来越多，但AI绘画结果需要人工抽取结果的痛点依在。 现在AI 绘画的流程如下: 1. 先有个想画的想法， 2. 根据这个想法编出个prompt 输给AI 绘画工具， 3. AI绘画工具生成多张图片比如说4张供人参考， 4. 人们再依据上面步骤1中的想象，从出的4张图里面选出合意的，如不甚满意，就继续上面的步骤2改变prompt，然后再执行步骤3，让AI重新绘图，这过程可能会进行好几轮，比较费时。 那么问题来了，有没有什么方法让上面的过程自动化? 计算机的优势就是不知疲惫，虽然有时也宕机罢工，但总体来说比人能干。如果能将上面成图+判断的过程先交给计算机进行5轮，然后再由人类对出图给出评估，效率会提高很多，图的质量也会更高。 解决上面痛点的思考之一是设计一个质量控制层 QualityControlNet，这个可训练的质量控制层应包含下面的一些功能: 1. 有对图像质量评估的量化指标，可选艺术，技术，美学等几个方面做为评估参量，指标可调可变， 2. 有对正反prompt修正反馈的能力， 3. 要修正的图像+新的更改要求可以自动返回低维隐藏层，并启动重绘过程， 4. 能自动求解最佳重绘参数，最佳去噪步骤等参量。 达到上面要求中的一个或几个，对质量控制层 QualityControlNet 的一些想法，大家补充。作者回复: 这个想法非常有趣。QualityControlNet其实可以理解为一个美学打分模型，很多大厂优化SD模型的第一步就是训练美学打分模型，不过目的是从海量数据中进行筛选。回到你这个想法，我们可以引入美学打分模型和ChatGPT，美学模型负责形成分数反馈，ChatGPT负责优化文生图参数和prompt。凭借这种方式反复迭代，得到更好的效果。不过，这里需要给ChatGPT一些示例，让ChatGPT明白自己需要做啥。很有意思的idea，欢迎继续探讨~
2023-09-05归属地：瑞士2- Geek_cbcfc8腾讯发布了一个adapter https://github.com/tencent-ailab/IP-Adapter 可以实现根据一张图抽取人脸，风格，服装等特征，用于image to image
作者回复: 你好，单图特征抽取是很有意思的话题，这块技术发展很迅猛。相信很快，人脸、风格、物体都可以通过一个提取模型进行处理，实现类似DreamBooth的效果。
2023-09-04归属地：北京1 
peter请教老师两个问题： Q1：彩票上面的数字，只有一个数字，其他的看不到了，不知道是被雨淋了还是被撕掉了。用WebUI可以恢复吗？或者其他某个模型？ Q2：controlNet或其他模型可以创作名片吗？编辑回复: 对于问题1，你的问题比较像科幻小说，如果是画面模糊了并不知道是模糊成什么程度，全模糊了应该无法恢复。只是局部也许有可能，但是否还原成原始模样说不好；对于问题2，同样是理论上可以做，要看你想要什么样的名片。目前很多模型在图片上生成文字的水平并不高，我们课程里讲过了这点
2023-09-05归属地：河南- Geek_cbcfc8老师你好，controlnet xl版本已经出来了，能加餐一个的换装任务吗，把一些知识点串一下 1、训练衣服或人物的lora模型 2、基于controlnet进行衣服或模特的更换 可应用到电商一键换装，或者帮组情侣实现AI婚纱摄影
作者回复: 你好。21和24的实战篇都有使用ControlNet的XL模型，不过需要用付费的Colab资源。关于ControlNet x LoRA x SDXL的换装技术，我们已经列入加餐篇，会和大家详细探讨。
2023-09-04归属地：北京 
刘蕾老师您好，这节课里面的蒙娜丽莎的那个例子，免费的CoLab资源是不是跑不了？ 价值SDXL（stable-diffusion-xl-base-1.0）的那句，跑了1个多小时还没跑完。2024-01-07归属地：斯洛伐克
