AI 绘画核心技术与实战
南柯
某头部大厂图像团队技术 leader,高级算法专家
6373 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 36 讲
AI 绘画核心技术与实战
15
15
1.0x
00:00/00:00
登录|注册

09|采样器:龟兔赛跑,如何选择更好更快的采样器?

你好,我是南柯。
热身篇我们学习过 WebUI,你会发现里面有多种可供选择的采样器方法,包括 Euler a、DPM、DDIM 等等。
我们已经多次使用 Stable Diffusion 进行 AI 绘画,采样器存在的价值就是从噪声出发,逐步去噪,得到一张清晰的图像。比如下面这张图,展示的便是采样器如何大显神威。
那么,采样器到底是什么?它们是如何运作的?它们之间又存在哪些区别呢?今天这一讲,我们就来详细探讨这些问题,让你对采样器有一个清晰的认识。了解了不同类型的采样器以后,我还会带你做个综合测评,这样你就能结合绘图需求去选择“最佳采样器”了。

采样器基本原理

第 6 讲扩散模型的学习中我们已经知道,任何图像都可以通过不断添加噪声,变成完全被噪声覆盖的图像。反过来,一张噪声图像通过逐步去除噪声,可以变得清晰可辨。
在这个去除噪声的过程中,起到关键作用的正是今天课程里的“主角”——采样器。
为了搞清楚采样器是如何起作用的,我们要先回顾一下第 6 讲的内容。对于从噪声生成图像的扩散模型,UNet 模型负责预测要去除的噪声。UNet 模型的输入是时间步 对应的噪声图像 和时间步 的编码。UNet 的输出的不是上一个时间步 的噪声图像,而是上一个时间步添加的噪声值
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文介绍了在AI绘画中采样器的重要作用以及不同类型采样器的特性和应用。文章首先介绍了采样器的基本原理和工作模式,以及UNet模型和采样器在生成清晰图像中的协同作用。随后详细对比了不同采样器的特点和应用场景,包括常微分方程求解器、祖先采样器和基于Karras论文的采样器策略。针对不同需求,提出了选择合适采样器的建议,涵盖了速度、图像质量和个人偏好等方面。最后,鼓励读者分享在使用WebUI过程中选择采样器的心得和讨论,以促进更好地消化课程内容。整体而言,本文通过深入探讨不同采样器的特点和应用,帮助读者更好地理解和选择合适的采样器,从而提高绘图效率和图像质量。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 绘画核心技术与实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(4)

  • 最新
  • 精选
  • 石云升
    如果采样器都差不多,为啥webuI有10几个这么多。除了老师总结的几个用法外,还有没有更具体的区别?我的理解是,应该是某个采集器解决不了某个场景的问题,才会有人去研发一个新的采集器。

    作者回复: 你好。我个人的看法是,采样器研究的终极目标是希望采样过程又快又好。在不同的应用场景或数据类型下,采样器设计和性能确实会有所不同,只不过在我们简单prompt场景下的AI绘画任务上差别不明显。未来采样器方向,我觉得有两个方向需要继续研究:更少的采样步数(比如2-3步出图),这部分已经有一些论文了;处理特定的挑战,比如大数据、高维度、异常值等进行特殊设计。其中第二个方向上我和你的看法是一致的。

    2023-08-04归属地:广东
    1
  • peter
    请教老师两个问题: Q1:那个1000步是怎么来的?经验值吗? Q2:假如我要写采样器的论文,可以从哪些方面推出新的采样器?

    作者回复: 你好。针对Q1,1000步是经验值,实际扩散模型训练过程中这个参数可以调整。针对Q2,我觉得关于采样器有两个方向需要继续研究:更少的采样步数(比如2-3步出图),这部分已经有一些论文了;处理特定的挑战,比如大数据、高维度、异常值等进行特殊设计(需要先分析已有采样器在复杂场景下的差异和优劣)。希望能帮助到你。

    2023-08-04归属地:北京
    1
  • 王大叶
    仔细观察你会发现,采样器与 UNet 模型的能力是不冲突的。这便解释了为什么在 WebUI 中我们使用同样的 AI 绘画模型,却可以任意选择采样器。 ---- 这里不太理解,为什么采样器和 Unet 模型的能力不冲突?老师可以稍微多解释一下吗?

    作者回复: 你好。要彻底搞懂这个问题需要很多的数学知识。简言之,UNet模型预测的目标是一个符合高斯分布的噪声,从训练过程我们可以知道,这个噪声是我们随机生成的,也我们去噪要用的采样器无关。采样器本质上是我们预先设定一个噪声去除方案,比如30步去噪得到一张清晰图片。不同采样器背后的数学原理不同,但本质上,都是以时间步t、当前时间步t的带噪图像和UNet预测噪声值作为输入,按照预定的去噪方案去抹除一个高斯噪声。

    2023-08-31归属地:北京
  • 和某欢
    请教老师一个问题,文中说有些采样器是执行一步,内部间隔的时间步是50步。这里间隔的时间步是怎么得出的呢? 有没有间隔时间步是1000步的呢?只需要计算一次就可以出图

    作者回复: 你好。更快的采样器也是当前研究的热点方向。据我所知,当前有一些论文中提出过少于10步的采样算法,但实际应用并不多。1步出图是最终目标,也是理想形态。至于间隔步的计算,比如我们训练过程总的加噪步数是1000,推理的时候指定采样步数是20,那么相当于一次去除了1000/20=50步的噪声。希望能帮助到你。

    2023-08-20归属地:四川
收起评论
显示
设置
留言
4
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部