Geek_55d08a2023-09-05 来自广东"SDXL 模型没有沿用 SD1.x 和 SD2.x 模型中使用的 VAE 模型，而是基于同样的模型架构，" 这句话是有笔误么？作者回复: 你好。这句话的意思是，SDXL没有直接用此前的VAE模型权重，而是复用相同架构，对VAE进行了模型重训（也就是我们VAE那一讲提到的重训VAE），以提升VAE重建的效果。感谢你的反馈。
- Seeyo2023-09-04 来自上海老师请问一下，关于batch处理的问题。 测试阶段： 1、我目前的理解是不能用batch进行不同text prompt对应图片的处理，是因scheduler的处理方式是自回归吗？ 2、当使用相同的promot时，因为webui支持批量生成，为什么此时可以使用batch的生成方式？虽然text产生的embedding相同，但每个推理时刻，产生的x_t-1是不一样的。 训练阶段： 要使用ddpm采样器，为什么能使用batch训练呢？ 以上是目前的个人理解，期待老师的回答指正
作者回复: 你好。这里可能有一个误解，那就是在训练和测试阶段，我们都可以使用多个不同prompt进行文生图（也就是batch）。我们课程中用到的AI绘画模型都不是自回归模型（比如Parti就是自回归模型）。对于扩散模型而言，从纯噪声逐步去噪得到图像，UNet模型的输入包括上一步噪声图、prompt文本表征和时间步t的编码，噪声图初值不同、prompt文本表征不同，UNet预测的噪声自然不同。整个过程是可以按照batch的维度并行的。
peter2023-08-24 来自北京请教老师两个问题： Q1:模型的数学推导主要用哪些方面的知识？微积分吗？ Q2：图像变体每次运行的结果都是不同的吗？作者回复: 你好。第一个问题，深度学习模型推理主要用到的是线性代数（比如矩阵运算、LoRA秩因子分解）、微积分（比如反向传播）的知识，扩散模型的理论推导还需要用到一些概率论的相关知识。第二个问题，对于DALL-E 2和SD Reimagine的图像变体而言，本质上仍旧是扩散模型的AI绘画过程，由于随机噪声的存在，每次生成的结果是不同的。如果希望结果相同，需要固定中随机种子参数。希望能够帮助到你。
zhihai.tu2023-08-23 来自新加坡目前最新版本的webui中，这两个特殊模型是否已经集成进去了啊？作者回复: 你好。是的，看了下，当前最新的WebUI中已经可以使用SDXL和SD图像变体了。
海杰2023-08-23 来自新加坡老师，既然提到SDXL, 会讲下ComfyUI 的使用吗？作者回复: 你好。围绕SDXL，我们更多地是探讨背后算法原理和基本使用，课程中我们使用ClipDrop和Colab来体验，ComfyUI不在我们的课程范围内。感谢你的反馈。