- Geek_7401d22023-08-31 来自北京老师你好，看完后还是不知道如何入手训练，有几个问题 1、选择素材图片时要用多少张，什么样的图片合适，比方说训练某个人物的Lora时，选择该人的图片时要选择什么样的，全身照、半身照、面部特写等各占多少合适 2、Lora 模型训练多少轮（num_epochs）合适 3、训练完会有多个Lora模型，选择哪一个呢，选最后一轮训练的吗 4、我理解训练lora模型的原理是一样的，为什么同样的素材、用同样的基础模型，用不同的代码会出现不同的训练效果，文中用到的这两个代码库差异在哪呢
作者回复: 你好。针对问题1，以人物LoRA为例，我的经验是以半身照为主，可以混合一些全身照和面部特写，不用混合很多。图片的数量越多越好，推荐不少于10张。针对问题2，训练步数可以根据效果来定，一般而言，300-500步效果会比较好，训练步数过多模型会出现过拟合，多样性能力会变差。针对问题3，咱们代码中有可视化看每一轮次的训练效果，可以挑选一个效果好的模型。一般来说，选择300-500步训练后的模型，不要选择步数太少的模型。针对问题4，diffusers的代码中可调整的参数非常少，数据增广较少、text_encoder学习率等指标设置也不够灵活等。对于开发者而言，可以以diffusers代码仓为基础，逐渐把这些特性加进去，模型的效果会有提升。希望能帮助到你。
2 
易企秀-郭彦超2023-08-31 来自北京Y=（W+weight1∗A1⋅B1+weight2∗A2⋅B2）⋅X 老师你好，按照上面公式权重融合的过程是加权融合，W的值在相同维度上会同时受到A和B的影响，最终导致结果既不像A也不像B, 有没有一种累计方式 避免A和B的互相影响？ 比如多lora融合前先merge， 根据CNN的思想， 取d/2的A模型参数量 与d/2的B模型参数量 合并成新的d*d lora模型，新的模型保留了原始的A 和 B的部分参数 并没有累加A和B作者回复: 你好。这是个很有意思的想法，更直观的，我们可以训练两个LoRA，每个LoRA影响不同的UNet模型Attention模块，这样融合的时候便不会在权重上产生叠加效应。但有一个问题，使用这种方式，即使我们能够将不同的LoRA权重解耦开，最终得到的效果大概率还是两个LoRA的中间态，因为这些LoRA都对图像生成的过程都产生了影响，这些影响是叠加还是冲突无法预测。
共 2 条评论1- cmsgoogle2023-09-16 来自美国使用diffusers库训练Lora，文中提到：耐心等待 20 分钟，我们就完成了 LoRA 模型的训练。 需要说明下是什么环境，如果再colab上使用T4服务器，大约要1个小时10多分钟。
作者回复: 你好，感谢你的反馈。训练用时因计算资源而异，如果需要下载模型还会受网速影响，应该加一些说明。我们会根据反馈进行调整。
Geek_ca0b192023-09-14 来自广东老师好我有一个问题 如果采用五六张类似风格画风的图，可以通过这几张图训练出一个代表类似风格的lora吗？作者回复: 你好！使用5-6张图是可以训练出一个风格化LoRA模型的，需要保证这些图片的风格一致。我们可以在MidLibrary上获取很多风格图片：https://midlibrary.io/styles。
石沉溪洞2023-09-14 来自广东老师您好，请问这个能支持将基本模型改为SDXL吗？谢谢您作者回复: 你好，将基础模型更换为SDXL需要在代码中做出一定改动，可以参考这个Colab：https://github.com/Linaqruf/kohya-trainer/blob/main/kohya-LoRA-trainer-XL.ipynb
王大叶2023-09-13 来自北京老师好，请教两个问题： 1. 对于人像 LoRA 的训练，精细化的打标是否有必要，对 LoRA 质量的影响会很大吗？ 2. 实验发现用 deepbooru 给写实人像打标不是很准确，比如经常会把男性图片标注成 1girl，用 BLIP 打标信息又比较少，无法完全涵盖画面的内容。请教人像 LoRA 训练有什么推荐的打标方法吗？作者回复: 你好。针对第一个问题，我的看法是精细化打标不是很有必要，只需要保证发型、眼镜、服饰颜色这些最基本的信息被涵盖即可，很多时候训练人像LoRA的Prompt甚至是“A photo of a <sks> man”这种粗糙的描述。针对第二个问题，把男性图片标注成 1girl是由于DeepDanbooru的分类精度不够导致的，Midjourney有一个描述功能，写出的Prompt比较准确、信息也比较丰富，可以试试。也可以试试Qwen-VL这种多模态大模型的Caption效果，应该也不错。希望能帮助到你。
@二十一大叔2023-09-05 来自上海老师，lora训练可以写一个本地运行的python版本吗，colab上看的不是很明白作者回复: 你好。Colab的代码在加餐篇中我们计划继续深扒。当前如果想理解lora的训练细节，直接看这个脚本就可以：https://github.com/huggingface/diffusers/blob/main/examples/text_to_image/train_text_to_image_lora.py。我们用的Colab在这份代码的基础上，增加了BLIP、数据增广的功能，底层逻辑是一样的。希望能帮助到你，欢迎多交流讨论。
陈问渔2023-09-05 来自上海请问 make_captions.py 的代码在哪看呀？作者回复: 你好，make_captions这个脚本可以看这个链接：https://github.com/Linaqruf/kohya-trainer/blob/main/finetune/make_captions.py。这个脚本完成两件事情：下载BLIP模型，为每张图生成prompt。
共 2 条评论- Alex2023-09-03 来自江苏最新的sd 的bweui 的additional networks 是已经集成了么？我不太确定 我安装了一下 没有显示这个选项 请老师指教下
作者回复: 你好，additional network这个插件需要单独安装，可以按照这个说明来安装：https://github.com/kohya-ss/sd-webui-additional-networks。
peter2023-08-31 来自北京是否有安卓手机上可以使用绘画AI?作者回复: 你好，应用商店里有不少AI绘画APP，可以检索一下。当前模型推理需要较多算力，所以主要还是通过调用各种云服务来完成绘画过程。希望能帮助到你。