AI 绘画核心技术与实战
南柯
某头部大厂图像团队技术 leader,高级算法专家
6373 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 36 讲
AI 绘画核心技术与实战
15
15
1.0x
00:00/00:00
登录|注册

23|实战项目(五):做一个类似LensaAI的梦幻照相馆

你好,我是南柯。
第 18 讲第 19 讲我们学习了定制化图像生成的常见方法,初步了解了如何训练 LoRA,得到代表内容和风格的定制化模型。经过训练 LoRA 模型的实战,我们发现训练一个 LoRA 并不困难,但是想实现 LensaAI 或者妙鸭相机类似的效果却并不容易。
今天这一讲,我们将目光聚焦到人像生成上,继续探讨使用 LoRA 进行定制化图像生成的技巧。你可不要小看这些技巧,它们正是很多商业产品惊艳效果下的黑魔法。
通过这一讲的实战,我们的 LoRA 模型效果也会大为改观。最后,我们会训练出一个能高度还原人像效果的 LoRA 模型,有了这个模型,你就能实现一个梦幻照相馆的项目。课程讲解里的目标形象我们设置为奥黛丽赫本,当然你也可以使用自己的几张照片或者是宠物的照片来制作你的专属照相馆。

如何做一个梦幻照相馆

在正式开始实战前,按照惯例,我们需要先准备训练数据,并选好基础模型。

模型和数据

和上一个实战项目不同,今天我们要做的梦幻照相馆希望呈现出真人风格,我向你推荐一个名为“墨幽人造人”的模型,你可以点开 Colab 通过图中的方式获取下载链接。当然你也可以尝试自己喜欢的其他基础模型。
在 Colab 中,我们可以通过后面这两行代码指定模型的保存路径,并下载模型。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文介绍了如何使用LoRA模型进行定制化图像生成的实战项目,重点讨论了人像生成的技巧。作者首先介绍了准备训练数据和选择基础模型的步骤,然后详细讲解了如何使用tags来生成prompt描述,并对生成的prompt进行进一步处理。接着,作者提供了三种不同的训练方式,并分别介绍了它们的使用场景和操作步骤。最后,作者展示了如何测试训练得到的LoRA模型,并将其应用于WebUI上进行图像生成。整篇文章以实战项目为主线,结合具体的代码实例和操作步骤,为读者提供了一套完整的技术实践指南。 文章中介绍了使用LoRA模型进行定制化图像生成的实战项目,重点讨论了人像生成的技巧。作者详细讲解了准备训练数据、选择基础模型、使用tags生成prompt描述以及对生成的prompt进行进一步处理的步骤。此外,文章提供了三种不同的训练方式,并分别介绍了它们的使用场景和操作步骤。最后,作者展示了如何测试训练得到的LoRA模型,并将其应用于WebUI上进行图像生成。整篇文章以实战项目为主线,结合具体的代码实例和操作步骤,为读者提供了一套完整的技术实践指南。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 绘画核心技术与实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(9)

  • 最新
  • 精选
  • 王大叶
    Prompt:masterpiece, best quality, 1girl moyou (ink sketch) fantasy, surreal muted color (Russ Mills Anna Dittmann)Negative Prompt:masterpiece, best quality, 1girl moyou (ink sketch) fantasy, surreal muted color (Russ Mills Anna Dittmann)采样器:Eular a随机种子:1024采样步数:20分辨率:512x768CFG Scale: 7LoRA:hb_pro.safetensors [使用Colab训练]LoRA weight:1.0 --- 这里 Negative Prompts 写错了?

    作者回复: 你好,感谢你的反馈!我已经在原文中做出修改。

    2023-09-14归属地:北京
  • 王大叶
    老师好,触发词 <sks> 带不带尖括号有什么说法吗?会对训练有什么影响?

    作者回复: 你好,带不带尖括号影响不大,带上尖括号只是一种常用用法。选择触发词的时候,我们只需要保证触发词不是一个常见词即可,避免破坏掉常见词对于AI绘画模型的含义。

    2023-09-14归属地:北京
  • Geek_7401d2
    老师,有什么技术能自动选出AI绘制的质量好的图片

    作者回复: 你好,美学模型或者说质量打分模型可以用于高质量图像选择任务。推荐一个Github仓库:https://github.com/lishiyu0088/Neural_Bradley-Terry。本质上,是收集一个图像数据集,每一张图都有一个美学分数,让模型去学习预测美学分数的能力。当我们获得了这样的打分模型,便可以用来筛选AI绘制的高质量图片。希望能帮助到你。

    2023-09-13归属地:北京
  • Geek_cbcfc8
    老师你后面妙鸭相机的例子里用的是ly261666/cv_portrait_model并不是墨幽的模型,这里可以换成下载厚的墨幽文件吗?另外训练人物的相关参数有讲究吗,设置为多少效果比较好,是否需要开启训练text_encoder

    作者回复: 你好。针对问题1,我们可以修改这段代码:https://github.com/modelscope/facechain/blob/166175c63466da7f2a370267574b30d9d697585f/facechain/train_text_to_image_lora.py#L587,将模型的model_id换成墨幽模型。针对问题2,lora的秩r可以设置为4,训练step不宜过多、否则容易过拟合,text_encoder推荐打开,并且将学习率设置为Unet的1/10。推荐一个有意思的知乎:https://zhuanlan.zhihu.com/p/634899999。 希望能帮助到你。

    2023-09-08归属地:北京
  • Geek_077fc1
    datasets.data_files.EmptyDatasetError: The directory at /mnt/workspace/facechain/worker_data/qw/training_data/ly261666/cv_portrait_model/person2_labeled doesn't contain any data files 运行官方的notebook出现这个错误怎么解决
    2024-02-29归属地:广东
  • 爱笑
    google Colab的脚本中系统环境安装的时候会报错,请问怎么解决呢?PyTorch版本和Xformers版本提示不兼容。
    2024-01-17归属地:江苏
  • S.Sir
    老师好,我想问一下如果是是想做双人的照相馆,是不是可以针对每个人训练一个单独的lora,然后用controlnet来实现呢?
    2023-10-26归属地:浙江
  • Geek_7401d2
    老师你好,facechain中在训练模型之前的图片处理中的面部旋转的作用是什么呢,感觉面部旋转也是对整体图片进行了旋转,不知道对训练lora模型的影响是什么 原图:https://user-images.githubusercontent.com/22190543/271165646-8a26b8fc-eb5f-49d8-be63-2cfdbd0c2d21.png 旋转后:https://user-images.githubusercontent.com/22190543/271165752-67c75301-b1d8-4a8e-84b7-5ebb6bd1016d.png
    2023-09-28归属地:北京
    1
  • John
    如果一个人的脸与肩宽比例异于常人咋办 或者是杨过独臂呢
    2023-09-27归属地:加拿大
收起评论
显示
设置
留言
9
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部