AI 绘画核心技术与实战
南柯
某头部大厂图像团队技术 leader,高级算法专家
6373 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 36 讲
AI 绘画核心技术与实战
15
15
1.0x
00:00/00:00
登录|注册

04|实战项目(一):用LoRA制作一个你自己的漫画故事

你好,我是南柯。
前一讲我们学习了如何优化文生图、图生图过程中的关键参数,让 AI 模型更加听话。但是,如果我们想要进一步展现自己的创意和想象力,比如创作漫画时让 AI 帮我们生成特定风格和特定人物,又该怎么办呢?
为了解决这个问题,我们可以考虑在原有模型上引入 LoRA 技术。引入 LoRA(Low-Rank Adaptation),最初只是想把它当成微调大型语言模型的方法。然而,在 AI 绘画领域,它展现了独特的作用。通俗一点说,我们可以将 LoRA 比喻为一条在广袤大道上的小路,这两条路径都可以达到目的地,但所见的景色却完全不同。
这一讲我们将使用 LoRA 技术来制作一个属于你自己的漫画故事。无论是故事情节、角色设计还是画风表现,都可以完全按照你的创意和想象来打造。我们这就来开启精彩作品的创作之旅!

变化万千的 LoRA

相比我们前面学到的 prompt 和其他调参方式,LoRA 模型能给我们提供更大的灵活性和控制力,让我们在图像创作上实现更多样化的结果。同样的 SD 模型,引入不同的 LoRA 模型后就会呈现变化万千的风格,我们这就来一探究竟。

风格化的 LoRA

为了在 WebUI 中添加 LoRA 的效果,我们需要下载心仪的 LoRA 模型。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

LoRA技术在图像创作中的应用是本文的重点。LoRA模型为AI图像生成提供了更大的灵活性和控制力,使得在图像创作上能够实现更多样化的结果。通过引入LoRA技术,读者可以根据自己的创意和想象力,制作属于自己的漫画故事。文章介绍了如何在WebUI中添加LoRA的效果,选择合适的基础模型,并通过规范的LoRA使用咒语来实现风格的二次变化。作者通过具体的例子演示了如何使用LoRA模型,展示了在相同的基础模型下,经过LoRA的加持,生成的图像会呈现出完全不同的风格。此外,文章还强调了LoRA权重的重要性,指出增加LoRA权重将使生成的图像更加贴合特定风格。总的来说,LoRA模型在图像创作过程中是一个优秀的搭档,能帮助实现更有个性、更独特的漫画作品。读者可以通过实践尝试,进一步探索LoRA技术的应用,从中获得更多惊喜。文章还介绍了如何使用LoRA模型创作漫画故事,以及如何结合其他AI工具辅助创作,为读者提供了实用的技巧和方法。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 绘画核心技术与实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(22)

  • 最新
  • 精选
  • 易企秀-郭彦超
    老师你说的加餐还有吗

    编辑回复: 编辑回复:DALL-E 3的加餐已上线,对应26、27讲,欢迎围观、转发、交流学后感受。

    2023-10-27归属地:北京
    2
  • syp
    老师,请问低分辨率+2倍超分和直接设置两倍分辨率不用超分有什么区别吗,一般什么样的场景建议用低分辨率+超分呢

    作者回复: 你好。使用低分辨率+两倍超分这种方式,主要有两个考量:第一,SD1.x系列模型训练的分辨率512x512,直接生成1024x1024效果会有折损(SDXL系列模型分辨率直接是1024x1024);第二,生成低分辨率看效果,效果不好可以调prompt和超参数,这个过程比较敏捷,毕竟超分功能比较耗时。总的来说,如果你手中的基础模型训练的分辨率是512x512,那么建议先生成这个分辨率的再进行超分。使用SDXL、DeepFloyd IF这类模型,默认分辨率很高,通常就不用考虑超分了。希望能帮助到你。

    2023-08-28归属地:北京
    1
  • cyw0220
    Lora生成的图和老师的不太一样,是不是需要对应的checkpoint

    作者回复: 你好。文稿中我重新补充了用到的基础模型和参数细节,可以根据说明再尝试一下。

    2023-07-24归属地:浙江
    2
    1
  • 极客雷
    没看懂这个简称为“IN”的LoRA到底是怎么保持特定 ID角色的,是说使用一个固定的LoRA,不同Prompt出来的角色脸型都一样吗?

    编辑回复: 可以继续往后学习,比如第18讲Lora原理的内容。

    2023-10-23归属地:广东
  • Chengfei.Xu
    老师在本篇中通过使用 IN 这个 LoRA 模型来创作漫画故事的过程,我认为已经回答了思考题~

    编辑回复: 也可以自己尝试总结回答一下,然后再去对照答疑课堂的解答(第二章最后一讲)。

    2023-09-05归属地:浙江
  • 🎏往事随风🎏
    生产的图片,手指畸形,这个问题怎么处理。

    作者回复: 你好。我推荐两种做法,在Negative Prompt中指名“bad hands,band fingers”,或者使用专门的手部修复插件Depth Library。希望能帮助到你。

    2023-09-04归属地:辽宁
  • 老师好,我想知道如何训练一个lora,整篇课程貌似都没有涉及。

    编辑回复: 学习需要循序渐进,也希望同学能知其所以然,不是只得到一个简单的“操作指引”,而是理解原理和本质,训练Lora模型会在后面课程第19讲时讲解,这周三(8.30)就更新了,敬请期待。

    2023-08-27归属地:北京
  • 伏行之菇!🍄
    老师你好,我有个需求: 有十段短文字,这十段文字之间的故事有连贯性。 我先用lora生成一张图,这张图比如有一个小女孩,我希望这小女孩也出现在后面的图片中。小女孩从始至终出现在后面九张图片中(一直都是这个小女孩,不会换形象)。这个怎么实现,谢谢

    作者回复: 你好。这个问题有两种情况。第一种情况,如果小女孩的形象就是这个LoRA能固定生成的,你只需要用这个LoRA完成另外9张图像的生成即可。第二种情况,这个小女孩的形象是你用某个prompt生成的,而不是这个LoRA的固有能力。这种情况会稍复杂些,需要使用一些定制化头像生成技术,比如用当前的prompt生成一组图,挑选出ID一致的,去训练一个DreamBooth或LoRA模型来使用。第二种情况我们后面的课程中会展开讨论。希望能帮助到你。

    2023-08-13归属地:广东
    2
  • 董义
    在尝试用anythingV5原始模型+中谷育LoRA出图,不选超分的话很正常,选了超分之后(512x512 => 1024x1024),再点generate,等十几分钟之后,出来图是完全噪音,完全糊掉了,是不是因为Macbook上的GPU有缺陷不能深度计算导致的?

    作者回复: 你好。能出图证明你的硬件环境没有问题,我在Macbook M2上使用过这个功能,超分偶尔会有失败的情况,但总体能用。建议换一组prompt重新尝试一下,也可以试着查阅更多教程调整超分模块的基本参数(比如超分模型、重绘强度等)。再试试看能否解决这个问题,希望能帮助到你。

    2023-08-01归属地:上海
  • 董义
    LoRA调用,chatgpt生成分镜脚本,超分辨率设置,感觉非常实用

    作者回复: 是的,对于内容创作者而言,AI绘画是个很有用的工具。后面当我们能训练LoRA,便可以设计故事的主角了。

    2023-07-31归属地:上海
收起评论
显示
设置
留言
22
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部