AI 绘画核心技术与实战
南柯
某头部大厂图像团队技术 leader,高级算法专家
6373 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 36 讲
AI 绘画核心技术与实战
15
15
1.0x
00:00/00:00
登录|注册

22|AI图像编辑:如何用Prompt2Prompt实现“言出法随”

你好,我是南柯。
前面,我们已经掌握了以 DreamBooth 为代表的定制化图像生成技术,也学习了使用 ControlNet 控制 AI 绘画的构图。这两种技术都是从整体上控制图像的生成。
今天,我们来探究微调图像的技术,也就是指令级修图——使用 prompt 实现对图像的局部修改。这一讲的学习我们将围绕 Prompt2PromptInstructPix2PixNull-Text Inversion 这三项技术展开。这三项技术就像是金庸先生笔下的“射雕三部曲”,有着千丝万缕的联系。
在我看来,头部企业最想拥有的 AI 绘画能力,无非是媲美 Midjourney 的 AI 绘画模型、超越 LensaAI 的定制化图像生成技术以及指令级修图能力。
学完今天这一讲,你就能对这些最热门的 AI 绘画技术有一个清楚的认识。而且你掌握了指令级修图的技术之后 ,就算不会用 Photoshop 也能随心所欲地编辑图像。

Prompt2Prompt:用 Prompt 修图

我们熟知的 DALL-E 2、Imagen 和 Stable Diffusion 等技术虽然可以实现出惊艳的文生图效果,但是用来做图像编辑却很困难。即使是在 prompt 上做一点细微的改动,得到的结果也会截然不同。这种情况下,如果我们想要做图像局部编辑,就需要使用图像补全的方式,先手工画一个遮罩(mask)区域,然后使用 prompt 引导图像生成。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

AI图像编辑技术正在不断发展,其中Prompt2Prompt技术作为一种指令级修图方法,为图像编辑带来了全新的可能性。该技术通过修改prompt的方式实现对图像的局部修改,使得对图像进行微调变得更加便捷。通过对文章内容的总结,我们可以了解到Prompt2Prompt技术的原理是基于交叉注意力机制,通过对文本表征和图像特征的计算,实现对图像的局部编辑。该技术的应用范围包括将图像中的物体进行替换、场景和季节的改变,甚至可以将写实照片转化为蜡笔画等。然而,Prompt2Prompt技术也存在局限性,只能编辑AI绘画模型根据prompt生成的图像,对于真实图像的编辑则无能为力。因此,该技术的发展也引出了下一篇文章的主题——InstructPix2Pix。通过本文的总结,读者可以快速了解到Prompt2Prompt技术的特点和应用,为他们进一步深入学习和了解相关技术提供了基础。 InstructPix2Pix技术则通过指令修图的方式实现图像编辑,用户只需提供一张图片和一句指令,即可完成修图。该算法通过合成数据集和训练指令修图模型的方式实现,为用户提供了更多的编辑自由度。另外,Null-Text Inversion技术则解决了真实图像上的Prompt2Prompt修图问题,通过DDIM Inversion算法实现了对真实图片的编辑。总体而言,本文介绍了三种图像编辑算法,为读者提供了全面了解和比较不同编辑算法的机会。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 绘画核心技术与实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(1)

  • 最新
  • 精选
  • Geek_cbcfc8
    老师 ,目前Null-Text Inversion相关的模型目前有哪些?

    作者回复: 你好。Null-Text Inversion可以配合各种不同的SD模型使用(比如SD模型、Anything系列模型等),可以参考这个Github的jupyter代码:https://github.com/google/prompt-to-prompt/#null-text-inversion-for-editing-real-images。希望能帮助到你。

    2023-09-06归属地:北京
    2
    2
收起评论
显示
设置
留言
1
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部