AI 绘画核心技术与实战
南柯
某头部大厂图像团队技术 leader,高级算法专家
6373 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 36 讲
AI 绘画核心技术与实战
15
15
1.0x
00:00/00:00
登录|注册

25|视频/3D/数字人:探索AI绘画的N种可能

你好,我是南柯。
在之前的课程中,我们已经探讨了 AI 绘画的各种常见技巧,包括文生图、图生图、定制化图像生成、ControlNet 构图控制、图像编辑等。
其实这些图像相关的技能仅仅是 AI 绘画的基本能力。今天这一讲我会带你了解三个更高阶的 AI 绘画能力,分别是文生视频技术、通用 3D 生成技术和数字人技术。见识了这些更高级的技术,你对于 AI 绘画的无限潜能一定会有更清晰的认识。在之后的求职择业中,你也可以选择一个感兴趣的切入点,持续地深入下去。

视频类技能

对我们来说,无论是使用 SD 模型或者 Midjourney,生成一张 2D 图像似乎并不费劲。很自然地我们会想:对于输入的 prompt,如果生成一系列连续的 2D 图像以后,再将它们连在一起,能否得到精致的视频呢?这其实就是 AI 绘画的视频类技能。

体验文生视频

使用 prompt 来生成视频的技术,我们一般称之为文生视频(Text-to-Video)。事实上,这并不是一件容易的事情。文生视频需要满足两个约束条件。第一,生成的视频整体需要符合 prompt 指定的内容。第二,需要确保 AI 绘画模型生成的每一帧图像都连贯一致,这样最终生成的视频看起来才不会违和。
你可以点开 Colab 链接,和我一起体验下文生视频的算法效果。首先,我们使用 Hugging Face 中能够实现文生视频的模型。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

AI绘画技术的快速发展为我们带来了更多创新可能性。本文深入探讨了三种高级AI绘画能力:文生视频技术、通用3D生成技术和数字人技术。其中,文生视频技术展示了AI绘画的视频创作潜力,通过使用prompt生成连续的2D图像,进而生成精致的视频。另外,通用3D生成技术介绍了NeRF算法和DreamFusion算法,展示了AI绘画技术在3D模型生成方面的前沿应用。此外,数字人技术则探讨了数字人创建技术的发展,特别是微软的Rodin算法,可以根据输入图片或prompt创建数字人形象。整体而言,本文详细介绍了AI绘画技术的多种可能性,为读者展示了AI绘画技术的前沿发展和应用前景。文章还提出了当前AI绘画技术面临的核心问题,以及这些问题解决后可能带来的产品机会。AI绘画技术的快速演进将为未来带来更多创新应用,值得期待。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 绘画核心技术与实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(2)

  • 最新
  • 精选
  • peter
    本课所讲的这几种应用,有具体产品吗?

    作者回复: 你好。基于扩散模型的视频生成和数字人生成似乎没有很成熟的产品,视频风格化可以试试美图的wink相机,3D生成的典型产品是Luma AI。Midjourney据说将推出3D生成的商业化产品,我们也可以期待一下。

    2023-09-14归属地:北京
    1
  • 李小刀
    在短视频平台上一些视频风格化的效果,是如何实现的?有什么相关资料吗?
    2023-10-25归属地:福建
收起评论
显示
设置
留言
2
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部