24|实战项目(六):妙用SD,如何给你的照片带上千百种风格?
南柯
你好,我是南柯。
今天我们要探讨的是图像风格化技术。在社交媒体或者短视频平台上,我们经常会看到各种流行一时的风格化特效,比如卡通风格、中国风等,背后使用的其实就是图像风格化技术。
我在文稿里准备了两张图,你可以看看,左图是使用 Midjourney 生成的一张照片,右图展示的就是古风特效。
很多趣味相机产品,也凭借新奇的风格化效果吸引用户付费订阅。
可以说,从 GAN 的时代到扩散模型时代,图像风格化技术的商业化价值已经得到了充分的验证。我们可以做个预判,随着基础 AI 绘画模型生成能力的不断提高,未来还会有更多新奇的风格呈现在我们面前。对于技术从业者而言,风格化算法也是一个很好的切入点,作为进入 AIGC 行业的敲门砖。
另外,融合不同风格的 Stable Diffusion 模型,就可以调制出各种千奇百怪的新风格。有了这个技巧的加持,我们就可以通过 DIY 的形式得到自己独特的模型。
今天这一讲,我们就来深入聊聊图像风格化这个话题,探讨不同 Stable Diffusion 模型的融合技巧,并通过实战的形式为我们的照片注入心仪的风格。
初识风格化
风格化算法有两个目标,第一是保持原始图像的整体构图,第二是修改图像的整体风格。为了实现这两个目标,无数算法工程师绞尽了脑汁。我们这就来学习一些有代表性的风格化技术。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文深入探讨了图像风格化技术的发展历程和实际应用。首先介绍了图像风格化的概念和目标,以及代表性的风格化技术,包括GAN时代的风格化算法和全图风格化技术的发展。随后,详细讨论了不同的图像风格化实现方案,包括利用Stable Diffusion模型的图生图功能、ControlNet的基本控制模式和指令级修图模式。通过代码实战演示了图生图和ControlNet风格化技巧的应用,展示了不同风格化方法的算法原理和效果。文章还介绍了模型融合的技巧,包括加权混合和指令修图模式。整体而言,本文全面探讨了图像风格化技术的发展趋势和实际应用,为读者提供了深入的技术知识和实战经验。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 绘画核心技术与实战》,新⼈⾸单¥59
《AI 绘画核心技术与实战》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(3)
- 最新
- 精选
- Geek_cbcfc8老师 ,实战六 大纲里不是训练自己的模型吗,这是临时新增了一个其它的? 本章提供的三种风格化模型在实战中表现都不是很稳定,而且效果一般, 自己研究发现目前SD风格比较好的有,reference_only、ipAdapter以及Blip2Diffusion
作者回复: 你好。我们在第12讲和第19讲中讨论了微调SD模型和训练LoRA模型,今天这一讲主要是围绕风格化展开。本章提到的三种风格化算法都是入门算法,让大家对于风格化的概念有个认识。reference_only、ipAdapter以及Blip2Diffusion更贴切说,是定制化图像生成算法(DreamBooth的进阶),最近有一篇名为PhotoVerse(https://photoverse2d.github.io/)的工作效果非常不错,推荐看看!我们计划在加餐篇中探讨这些高阶的定制化图像生成算法。感谢你的建议,欢迎多交流~
2023-09-11归属地:北京1 - bookchan请教个问题,什么类型的模型才可以merge?比如sd模型和lora或者controlnet可以进行merge吗
作者回复: 你好。模型融合的前提是具有相同的网络结构,比如Anything V5和Counterfeit这两个模型,都是基于SD模型微调而来,具有相同网络结构。模型融合通常是针对基础模型,而不是LoRA和ControlNet这类“插件模型”。希望能够帮助到你。
2023-09-14归属地:广东 - cmsgoogle您好,指令集修图代码给的是sd1.5,请问有没有支持sdxl的指令集修图模型或者代码么?2023-10-25归属地:美国
收起评论