24｜实战项目（六）：妙用SD，如何给你的照片带上千百种风格？
南柯
你好，我是南柯。
今天我们要探讨的是图像风格化技术。在社交媒体或者短视频平台上，我们经常会看到各种流行一时的风格化特效，比如卡通风格、中国风等，背后使用的其实就是图像风格化技术。
我在文稿里准备了两张图，你可以看看，左图是使用 Midjourney 生成的一张照片，右图展示的就是古风特效。
很多趣味相机产品，也凭借新奇的风格化效果吸引用户付费订阅。
可以说，从 GAN 的时代到扩散模型时代，图像风格化技术的商业化价值已经得到了充分的验证。我们可以做个预判，随着基础 AI 绘画模型生成能力的不断提高，未来还会有更多新奇的风格呈现在我们面前。对于技术从业者而言，风格化算法也是一个很好的切入点，作为进入 AIGC 行业的敲门砖。
另外，融合不同风格的 Stable Diffusion 模型，就可以调制出各种千奇百怪的新风格。有了这个技巧的加持，我们就可以通过 DIY 的形式得到自己独特的模型。
今天这一讲，我们就来深入聊聊图像风格化这个话题，探讨不同 Stable Diffusion 模型的融合技巧，并通过实战的形式为我们的照片注入心仪的风格。
初识风格化
风格化算法有两个目标，第一是保持原始图像的整体构图，第二是修改图像的整体风格。为了实现这两个目标，无数算法工程师绞尽了脑汁。我们这就来学习一些有代表性的风格化技术。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文深入探讨了图像风格化技术的发展历程和实际应用。首先介绍了图像风格化的概念和目标，以及代表性的风格化技术，包括GAN时代的风格化算法和全图风格化技术的发展。随后，详细讨论了不同的图像风格化实现方案，包括利用Stable Diffusion模型的图生图功能、ControlNet的基本控制模式和指令级修图模式。通过代码实战演示了图生图和ControlNet风格化技巧的应用，展示了不同风格化方法的算法原理和效果。文章还介绍了模型融合的技巧，包括加权混合和指令修图模式。整体而言，本文全面探讨了图像风格化技术的发展趋势和实际应用，为读者提供了深入的技术知识和实战经验。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI 绘画核心技术与实战》，新⼈⾸单¥59
《AI 绘画核心技术与实战》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(3)
- 最新
- 精选
- Geek_cbcfc8老师 ，实战六 大纲里不是训练自己的模型吗，这是临时新增了一个其它的？ 本章提供的三种风格化模型在实战中表现都不是很稳定，而且效果一般， 自己研究发现目前SD风格比较好的有，reference_only、ipAdapter以及Blip2Diffusion
作者回复: 你好。我们在第12讲和第19讲中讨论了微调SD模型和训练LoRA模型，今天这一讲主要是围绕风格化展开。本章提到的三种风格化算法都是入门算法，让大家对于风格化的概念有个认识。reference_only、ipAdapter以及Blip2Diffusion更贴切说，是定制化图像生成算法（DreamBooth的进阶），最近有一篇名为PhotoVerse（https://photoverse2d.github.io/）的工作效果非常不错，推荐看看！我们计划在加餐篇中探讨这些高阶的定制化图像生成算法。感谢你的建议，欢迎多交流~
2023-09-11归属地：北京1 
bookchan请教个问题，什么类型的模型才可以merge？比如sd模型和lora或者controlnet可以进行merge吗作者回复: 你好。模型融合的前提是具有相同的网络结构，比如Anything V5和Counterfeit这两个模型，都是基于SD模型微调而来，具有相同网络结构。模型融合通常是针对基础模型，而不是LoRA和ControlNet这类“插件模型”。希望能够帮助到你。
2023-09-14归属地：广东- cmsgoogle您好，指令集修图代码给的是sd1.5，请问有没有支持sdxl的指令集修图模型或者代码么？2023-10-25归属地：美国
收起评论
