19 | 图像分割（上）：详解图像分割原理与图像分割模型
方远
你好，我是方远。
在前两节课我们完成了有关图像分类的学习与实践。今天，让我们进入到计算机视觉另外一个非常重要的应用场景——图像分割。
你一定用过或听过腾讯会议或者 Zoom 之类的产品吧? 在进行会议的时候，我们可以选择对背景进行替换，如下图所示。
图片来源：https://tech.qq.com/a/20200426/002647.htm
在华为手机中也曾经有过人像留色的功能。
图片来源：https://www.sohu.com/a/294693393_264578
这些应用背后的实现都离不开今天要讲的图像分割。
我们同样用两节课的篇幅进行学习，这节课主攻分割原理，下节课再把这些技能点活用到实战上，从头开始搭建一个图像分割模型。
图像分割
我们不妨用对比的视角，先从概念理解一下图像分割是什么。图像分类是将一张图片自动分成某一类别，而图像分割是需要将图片中的每一个像素进行分类。
图像分割可以分为语义分割与实例分割，两者的区别是语义分割中只需要把每个像素点进行分类就可以了，不需要区分是否来自同一个实例，而实例分割不仅仅需要对像素点进行分类，还需要判断来自哪个实例。
如下图所示，左侧为语义分割，右侧为实例分割。我们这两节课都会以语义分割来展开讲解。
语义分割原理
语义分割原理其实与图像分类大致类似，主要有两点区别。首先是分类端（这是我自己起的名字，就是经过卷积提取特征后分类的那一块）不同，其次是网络结构有所不同。先看第一点，也就是分类端的不同。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文深入介绍了图像分割的原理与模型，重点讲解了语义分割的原理，包括分类端和网络结构。在分类端方面，利用卷积层提取特征后生成特征图，最终的特征图数目对应着要分割成的类别数，通过softmax转为概率来判断每个像素的类别。而在网络结构方面，分割网络最终输出的特征图的大小要么与输入的原图相同，要么接近输入，需要通过Decoder进行还原的过程，将尺寸还原到一个比较大的尺寸。文章还介绍了转置卷积的计算原理和损失函数的应用，以及公开数据集的相关信息。总的来说，本文详细解释了图像分割的原理和相关技术细节，对于想要快速了解图像分割的读者来说，是一篇重要的参考资料。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《PyTorch 深度学习实战》，新⼈⾸单¥59
《PyTorch 深度学习实战》，新⼈⾸单¥59
立即购买
登录 后留言
全部留言(6)
- 最新
- 精选
王珎只输出一个特征图应该是可以的，输出主体-猫，剩下的部分即为背景，或者输出背景，剩下的部分即是猫。作者回复: hi，王珎。是可以的， 因为小猫分割是一个二分类问题，可以将输出的特征图使用sigmoid函数将输出的数值转换为一个概率，从而进行判断。
2021-11-243
官可以的，只要把通过概率判断是小猫的像素输出即可。作者回复: ^^ 👍🏻👍🏻
2021-11-243
文森特没有眼泪我认为可以，使用 sigmoid 处理后可以把大于 0.5 的像素认为是小猫，小于 0.5 的像素认为是背景。作者回复: 👍🏻👍🏻^^，是的，可以的。
2021-11-242
Geek_niu老师你好，图像分割例子中，是训练后可以对小猫进行分割，比如美图修修，视频通话换背景的应用中如何实时进行图像分割呢？作者回复: 你好。可以选择一些轻量化的模型，部署到手机端进行离线实时分割。 我曾经做过一个项目是把u-net进行改进，然后部署到手机端进行实时人像分割。
2024-03-05归属地：北京
John(易筋)转置卷积不是卷积的逆运算，只是能将特征图的大小进行放大的一种卷积运算。看过最好的转置卷积推导过程，谢谢老师。作者回复: Sorry回复晚了，感谢支持。^^
2022-08-10归属地：北京
ifelse
学习打卡2023-12-08归属地：浙江
收起评论