攻克视频技术
李江
声网 Agora 视频专家
7494 人已学习
新⼈⾸单¥59
登录后,你可以任选3讲全文学习
课程目录
已完结/共 19 讲
攻克视频技术
15
15
1.0x
00:00/00:00
登录|注册

01|基本概念:从参数的角度看视频图像

你好,我是李江。
从今天开始,我们会一起来学习一些视频和图像相关的技术。主要包括视频图像的基本概念、图像的缩放处理、视频压缩编码、视频打包传输以及音视频同步等相关知识。
今天,我们就从视频和图像(视频是由一帧帧图像组成的)的基础知识讲起。掌握了这些之后,我们再讨论如何对图像进行缩放、如何使缩放后的图像更加清晰,以及如何对视频进行编码压缩等就更加游刃有余了。当然了,这些话题更难,但也更有意思,希望我们能有个不错的开始!

像素

相信你对像素这个概念一点都不陌生。从智能手机市场大火到现在,我们经常能够听到某某最新款手机,多少多少万像素。像素越高,则图像就会越清晰,拍出来的图片就会更逼真。那像素到底是什么呢?
像素是图像的基本单元,一个个像素就组成了图像。你可以认为像素就是图像中的一个点。
我们来直观地看看像素是怎么组成图像的。在下面这张图中,你可以看到一个个方块,这些方块就是像素。
那一张图片有多少个像素呢?要回答这个问题就需要引出另外一个非常重要的概念——分辨率。

分辨率

图像(或视频)的分辨率是指图像的大小或尺寸。我们一般用像素个数来表示图像的尺寸。比如说一张 1920x1080 的图像,前者 1920 指的是该图像的宽度方向上有 1920 个像素点,而后者 1080 指的是图像的高度方向上有 1080 个像素点。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

视频图像技术是当今热门话题之一,本文从像素、分辨率、位深和Stride等角度介绍了视频图像的基本概念。首先,像素是图像的基本单元,分辨率表示图像的大小,不同分辨率对图像清晰度有影响。其次,位深决定图像颜色精度,位深越大,颜色值越多,图像越精确。最后,Stride是图像存储时的概念,影响图像读取和渲染,需要注意设置正确的Stride值。 接下来,文章介绍了视频的帧率和码率。帧率表示每秒钟图像的数量,而码率则是视频在单位时间内的数据量大小。帧率的选择需要考虑设备处理性能和带宽流量,而码率的高低会影响视频画面的清晰度、存储空间和传输流量。 总结来说,本文为读者提供了视频图像技术的基础知识,包括图像和视频的基本概念、帧率和码率的重要性。这些知识点为进一步学习和探索视频图像技术奠定了基础。读者可以通过本文快速了解视频图像技术的核心概念,为深入学习打下基础。 思考题:码率是会变化的,它取决于视频内容的复杂程度和压缩算法的选择。不同的视频内容和压缩算法会导致不同的码率,从而影响视频的清晰度、存储空间和传输流量。 文章内容涵盖了视频图像技术的基础知识,对读者快速了解视频图像技术具有重要意义。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《攻克视频技术》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(26)

  • 最新
  • 精选
  • 西格玛
    stride比较难理解,小白问几个stride的问题: 1.stride为什么是16字节对齐? 2.为什么stride是宽度16字节对齐,高度却不限制? 3.读取图片的时候,如果就把stride当成宽度(实际宽度小于stride),还会花屏吗?(stride大于宽度的部分我当成纯色)

    作者回复: 1、一般芯片读取效率在16字节对齐时最高,芯片能一次性读取16字节的数据,16字节对齐之后可以充分利用芯片的性能,速度更快。当然并不是stride一定是16字节对齐的,有的也32字节对齐,甚至64字节对齐。 2、图像存储在内存中一般是个一维数组,一般我们需要一行一行像素读取,不太会一列一列读取。因此高度方向上一般不对齐。 3、不会花屏,但是会有多余的不是图像的部分,一般不会留着这个padding部分。

    2021-11-22
    4
    21
  • 贾献华
    码率可以是固定的,也可以是变化的。 如果是固定码率, 1. 编码后的码率小于固定码率,填充数据 2. 编码后的码率大于固定码率,丢弃细节数据,降低码率

    作者回复: 是的。回答的很对。一般来说除非要求绝对固定,不然不会填充数据。毕竟浪费带宽。你的回答考虑地很全面。

    2021-11-23
    17
  • 麋鹿少年
    大佬,之后会讲讲webrtc的码率自适应吗

    作者回复: 会详细介绍。

    2021-11-24
    2
    4
  • _zeta
    老师讲的太好了,声网服务这么好还是因为有大神坐镇的。 刚开始做音视频不久,有个问题想请教,我们在iOS平台自采集后用 VideoToolBox 进行H.264编码,写入SEI时,我们自研的播放器是可以解析SEI的,但问题是用ffplay拉流会报 [h264 @ 0x14786b800] nal_unit_type: 1(Coded slice of a non-IDR picture), nal_ref_idc: 1 [h264 @ 0x14786be00] nal_unit_type: 6(SEI), nal_ref_idc: 0B f=0/0 [h264 @ 0x14786be00] no frame! [h264 @ 0x1478f4e00] nal_unit_type: 5(IDR), nal_ref_idc: 1B f=0/0 这种警告,目前没有解决这个问题的头绪,能否帮着解答一下。

    作者回复: 看起来是在没有IDR之前就出了非IDR帧,导致第一帧解码不了。

    2021-11-22
    5
    4
  • plh
    小白用户问个问题,码率是怎么计算出来的。

    作者回复: 对于播放器来说,实时码率一般是一秒钟多少帧,从编码好的码流中读取这个多帧数据,就知道总共多少字节大小了,码率就是总字节数除以一秒。对于实时发送的视频流一般你可以知道你一秒钟发送了多少字节的,那码率也就知道了。对于编码器来说它一秒钟输出多少肯定也知道,很容易算码率。对于普通人看一个视频文件的码率。可以直接用文件总大小除以总时长,但是一般视频文件里面还有音频数据,所以得到的是视频和音频的总码率,通常音频的码率相比视频小很多,可以近似认为是视频的码率。

    2021-11-30
    3
  • DK
    码率可以是固定的,但是更倾向于使用变化的 首先我们储存视频时并不是以图片的形式进行存储,而是以图片中不同色值的变化作为一个存储的依据,在不同的时间点内,运动色值的轨迹变化量可能不同,所以最终的结果导致了不同,考虑的最优算法 如果不能确定色值轨迹的变化量,而是固定的存储某个位置的像素点变化,码率就是固定的

    作者回复: 一般来说: 1、对清晰度要求高,可以选择变化的码率。 2、RTC场景,一般使用固定码率。

    2021-11-23
    3
  • 小飞同学
    1.图像由像素组成,有多少像素取决于分辨率,对原始图像来说分辨率和清晰度成正相关。图像以一定帧率组成视频,视频以一定的码率进行传输。 2.基本概念 位深:一幅图像中包含的二进制位的数量 位深越大,能够表示的颜色值就越多。RGB通道。1位深,只能表示黑白; 跨距:图像存储时内存中每行像素所占用的空间。为快速读取一行像素,进行内存对齐。 帧率:视频在单位时间内图像的数量 码率:视频在单位时间内的数据量的大小

    作者回复: 2、位深是一个像素点中某一个通道(比如R通道、G通道、B通道)的像素值的二进制位的数量。

    2021-11-23
    2
    3
  • 文进
    老师,这样理解是否对。 如果每个画面的像素是固定的,相同像素,所占用空间大小一致,相同时间下,按理数据量大小/单位时间,得出码率应该相同。但是即使像素相同,码率通常却是变化,是因为这里的数据量应该是转码后的数据量吧?每帧哪怕像素相同,经过不同的压缩算法,每秒得到数据量大小不同。甚至不同画面之间,相同算法,得到的数据也是不一样的,导致码率发生变化。

    作者回复: 是的,没错

    2021-12-06
    2
  • Geek_00444b
    码率可以变化也可以恒定,码率如果是固定的,可以通过一个缓冲区来暂时存储码率,从而使输出的码率恒定,但是加了缓冲区会增加时延

    作者回复: 这个思路有点像webrtc中的paced_sender的思路。但是一般来说我们还是会使用提高QP和降低QP的方式来实现码率基本恒定。提高QP画面会变模糊一些,会有可能出现马赛克,但是码率会降低。降低QP画面会变清晰。码率也会提高。

    2021-11-23
    3
    2
  • weekend
    同一个原始视频,在同一个压缩算法和压缩速度前提下,码率越大,清晰度就越大,失真越小。 这样理解对吗?

    作者回复: 是的

    2021-12-10
    1
收起评论
显示
设置
留言
26
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部