18 ｜如何使用移动平台的硬件编码器？
展晓凯
你好，我是展晓凯。今天我们来一起学习如何使用移动平台的硬件编码器给视频编码。
在移动平台的视频场景中合理地使用硬件编码器，能够很大程度上提升 App 的性能，所以这节课我们来学习 Android 平台和 iOS 平台视频硬件编码器的使用方法。在 Android 平台我们一般使用 MediaCodec 编码器，而在 iOS 平台我们一般使用 VideoToolbox 来完成硬件编码。
Android 平台的硬件编码器 MediaCodec
上节课我们已经介绍了预览控制器类如何调用编码器模块进行编码，并且也已经实现了软件编码器的子类，这节课我们就来完成硬件编码器子类的实现。
新建的 hw_encoder_adapter 类继承自 video_encoder_adapter 这个类，然后实现核心的接口，包括创建编码器的 createEncoder 方法、实际编码的 encode 方法以及销毁编码器的 destroyEncoder 方法。
在 Android 4.3 系统之后，使用 MediaCodec 给视频编码是官方推荐的方式。尽管 Android 的碎片化比较严重，会导致一些兼容性问题，但是硬件编码器的性能和速度提升的收益是非常可观的。并且在 4.3 系统之后，我们可以通过 Surface 来配置编码器的输入，降低了显存到内存的数据交换时间，大大提升了整个录制场景的体验。前面我们学过使用 MediaCodec 来编码 AAC 数据，而编码视频的工作流程和音频是一样的，我们先来回顾一下 MediaCodec 的工作流程。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
移动平台上使用硬件编码器进行视频编码是一项关键技术。本文详细介绍了在Android平台上使用MediaCodec和在iOS平台上使用VideoToolbox进行硬件编码的流程。通过利用硬件编码器，可以显著提高App的性能和编码速度，降低CPU的使用率，从而提高编码效率。文章还介绍了编码器的输入和输出类型，以及初始化和构建编码器的方法。在iOS平台，还介绍了AVFoundation对VideoToolbox的封装，提供了多种高级的多媒体API库，如AVAssetWriter、AVAssetReader和AVAssetExportSession。这些API提供了更高层次的封装，简化了开发流程。总的来说，本文为移动平台上使用硬件编码器提供了全面的指导和实用的技术细节，对于开发者来说具有很高的参考价值。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《快手 · 移动端音视频开发实战》，新⼈⾸单¥59
《快手 · 移动端音视频开发实战》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
peter请教老师几个问题啊： Q1：MediaCodec可以做解码操作吗？ Q2：MediaCodec是硬件还是软件？ 我的理解是：MediaCodec并不是硬件，是软件，相当于硬件的接口； 调用关系是：Java层API ---》MediaCodec---》具体的硬件(应该是一个芯片) Q3：MediaCode如果是软件的话，属于哪一层？Native层吗？ 从Android系统架构来说，MediaCodec属于哪一层？FrameWork层吗？ Q4：iOS部分，主内存是缓存，此缓存是指CPU的三级缓存吗？ Q5：加锁与解锁是针对内存还是缓存？作者回复: A1: 可以做解码操作； A2: 没必要抠字眼，MediaCodec就是系统提供的硬件编码器； A3: Java层的接口，最底层使用的是OpenMax，用专用的硬件来完成编解码操作； A4: 不是的，可以理解为内存与显存的共享区域； A5: 就是CVPixelBuffer本身的存储区域，应该是为了防止在被写入，污染掉这个存储区域。
2022-09-02归属地：北京1
我的無力雙臂请教下为啥不讲讲h265呢作者回复: 在移动平台上直接编码H265还不是很多，因为目前上传并不是瓶颈，一般都是H264高码率上传，然后在服务端进行“压片”转换为H265，进行存储和分发。
2022-09-02归属地：北京
收起评论