keepgoing2022-12-19 来自北京老师有三个问题想请教一下： 1. 通过这个采集渲染框架，能否理解为摄像头采集->编辑->渲染的过程就是从摄像头中拿到原始图像，然后经过每一个节点不断渲染到显存中的一个纹理ID上，最终在显示节点上把每一层渲染好的纹理显示到目标view上？ 2. 如果需要编码这个最终的图像，是需要编码节点每一帧都从显存中获取吗？ 3. 老师在文中提到了每次将内存图片上传显存是一个很低效的做法，可以使用CVOpenGLESTextureCacheCreateTextureFromImage API，请问这个API的原理是什么呢，是怎么做到高效内存->显存的操作呢 感谢老师的解答，辛苦了作者回复: 1 理解准确； 2 对的，编码节点将每一帧从显存中获取到YUV数据，在进行编码操作；但是iOS使用CoreVideoFramework有快速的操作，具体看源码 3 底层原理不是特别清楚，我理解的是iOS本身做了映射，毕竟手机中的显存都是内存的一部分；
共 2 条评论
一个正直的小龙猫2022-08-24 来自北京请教老师一个问题： 这个是摄像头采集视频画面，如果是webrtc直播视频流呢？ 想录制视频，采集直播流的视频和音频，用什么技术方案实现是最佳的？replaykit2还是ffmepg，他俩对比优缺点是什么？作者回复: 无论是什么协议形式的视频直播，采集画面都是第一步，都离不开各自平台摄像头采集API的调用。 replayKit只是录屏的一种手段，他最终也是产生CMSampleBuffer，ffmpeg更多的用在编解码(muxer/demuxer protocol)层，这俩是属于一个系统中不同层的技术实现手段。在详细一点说，replaykit你可以理解为是代替了摄像头和录音器，但是采集到裸数据（YUV、PCM）之后还是需要ffmpeg的软件编码或者平台的硬件编码器来编码成为最终的视频文件或者推流出去的。
共 2 条评论- Neil432022-08-24 来自北京老师你好，我在使用AVFoundation框架的AVAssetWriterinput ，追加SampleBuffer报错，关键代码： AVAsset WriterInput *videoInput = [AVAsset WriterInput asset WriterInput WithMediaType:AVMediaTypeVideo outputSettings:videoSettings]; assetWriter = [[AVAssetWriter alloc] initWithURL: _URL fileType:AVFileTypeQuickTimeMovie error: &error]; [assetWriter addInput:_videolnput]; BOOL success = [videoInput appendSampleBuffer:sampleBuffer]; 具体报错信息： userInfo={ NSLocalizedFailureReason = An unknown error occurred (-12780), NSLocalizedDescription = The operation could not be completed, NSUnderlyingError = Error Domain=NSOSStatusErrorDomain Code=-12780 "(null)”} 请问老师知道大概是什么原因吗？如果appendSampleBuffer方法报错，再调用finishWritingWithCompletionHandler方法，能正常生成视频吗？谢谢。展开
作者回复: 不能正常生成的。 你可以检查一下状态，AVAssetWriter的状态，如果他的状态不是“可写入”状态就不能去appendBuffer，而是看看状态为什么错误，比如文件路径之类的问题。
peter2022-08-24 来自北京请教老师一个问题： Q1：AI唱歌，有能够使用的软件吗？（开源、付费的都可以）。 AI唱歌，是指用一个人的声音把一首歌完整的唱出来。比如有特朗普的一段音频（比如30s声音片段），然后软件根据这个声音片段，就可以把《好汉歌》唱出来。效果就是听众认为是特朗普唱的《好汉歌》。作者回复: 你说的应该是歌声合成，现在业界内有几种实现方式，可以参考https://github.com/oxygen-dioxide/vogen，但是效果都不是特别好，要么机械声过于严重，要么不像，之前阿里有一个产品叫鲸鸣做过这种类型的修音，起码在直接toC的产品上没有那么大的爆发力，和当时的ZAO这种利用DeepFake的视觉生成给用户的感染力不一样。
月半木子🎊2023-06-13 来自福建请问老师，这个实现如何自测是否满足需求呢，自测需要关注哪些测试点呢