Q20｜端侧：算力限制是否为落地的关键瓶颈？

1. 在技术落地的业务场景中，需要在模型效果和执行效率之间寻找平衡点，避免投入产出比失衡。 2. 采用多项优化工作，包括采用更高效的视频编码器、实施 token 压缩技术，以及探索大模型的 INT8 量化方案等，以解决算力限制带来的挑战。 3. 面对 trade-off，需要综合考虑效果、耗时、用户体验、训练成本和推理成本，以及是否可以采用预生成或异步处理方案。 4. 对于必须实时处理的场景，可以设计折中方案，如部署极速版和高质量版双模型，或采用混合策略生成初稿再优化最终质量。 5. 在耗时优化方面，需要区分量变与质变，特殊场景下的耗时优化必须达到质变级别，即便牺牲部分效果也要优先保证实时性。