基于强化学习的立体全景视频自适应流

针对目前立体全景视频传输缺乏有效的流适配方法，传统的双目立体全景视频传输的全景视频流适配策略，传输数据成倍增加，需要巨大的带宽，为了实时应对网络带宽的波动，提出了一种基于多智能体强化学习的非对称传输自适应立体全景视频流方法。首先，根据人眼对视频显著区域的偏好，以及左右视点中每个瓦片（tile）对立体视频感知质量的不同贡献，提出了一种基于tiles的左右视点观看概率预测方法。其次，设计了一个基于关键角色的多智能体强化学习框架来控制左右视点的联合比特率。最后，根据模型结构和双目抑制原理，设计了合理的奖励函数。实验结果表明，与传统的流自适应传输策略相比，该方法更适用于基于tiles的立体全景视频传输，提高了有限带宽（QoE）下的用户体验质量，为立体全景视频的联合比特率控制提供了一种新的方法和思路。