视频编码 返回前页

1. 在视频编码中引入感知质量指标

        视频编码的一个核心问题是如何考虑编码后视频的失真程度和码率的平衡问题，传统的编码理论中，图像失真测量采用MSE指标，难于真实地反应人类视觉系统对图像失真的真实评价水平。近年来已有很多工作将图像质量评价（IQA）模型引入视频编码研究中，取得了许多积极的进展，因而构成了该领域的热点研究方向之一。本课题将通过一些简单的自然图像统计分析和图像编码实验，考察引入IQA指标后对视频编码方法和效果产生的一些影响，请见一个我们研究过的示例。该课题的部分结果导致了我们开始了一个新颖的研究课题：基于感知质量一致性的块级码率优化分配方法。

传统的编码方案：MINAVE (宏块平均MSE最小化)，bits=500050。	感知质量一致化优化方案CPQ（宏块SSIM一致)，bits=499955。

2. 视频编码中感知质量指标的差别阈限研究

       感知质量指标更真实地反应了人类视觉系统对图像失真的真实评价水平。当前很多视频编码算法都采用了感知质量指标作为视频失真度量来指导视频编码的优化，并且相关算法大多以感知质量指标的数值提升来说明编码质量的改进。这其中的一个关键问题是：感知质量指标的差别阈限，即感知质量指标的数值提升程度同人类主观可察觉差异之间的关系。本课题将通过心理学实验的方式对视频编码中感知质量指标的差别阈限进行分析研究。通过本课题，学生可以学习视频编码优化和感知质量指标的基础知识、心理学实验的基本方法，并能通过研究获得非常实用的结论。

示例视频RaceHorses经原始编码器压缩后结构相似度SSIM值为0.9866，使用优化算法优化后SSIM值为0.9971，其中，两个图像的编码码率完全一致，SSIM质量提升0.0105。人类是否能察觉左右两视频的质量差异？

3. 视频观看注视点研究：不同的观看任务怎样影响注视点分布？

        观看者的注视点分布是视频编码优化等应用中非常重要的依据。观看者注视点的分布反映了视频中观测者感兴趣的区域。我们在前期工作当中已经对自由观看任务下的注视点进行了研究。利用梯度模值等初级视觉特征进行自底向上的建模，便可以得到非常高效的注视点预测模型。
       但值得注意的是，不同的观看任务会影响注视点的分布，例如：自由/有任务观看同日常生活中的电影/电视节目欣赏的目的不同，会有不同的注视点分布。本课题将培训学生使用眼动仪设备来获取包括自由观看、节目欣赏、主观质量评价等任务下的观看者注视点分布，并分析现有的注视点预测算法对不同观看任务下注视点分布的预测能力，同时，参加这个项目的同学可以自己设计新的注视点预测算法。

示例图片及其在自由观看任务下的人眼注视点分布。可见观测者在自由观看时注视点主要集中在粉色上衣的孩子。但在文字搜索任务下，或者在图像质量评价任务下，观测者的注视点将如何分布？

返回前页