图像/视频质量感知 返回前页

1. 基于深度网络的图像质量评价方法研究

图像质量评价用于模仿人类视觉系统对现实图像中存在的质量问题进行度量，可以用于图像获取、存储、传输、处理和显示过程中的每一方面，有广泛的应用前景。深度网络比传统的特征提取算子具有更加强大的表示能力，可以跨越从初级视觉特征、纹理特征、直到高层内容语义的多个层面，进行高效率的图像内容表示，因此将深度网络技术用于图像质量评价模型设计是一个必然的选择。

由于存在多种技术难题，目前深度网络技术应用于图像质量评价研究仍然没有理想的解决方案。图像所在这个领域开展了长期的研究工作并取得过良好的学术成果，目前我们的主要工作集中于：1）训练专门针对图像结构的质量退化表示的深度网络；2）解决深度网络训练中图像局部质量缺乏主观质量标记的难题；3）解决深度网络训练中图像质量主观评价数据库规模小的问题。

图像质量评价目前广为关注的热点研究领域，同时也有很好的应用背景。有兴趣的同学可以联系我们参与该项目的研究工作，以此学习视觉计算理论、机器学习和图像质量评价的相关知识，掌握主流的图像质量评价方法，并且有可能可以提出自己的相关方案。

2. 摄影图片构图美学评价数据库开发

一个优美的摄影图片是由多种因素形成的，其中构图是一个重要因素，如果我们开发一个处理软件，能够在拍摄过程中指导摄影者选择合适的构图取景，将可以帮助提升普通摄影者的拍摄质量，特别能服务目前随手拍照分享的大众化摄影模式。

我们在研究图像构图美学的基础上，将建立一个美学构图和主观质量标记的图片数据库，包含各种摄影图片和艺术图片，然后在此基础上通过合适的算法学习出具有构图美学图片的特点，包括整体和局部图片的美学模式。这些工作将用于指导拍摄构图和增强图像美学效果的图片后处理等。参与该研究课题的同学将学习到主观评价实验数据库开发、运用机器学习方法学习图像美学特征、图像前景分析、视觉显著性分析、以及构图结构分析等方法。

摄影图片的构图示例	艺术图片的构图示例

3. 摄影器材的质量评价实验

当前随手拍照分享已经成为人们日常生活中的重要组成部分。针对智能手机、单反相机等拍照设备及镜头配件的质量评价也因此成为极具商业价值的研究方向，并培育出了法国DXO实验室等众多评测机构。传统摄影器材的质量评价涵盖了清晰度、畸变、动态范围和色彩精度等多种客观检测内容，但如何从多个单项指标的测试中综合得到摄影器材的整体评价，目前依然是一个难题。目前，包括DXO实验室在内的诸多评测机构都没有公开具体的评分算法，其评分的客观性也因此受到质疑。

在摄影器材的质量评价中，客观指标的评价和主观质量评价也同样存在差异。例如人们都有过这样的体验：两个不同品牌手机的拍摄图片质量对比中，尽管这两个手机相机的分辨率、对比度等指标都相近，但拍摄的图片的质量感觉可能会有明显差异，其中存在的理论和技术问题正是我们图像所的一个在研课题。

不仅如此，图像所正在研究一个摄影器材的主观拍摄质量的评价方法，并且尝试提供市场上主流手机的拍摄质量评价排名。目前我们已经初步建设了一个客观指标评测实验室，正在研究构建基于自然场景拍摄图片的质量分析方法。参与该项目的同学将能够学习和掌握各种评价摄影器材质量指标的检测原理、方法和国际标准，图像/视频/视频质量评价方法，以及如何通过上述指标获得关于摄影器材的主观质量评价方法。

 

4. 特征设计vs. End to End深度网络学习：怎样获得更加优秀的感知质量特征？

        图像质量评价模型研究中，最重要的工作是设计简单和能够高效表示感知质量的图像特征，这是一个极具挑战性的工作，目前学术界也已经有许多优秀的感知质量特征被提出。然而随着深度学习技术的发展，人们自然会想到采用深度网络实现End to End的学习，从而自动获得合适的感知质量特征和优良的图像质量评价模型。但存在的问题是：1）在缺乏足够数量的质量标签标注的数据集（图像质量主观感知数据库）中，深度学习网络是否可以获得可信的结果；2）已有图像全局质量标签无法表示不同位置的局部图像质量；3）现有的深度学习网络是否有足够能力表示具有高度非线性计算模型的感知质量算子? 4）所获得的感知模型的泛化能力是否足够好。
        我们最近的研究表明，两个旋转不变的图像点特征：梯度模值和LOG信号的联合分布可以用于成为一个高效率的图像感知质量特征，如下图所示。这样的联合分布不仅可以用产生优异的图像质量评价算子和纹理图像分类算法，同时在此基础上设计的新型感知质量特征可以产生比深度学习网络获得的更好和更稳定的图像质量评价模型。
        参加这个项目的同学将有机会自己设计一个简单且高效率的图像质量评价算子。 

5. 人们在关注图片内容时的性别因素

        人类的行为模式会受个体特质的影响，性别因素是其中的一个主要原因。近年来随着眼动仪技术的发展，我们可以利用视线跟踪技术来研究人们观察图片时的共性和特异性，用于发展一系列有实用价值的技术，如生物特征识别、视觉显著性检测，等等。本课题研究男女在观察图片时视线轨迹的特异性，我们的初步实验揭示了一些有趣的结果，其中一个例子如下图所示，解释了女性在人际交流中的某些行为优势。

6. 如何判断一个宣传广告的效用

        当一个企业花了大价钱请广告公司制作了一个宣传广告，企业自然会想到如何判断自己花在这个宣传广告上的钱是否值得，所期望的KPI，例如产品信息和企业文化等，在这个广告上是否可以被观看者容易地察觉和记住。本课题将培训学生使用一台眼动仪设备来研究和开发一个心理学实验评价系统，能够有效地判断宣传广告的有效性。此外，该课题开发成果还可以容易地移植到各种关于视觉体验的心理学实验分析中。

图像所完成过的一个眼动数据用于广告效用分析示例

7. 网络流媒体视频质量实时评价

        随着现有网络技术的发展和移动手持设备数量的激增，大型IP网络视频网站备受欢迎，像Netflix, YouTube等等。视频内容提供商目前采用HTTP自适应流媒体技术实时传输播放网络视频流，但受到真实网络环境的影响，消费者的感知质量体验会出现波动。准确而快速的IP流媒体播放质量评价算法会有助于视频内容提供商提升消费者的感知质量体验进行决策，从而吸引更多网络用户，产生更多收益。本研究所一直在图像和视频的感知质量评价领域从事研究工作，向国内外学术界和业界贡献我们独特的见解和解决方案。未来期望与各位有志于在领域学习和从事研发工作的同学们一起努力取得更有意义的研究成果，欢迎并感谢你们的积极参与。

一个典型性的网络视频流媒体缺陷，缓冲等待与压缩降质

8. 虚拟全景视频质量评价研究

        虚拟现实（VR）技术正如火如荼的发展。虚拟全景图像正变得非常流行。在这一前提下，虚拟全景图像的质量评估研究也正成为一个热门的研究主题。因此，图像所正在现有的国际上公开的沉浸式全景质量评价数据库的基础上从事感知评价研究，并将基于国家数据广播工程技术研究中心开发的虚拟全景电视系统的基础上开发新的评价数据库。这是一个新颖的研究话题，探索新鲜事物总充满着未知的困难与喜悦，欢迎广大感兴趣的同学参与，挑战自我，战胜自我，做出有价值的应用成果。

（Images are from Laboratory for Image & Video Engineering，The University of Texas at Austin）

9. 视频质量检测与评价技术研究

        世界上现有的主观视频质量评价数据库一般只提供每个视频的总体上的主观质量感知分数，并没有针对视频的具体缺陷进行单独的评分。本实验室正在建立一个主观视频质量评价数据库，该数据库包含大量的原始视频序列，同时利用多种编码器和编码参数进行质量退化，产生数量众多的失真序列。在此基础上我们将进行两类的主观质量评测实验，包括：每个视频的总体主观质量评分、以及针对视频中特定质量退化描述的KPI（关键质量指标，例如模糊，花屏，振铃等等）进行标记和评分，从而构建一个新颖的主观视频质量评价数据库。该数据库将会有助于评测编码器性能、编码前预处理、视频质量评价模型等参数训练和测试；有助于开发针对视频帧中不同质量问题的专门检测算法；该数据对视频序列的通用质量评价算法研究也将会起到更大的促进作用。在实际应用方面，在该数据库上取得成功的算法可有效地用于内容提供商（CP）片源、上线后端侧、以及E2E的视频质量评价，产生实际效益。

返回前页