图像处理与模式识别 返回前页

1. 照片质量改善和艺术风格迁移方法

照片的拍摄质量受摄影器材性能和拍摄条件等因素的影响，当拍摄照片的质量不高时，我们可以利用基于深度网络的机器学习技术，研究向具有相似图像内容的高质量图片来学习和迁移理想的纹理表示模式，从而改善图片的色彩和纹理的表现质量，同时保持原始图片的结构纹理不变。

类似地还可以向艺术绘画来学习改善图片质量，同时形成相应的艺术绘画风格。艺术和科学具有统一性，例如印象派画家利用视觉系统的色彩编码知识，用普通的颜料绘制出色彩鲜艳的艺术作品。我们可以借鉴这个思想，研究特定的风格迁移机器学习算法，向不同流派的艺术绘画学习，在保持照片内容不变的同时，提升拍摄照片的视觉质量，同时还赋予照片以不同绘画流派的艺术风格。

学习高质量照片改善来图片质量	学习印象派绘画来改变图片质量和转换艺术风格

 

2. 基于自然图像统计和特征迁移学习的图像纹理生成技术

纹理生成是一种非常有用技术，它可以不受原始素材的限制，生成数量任意多但风格相同的纹理图像，用于大规模工业制造和虚拟现实场景生成等多种领域。纹理特征生成涉及了图像特征提取和表示、图像特征统计分析和图像风格迁移等机器学习技术，参与该项目研究的同学可以全面地学习图像处理和模式识别方面的知识，了解最新的机器学习技术，增加知识面，扩展研究工作能力。

石材纹理生成是一种特别的图像纹理生成技术，它主要用于模拟自然环境下石材的纹理图案。石材广泛地用于建筑的墙体和地面装饰，是社会生活中经常性使用的建筑材料，但由于天然石材供应匮乏和无法获得尺寸超大的原料，人工石材逐渐成为主流建筑材料。人工石材的制作需要逼真的石材纹理样图，但目前石材样图来自真实石材的取样，数量匮乏、尺寸受限和且价格高居不下。图像所在合作单位的支持下，正在开发一种样图生成软件，涉及到的研究内容包括：石材纹理的自然图像统计分析、石材纹理特征生成模型、以及针对石材纹理的图像风格迁移方法等。  

石材纹理样例

3. 结合深度网络技术和主动外观模型的相貌预测方法

相貌预测是一个非常有趣的研究话题，能够根据一个人少年或青年时期的照片，预测他/她将来的相貌，其中涉及了机器学习、人脸五官建模、图像特征迁移学习和其它图像分析等多方面的技术，在相貌识别、医疗与健康、娱乐、以及社会网络分析等不同的领域都有良好的应用前景。目前已经发表的文献中，预测精度和图像分辨率尚不尽人意。图像所正与合作单位一起，基于已经积累的数十万张图片资料，尝试提出一种综合多种技术的相貌预测方法，以提升相貌预测精度和预测图像分辨率。有兴趣的同学可以联系我们参与该项目的研究工作，以此学习机器学习、主动外观模型、目标检测与识别等方面的相关知识，拓展自己的能力范围，提升解决问题的能力。

 

4. 眼动信号可以用于身份识别吗？

身份识别技术是从移动设备采用的关键技术之一，从最早的直接密码输入、到现在的指纹和人脸识别，身份识别技术一直在更新并朝着更安全、更简单、和更好的感知体验的方向发展。未来可以采用的一种身份识别技术将基于嵌入式眼动仪设备，用眼动轨迹信号特征来区分使用者身份。Apple和Google等大型国际化企业都在从事相关的研发工作。

目前国际上在该领域的研究一般采用生物特征识别的方法（Biometric based authentication），但是我们有不同的观点。在我们看来，非功能化的生物特征，如指纹和虹膜，可以用于身份识别，但功能化的生物特征，包括常规意义上的眼动信号，由于人类生理系统进化的关系，其功能化的生物特征将趋向于一致，因此从中寻找个体之间的差异性会比较困难。事实上，目前国际学术界现有的研究已经证实了从生物特征识别角度上眼动身份识别的效果不佳。基于这样的考虑，图像所提出了一种新颖的基于眼动信号进行身份识别的技术路线。有兴趣的同学请联系我们，我们共同参与这个既有趣、又有重大意义的项目研究。

 

5. 基于心理学实验的人类视觉色差阈值的研究

人类具有非常完善和复杂的色彩感知系统，通过开展相应的心理学实验，可以研究人类对色彩的感知机制。人类对不同的色彩组合的感知是不同的，对不同的色彩的视觉色差的感知也是不同的。图像所通过主观感知实验研究人类视觉系统感知纹理场景中色彩差异的能力，通过机器学习的方法获得常见的色彩纹理模式，研究这些色彩纹理模式下的人类视觉系统的色差感知阈值。这些研究成果将丰富人类视觉系统对色彩纹理感知的知识，有利于提出创新性的图像质量增强、恢复和显示算法，以及研究摄影器材质量改善方法。

大家能够从上面图片中看到几种不同的颜色？

6. 如何从艺术作品中学习得到更好的色彩表达模式

       目前的成像仪器和显示设备受物理材料的影响，所能表达的颜色空间sRGB比人类视觉系统的可见色域小很多。针对这个问题，一个非常有意义的研究课题是能否在不改变现有成像仪器和显示设备材料的前提下，使人感知到更大的色彩空间范围。我们发现印象派绘画利用较少的色彩表现出了丰富的色彩空间，而这背后的机制是颜色对比（Color Coding）的广泛应用，即当同一种颜色与不同的其它颜色同时显示时，人的视觉感受是不同的。受此启发，该参与该课题的同学将学习利用深度学习等方法对印象派绘画进行统计分析，从中探寻颜色对比模式的奥秘，以及通过颜色对比扩展色彩空间的方法。

颜色对比可以在设备不变的情况下扩大色彩三角形

7. 单个摄像机是否可以实现三维视觉场景分析

        人们通常以为两个以上的摄像机所构成的视觉系统才能够用于三维场景分析，但事实上，只有一个个摄像机的视觉系统也可以用于三维视觉分析场景，前提是需要一定的先验约束条件。例如，当视觉场景中的目标位于地面，而且场景中的地面被事先标定过，这时，置于地面的目标就能够被基于单摄像机的视觉系统进行三维分析。一个具体例子是我们曾经完成过的一个电力系统防外力破坏监控系统，如下图所示，高压电力输电线有可能被施工的吊车破坏，我们的视频监控系统用于完成以下功能：1）运用机器学习技术识别场景中的吊车（只有吊车才能破坏电力线，其它车辆或移动目标不会产生威胁）；2）运用机器学习技术识别吊臂是否展开，并且判断其在图像中的坐标；3）运用计算机视觉技术，根据平面图像中的目标坐标参数，计算吊车的三维场景位置和吊臂位置，再根据事先已知的电力线位置来判断威胁程度。在这个例子中，从摄像机拍摄的平面图像上看，吊臂曾经与高压线重叠，但根据我们的三维场景分析，吊车吊臂一直远离高压线。
       图像所还有更多相关的课题研究工作，参与同学可以从中学习相关的计算机视觉分析技术和基于机器学习的目标识别方法。

上述左图中，吊车离摄像机距离198米，吊臂远端高度25米；右图中吊车距离摄像机101米，吊臂远端高度15米，这两个场景中，吊车均未威胁高压输电线（距离摄像机120米，高度25米）。

8. 基于深度学习的姿态识别

       使用常规摄像头的姿态识别是目标识别任务中非常具有挑战性的研究课题。该课题不仅是学术界的研究热点，在实际应用中也有非常广阔的应用前景，例如，通过人体姿态进行身份识别，通过姿态进行电力施工中的安全作业管控，通过姿态进行疲劳程度分析。姿态识别技术的核心问题是对人体主要关节的识别定位、三维场景计算、以及相关人体生理参数计算。参与该课题研究的同学可以学习使用深度学习技术来解决该问题。

姿态识别示例

返回前页