西安交通大学教师个人主页 钱 学明

该方法实现了基于深度神经网络的人脸检测、表情识别、人脸识别系统。如图为该系统流程图。监控摄像头采集的视频数据通过人脸检测网络进行特征提取，生成下采样的特征图，预测人脸位置和关键点。根据关键点坐标和标准人脸关键点进行人脸姿态的矫正。矫正过的人脸送入表情识别网络和身份识别网络进行身份识别和表情分类。

本系统可以从摄像头和本地视频中读取数据，对数据中的人脸表情进行happy（高兴）、sad（悲伤）、feared（害怕）、angry（生气）、disgusted（困惑）、surprise（惊喜）、nothing（无）七种表情的识别，并根据视频中的人脸实时统计出每种表情所占比例。系统演示效果如图所示。

优点

1）组合人脸检测、识别和表情识别三项功能，实现端到端的集成系统。以人脸检测和关键点配准为基础层，身份识别和表情识别为应用层，可灵活调用某层或某功能的结果。

2）面向多人场景，可以并行完成复杂场景多人脸检测和识别任务。

3）轻量化的模型，对摄像头采集的高分辨率视频帧进行实时处理。

4）应用及成果

专利在审：一种监控视频多人人脸检测和表情识别方法

（6）行人检测、检索系统

本系统可从监控视频中检测出所有行人，使用截图功能设定目标人物，可自动定位到其他时段出现的该行人。如下图所示，截取行人正面照片，可定位到该行人被监控摄像拍到的侧面以及背影。可以看到，目标人物的其他时间点所拍摄到的照片，均在排列靠前的搜索结果中。该系统中，对象（行人、车辆等）采用深度特征描述，采用特征匹配和搜索的方法，可以在历史数据中找出当前对象相似的目标。

（7）基于司机状态识别的辅助驾驶方法研究

方法流程摘要

本系统对司机状态识别来达到辅助驾驶的功能，通过对司机状态进行拍摄监测，通过检测模型来得到司机实时的面部区域和手部区域，进而对面部区域进行关键点检测和对手部区域进行分心状态识别，从而对司机是否疲劳驾驶和分心驾驶作出判断，并对司机进行提醒预警，起到辅助驾驶的作用。共实现了对司机闭眼、打哈欠两种疲劳状态以及玩手机分心状态的监测，其中，对唇部打哈欠、眼部睁闭眼状态识别的准确率分别达到99.07%、94.6%。如下图为驾驶员驾驶状态监测系统流程示意图。

本系统通过对当前摄像头前人物的眼部特征进行监测、处理识别，可判断出其是否处于疲劳状态，演示效果如图所示，右上角概率设为非疲劳的预测值，当人物闭眼时，标记框为红色并报警，当人物睁眼时标记框为绿色，判断其为非疲劳状态。

方法优点

1) 在整个检测过程中，对面部和手部区域分别进行处理，当后续需要增加识别手部其他状态时，无需重新训练检测和面部关键点检测的模型，只需再次训练手部状态识别这一小部分模型，具有状态识别可扩展性。

2) 轻量化模型，整个系统在GTX 1080显卡下可达每秒22帧，满足将来在人工智能芯片上布控的速度要求。

3) 针对唇部状态的识别率达到了99%以上，眼部状态的识别率也高达94.6%

应用及成果

该算法可以较好地应用到司机辅助驾驶的功能使用中，来起到事故的主动防御作用，达到更安全的出行。

（8）多菜品识别系统

本系统实现基于视觉的自动菜品结算系统，通过对菜品种类及食材的识别，获取具体的摄入菜品种类和数量，实现营养成分的估计，提供了一种基于细粒度识别的菜品自动结算及饮食健康管理方法。实现了共计百种食物的识别。如下图为自动菜品结账系统系统流程示意图。

优点：

1) 检测和检测相结合，按照大类检测和细致类别检索相结合的识别，相对于现有人工智能的检测识别方法，具有速度优势并且具有识别类别扩展性。当识别的类别发生增补是无需重新训练模型。

2) 轻量化的模型，兼容国产人工智能处理芯片（海思，瑞芯微等），可达到实时处理的要求。

3) 200道菜的识别性能达到98%以上。

4) 开发的系统已经在微软亚洲研究院试点应用

钱学明、彭豪、侯兴松、邹屹洋、李纬.一种基于细粒度识别的菜品自动结算及饮食健康管理方法:(专利受理)

（9）单菜品属性识别系统

本系统通过计算机视觉技术提供了一种菜品食材等属性信息的识别方法。通过对菜品细粒度特征的识别，实现了百种预设菜品的主要食材、菜品口味特色、适宜人群推荐、相似菜品推荐、以及菜系、烹饪方式等属性信息的识别。如下图为自动菜品结账系统系统流程示意图。

优点

1) 细粒度识别与多标签学习相结合，优化多属性学习，标签不均衡问题，相对于现有人工智能的细粒度菜品识别方法，拓展了菜品的口味特色、菜系、烹饪方式等多属性信息，提高了识别精度。

2) 轻量化的模型，兼容国产人工智能处理芯片（海思，瑞芯微等），可达到实时处理的要求。

3) 百种菜品的识别精度达到现存方法中最高，属性识别精度达到95%以上。

4）应用及成果

本项目获微软亚洲研究院2019学术日Real World Scenario Award奖

（10）货柜商品识别系统

智能无人货柜得益于其体积小巧，售卖场景多样、用户购物交互体验强的优点，受到大众的欢迎。摈弃了现有基于计算机视觉技术的智能无人货柜识别商品类目少的缺点。本系统将计算机视觉的检测与检索技术相结合，共同实现了智能无人货柜的近百种商品识别系统。下图为本系统的实现流程示意图。

下图分别为真实场景智能货柜示意图，以及摄像头采集的商品图片示意图。

下图为货柜内摄像头采集的商品图片，以及其对应的识别结果。其中不同种类商品由不同颜色的检测框检出。

优点

1) 检测和检测相结合，按照大类检测和细致类别检索相结合的识别，相对于现有人工智能的检测识别方法，具有速度优势并且具有识别类别扩展性。当识别的类别发生增补是无需重新训练模型。

2) 轻量化的模型，兼容国产人工智能处理芯片（海思，瑞芯微等），可达到实时处理的要求。

3) 高识别性能100类典型的商品识别性能达到99.5%，能够对人为产生商品倾倒、损毁和杂物入侵具有实时报警。

4）应用及成果

开发的系统已经在山东新北洋信息技术股份有限公司测上线应用。

（11）基于手势识别对旋翼无人机智能控制

系统给出了一种通过识别人体手势来对无人机进行智能控制的方法；提出了一种基于轻量化卷积神经网络和多尺度检测算法实现操控人员的身份识别，以及操控人员手势识别。通过使用机载摄像头采集图像，并且对图像进行识别无人机操作者及操作者的手势来控制无人机，实现无人机上、下、前、后、左、右，停等多种飞行姿态的控制。下图是该方案的整体流程图。

优点：

1） 将轻量化网络和多尺度算法结合，对人体手势可以快速识别。在NVIDIA-TX2、树莓派等开发板可达实时效果。

2） 对行人检测准确率可达98%，对手势识别准确率可达96.97%。

3） 能有效地将人体手势动作与无人机飞控相结合，实现人与无人机良好的交互和协作，减少了传统无人机控制的复杂性。

（12）铁路沿线鸟巢检测、入侵检测

     火车作为当代人常用的交通工具之一，铁路是我们生命安全的保障。针对铁路沿线鸟巢造成的鸟害事件，我们提出了鸟巢检测方法，可以对铁路沿线的鸟巢进行准确分类和定位。针对在铁路附近大型机器施工现象，为避免造成铁路破坏，保障火车正常运行，我们提出了入侵检测算法，对铁路沿线出现的大型机器进行入侵警告。下面是具体方案流程图。

方法优点：

1） 将检测算法与attention机制相结合，针对铁路沿途出现的事件进行有效检测。

2） 将人工智能算法应用到铁路运行中，可以对铁路沿途出现的鸟巢事件和大型机器入侵事件进行警告，保证火车安全运行。

（13）高铁车厢内事件检测

     针对高铁车厢内出现的拿或放行李、送餐、推餐车、收垃圾等事件进行检测，并将不同类别人员的相关属性信息进行存储。根据放置行李这一事件，将行李架进行区域划分，并将乘客与行李之间根据区域id建立检索关系。通过这种检索关系可以判断是否存在错拿行李等异常事件发生，保障了乘客的物品安全。

下面是整体的流程图。

优点：

1） 将轻量化网络与多尺度检测算法结合，可以有效的对高铁车厢内出现的事件进行检测，其中检测的准确率达到94.75%。

2） 将人工智能算法应用到实际的场景之中，对乘客的行李物品提供了安全保障，而且对高铁管理人员提供了便利。

（14）超分辨率重建

数字图像在社会各个领域（包括工业、农业、医学、军事等）的应用越来越广泛。高分辨率图像在这些数字图像应用领域中能提供比低分辨率图像多的细节信息。在VR中，往往需要用计算机设备将同一场景的多幅图像融合在一起形成模拟复杂现实场景的图像。在医学影像中，结构清晰、细节信息丰富的高分辨率图像是关乎人们生命安全的重要元素。本课题组针对以上问题，通过对图像进行预处理、大量地模型训练和验证之后，提出了基于深度卷积神经网络的深度方法，并对此方法进行了优化。如图所示，此方法对于低分辨率图像进行超分辨率重建之后，对于细节信息比其他方法恢复得更加丰富。

(15)基于嵌入式硬件的SAR目标检测和识别

SAR目标检测在军事、民用领域有重大需求，无人机搭载的SAR图形对战场或者目标区域进行飞行成像，传统的方法需要后台人为在线干预，这样造成飞行速度慢，战场信息处理不及时的不足。而采用后台处理的方法，则离线，无法对实时的展开环境中的目标进行有效识别。无法得知目标类型（飞机、坦克、舰船、汽车等）、数量及分布信息。然而该任务难点是：数据量小、小目标、实时检测困难等。

本课题提供了一种基于嵌入式、轻量级深度网络的实时目标检测和分类方法

目标型号细粒度分类。相关的解决方案包括：小样本学习、数据增强、小目标检测、迁移学习等。

优点：在嵌入式硬件上可以达到实时处理的要求。