深度学习与机器视觉

机器人全景感知、目标识别、自主导航技术

核心技术:基于SURF特征的图像拼接技术、基于单应矩阵的双目视觉图像投影和拼接技术、基于机器学习的实时目标检测技术

突出亮点:机器人360°全景感知与目标识别 应用前景:具备全景感知和目标识别功能的球形机器人、六足机器人

静态与动态图像拼接360度全景感知
在移动过程中感知环境特征,并建立地图场景语义分割技术:感知像素在场景中的含义

 

基于多模态深度学习的步态识别及追踪技术、机器视觉辅助的多模态融合控制技术

核心技术:多模态深度学习的步态识别及追踪技术通过基于卷积神经网络的深度学习模型,对传统物理传感器和生物信号(脑电、肌电)等多模态传感器信息进行空间维度和时间维度的耦合特征提取,建立以人、外骨骼机器人相互协同的智能系统,实现从多模态传感训练信息到人体步态准确分类、追踪等运动意图分析的端到端输出。

突出亮点:机器视觉辅助的多模融合控制技术将机器视觉技术与传统的多模态信息分析技术相融合,通过深度摄像机等视觉信息采集设备充分挖掘周围环境对运动决策的内在影响,在人机交互智能系统的基础上引入视觉环境辅助,将人的智能判断与多模信息、视觉辅助的机器自主决策相融合,提升外骨骼机器人在因应不同环境时对人的判断决策进行辅助矫正的能力,实现外骨骼机器人全局、准确、高鲁棒性、高速、实时的人-机-环境融合控制。

研究工作