News

Share to:
科研进展:博士生韩风《Advanced Photonics Nexus》发表压缩偏振光谱成像(SPI):最简单偏振调制+深度图像先验+稀疏先验算法(DIP-SP) 助力 压缩多维光学信息高质量编解码
Publisher: 穆廷魁 | 2023-05-08 | 15151

近日,来自西安交通大学物理学院空间光学研究所的团队提出了仅用单个固定多级延迟器进行偏振光谱强度调制的思路,并提出种将基于稀疏先验(Sparsity prior, SP)的物理模型驱动与基于未训练神经网络的深度图像先验(Deep image priorDIP)相结合的先进重建方法DIP-SP,为系统简化和偏振光谱信息精确重建提供了一种有效的解决方案。相关成果以Deep image prior plus sparsity prior: toward single-shot full-Stokes spectropolarimetric imaging with a multiple-order retarder为题发表于Advanced Photonics Nexus, Vol. 2, Issue 3, 036009 (May 2023). 
 

文章链接1:  https://doi.org/10.1117/1.APN.2.3.036009

文章链接2:  https://www.researching.cn/articles/OJ13c1a04f97067150

SPIE 亮点报道链接: https://spie.org/news/spectropolarimetric-imaging-a-magical-way-to-get-multidimensional-information

APN亮点报道链接:https://www.researching.cn/APN/journalnewsdetails/3070a465-8ee8-48e6-b289-194901d9da05?type=recommendation

中国激光杂志社微信公众号推送链接https://mp.weixin.qq.com/s/odKLCoLA-SLq3JfMNlJu4w
 

 

 

背景介绍

光和视觉是人们感知世界的重要方式,眼睛所捕看到的鲜艳色彩,让人们对周围环境有了丰富的认识。但是,人类的视觉系统并不能完全认清光的本质,光所包含的光谱、偏振等信息无法被人眼直接感知,而这些信息却能于揭示物质的物理化学属性,是人们认知世界的重要载体。

Stokes偏振光谱成像(SpectroPolarimetric Imaging, SPI)是一种可同时获取目标场景四维Stokes参数(S0, S1, S2, S3)对应的三维数据立方体(二维空间(x, y)、一维光谱(λ))的多维光信息一体化获取体制。为了满足奈奎斯特-香农采样理论,现有的偏振光谱成像大多采用扫描机制,或在光谱域、或在空间域、或在偏振域、又或在组合域进行扫描,这样就无法通过单次曝光获取上述全部信息,难以适用于高动态场景或搭载于高机动平台进行工作。

光谱强度调制模块融合单曝光快照式光谱成像系统可以形成一种实时SPI体制,具有多维光信息一体化实时获取优势。其中,光谱强度调制模块负责把二维空间各目标元在每个波段上的四维Stokes参数信息压缩到各像元的一维强度,再通过解调算法从记录的压缩光谱强度中解调出每个Stokes参数的光谱图像立方体。

但是,现有的光谱强度调制模块相对较复杂,多采用两个固定的多级延迟器进行调制,易引入系统误差和延迟失配等后续补偿问题;现有的偏振光谱解调算法多以模型驱动为主,抗噪能力弱,易造成复原Stokes光谱出现畸变。近年来,以海量数据为基础的深度学习算法在成像领域大展拳脚,出现了基于深度学习的偏振光谱重建方法,虽然重建深度高效,但是收集大量标记的数据集是极具挑战性的,且训练数据和训练网络通常是特定系统的,很难在其它SPI系统上扩展。综合而言,模型驱动的重建方法仍需要不断发展,以将其重建结果作为数据标记的金标准,不断促进深度学习的发展。

 

工作原理

如图1(a)所示,将单个多级延迟器加水平线偏振片的光谱强度调制模块集成到通用成像光谱仪中构建SPI系统。SPI的采样机制主要由两个步骤组成。首先,通过调制模块对四个斯托克斯参数(S0, S1, S2, S3)中的每一个的空间-光谱分布的3D数据立方体(x, y, λ)进行压缩编码,编码的数据立方体被通用成像光谱仪进行记录后用于随后的重建。图1(b)记录了SPI的前向成像模型,未经训练的神经网络与物理上不同的前向成像模型配对,通过比较实验测量值和通过前向成像模式的网络输出生成的测量值的损失函数来更新网络权重,通过不断迭代优化计算出全斯托克斯光谱图像。然而,研究人员也发现,这种原始的DIP方法的反演结果往往被困在伪解中,生成的偏振图像都会显示出类似的细节,这是由于SPI的成像模型具有不适定的特性。随后,研究人员针对该问题引入了稀疏先验SP,如图1(c)所示,使得二维场景的斯托克斯参数可以在适当的基础上稀疏表示。在此基础上,让网络在每次重建前更新测量矩阵M(k),有效地减少了由于偏振定标不精确所引入的误差。

1aSPI成像的模式示意,(bSPI成像的前向物理模型,(c)斯托克斯参数的稀疏先验SP,(d)基于未训练网络的深度图像先验DIP,(e 重建方法比较:基于稀疏先验SP的一般压缩感知方法存在多解,仅基于DIP的方法无法收敛,同时基于稀疏先验SP深度图像先验DIPDIP-SP方法性能最佳。

 

技术验证

研究人员首先对DIP-SP进行了仿真验证,得到图2所示不同噪声水平下550nm光谱带处斯托克斯参数(S0, S1, S2, S3)的重建图像。相比较于TwIST等压缩感知重建算法,DIP-SP具有最高的重建精度和更强的抗噪声能力,即使在高噪声水平下依然实现了高质量的重建。此外研究人员提取了图2中红色区域所有偏振参数的重建平均光谱曲线,结果如图3所示。TwIST-TVDIP方法在任何噪声水平下几乎都是无效的。而TwIST-SP的偏振光谱曲线仅在低噪声水平下接近真实值,但是存在明显的光谱畸变。DIP-SP具有最佳的结果,重建的斯托克斯参数的平均绝对误差在低噪声水平下为3×10-4,在高噪声水平下为6×10-4

2 在两个噪声水平(σ=0.05σ=0.2)下,不同算法(TwIST-TVTwIST-SPDIPDIP-SP)在550nm光谱带上重建的全斯托克斯参数(S0, S1, S2, S3)图像的模拟结果。

 

 

3 5×5像素的均匀区域上的平均偏振光谱曲线和误差曲线的模拟结果(TwIST-TV:绿色虚线,TwIST-SP:蓝色虚线,DIP:紫色虚线,DIP-SP:红星标记虚线,真实值:黑色实线)。左列对应斯托克斯参数(S0S1/S0S2/S0S3/S0)结果,右列对应偏振角AOP、线偏振度DOLP、圆偏振度DOCP、偏振度DOP结果。

 

研究人员随后在实验室利用自主研发的微型快照式SPI系统(snapshot miniature optically replicating and remapping imaging spectropolarimeter, MINI-ORRISp),如图4所示,对DIP-SP进行了实验验证,得到图5所示不同积分时间550 nmStokes参数(S0, S1, S2, S3)的重建图像,其中abc三个区域平均的偏振光谱曲线如图6所示。可见,两种重建方法在长曝光时间下的重建质量都比在短曝光时间下要好,但是DIP-SP方法都获得了最好的结果,并且对噪声扰动具有很强的鲁棒性。TwIST-SP方法的结果只有在长曝光时间下可以勉强接受,而且对噪声扰动非常敏感。

4 基于单个多级延迟器的微型快照式SPI系统(snapshot miniature optically replicating and remapping imaging spectropolarimeter, MINI-ORRISp

 

5 实验室场景实验。实验装置(左上)和覆盖有不同偏振片的标准色卡作为测试场景(右上);a:红色正方形标记区域是线偏振片,b:黄色正方形标记区域为左圆偏振片;c:蓝色正方形标记区域则是线偏转片。下部是分别在60ms150ms的两个曝光时间下,从TwIST-SPDIP-SP方法重建550nm斯托克斯参数(S0, S1, S2, S3)图像。

 

6 在图5中三个选定区域的偏振光谱曲线(S0S1/S0S2/S0S3/S0)。(a)红色正方形标记区域,(b)黄色正方形标记区域,(c)蓝色正方形标记区域。TwIST-SP:蓝色虚线,DIP-SP:红星标记虚线,真实值:黑色实线。

 

7 户外场景实验,分别在480nm550nm600nm700nm四个波带上的S0CIE伪彩色图像和(S1/S0S2/S0S3/S0)灰度图像。真值偏振图由550nm偏振相机采集。给出了车辆天窗上所选点的偏振光谱曲线(S0S1/S0S2/S0S3/S0),其中S0光谱真值由光纤光谱仪采集。

 

以上仿真和实验室结果已经验证了DIP-SP方法的重建精度和性能,为了演示对室外现实场景的实际重建能力,研究人员使用MINI-ORRISp进行了户外场景捕获实验,部分波段下的偏振图像的重建结果如图7所示,同样TwIST-SP方法由于噪声干扰导致重建场景非常模糊,DIP-SP在所有光谱带中具有最佳的重建质量。

 

总结与展望

DIP-SP方法将深度图像先验和稀疏先验巧妙结合,从压缩偏振光谱强度中提取偏振、光谱、空间的高维信息,具有诸多优势。首先,它使单个多级延迟器加水平线偏振片的光谱强度调制方案的编码和解码变得可行。其次,它不需要额外的数据集进行训练,对不同场景均具有潜在应用能力。第三,DIP-SP消除了一般压缩重建方法中需要人工调节的正则化参数。第四,由于优化过程中采用了前向物理成像模型,因此神经网络的输出受到物理约束,是可解释的。最后,该算法不需要精确地校准测量矩阵,仅需要粗略的初步偏振定标就可以自适应迭代定标。在噪声水平不高的情况下,理论值或附近值即可用作初始值。总之,DIP-SP为重建经过编码的偏振光谱信息提供了一种强大的解码工具,并且可以拓展应用到基于两个多级延迟器的偏振光谱成像技术中。此外,DIP-SP的优势还有助于促进基硅光子电路或超表面芯片等技术实现片上集成SPI系统的发展。