高精度参数化卷积方法及其应用

1）高精度参数化卷积设计

    深度网络结构最成功的设计之一在于卷积算子的引入。其精确刻画并有效利用了数据的平移不变性特征，实现了参数的高效共享，从而在保证表达能力的前提下降低了网络冗余度，有效减少了网络的参数容量。

    然而，现阶段的卷积算子仅能精确刻画平移不变性特征，仍无法精确刻画图像数据的旋转不变性，尺度不变性，镜像不变性等常见特征，更无法灵活地进行函数变换以对卷积网络进行动态调整。这一问题归根结底是因为当下常用的卷积核是离散数组形式的，无法进行灵活的函数变换。一个自然的解决方案是改用参数化（连续化）形式的卷积核，利用连续函数灵活的可操作性解决这一问题。如下图的卷积核旋转实例所示，当我们得到拟合离散卷积核的连续二维函数后，卷积核的函数变换将变得容易：

   当前参数化卷积的学习主要通过如下的基底函数线性表示的形式，

    因此，基底函数的设计与选择十分重要，将极大影响参数化表示的精度。目前，在前人的工作中尚不存在精度达到底层视觉任务需求的卷积核参数化方法，导致参数化卷积这一工具无法在图像处理等一大类任务中应用。针对这一问题，我们改进了傅里叶基底，在不影响其无损精底表示能力的前提下，克服了它低化能力的问题，从而设计了高清度的参数化卷积方法，并通过实验验证所提参数化方法相比于前人方法，表示精度更高，达到底层视觉会任需求。

这一方法为高精度的旋转等变卷积、尺度等变卷积、可函数变换卷积等方法奠定了基础。

    更多方法细节请参见我们的论文[1]。

    代码链接：https://github.com/XieQi2015/F-Conv

2）应用于旋转等变卷积方法设计

    旋转等变卷积方法是近年来兴起的新型卷积方法，它将传统卷积关于平移变换等变的特性进一步推广到旋转等变。相比传统卷积，等变卷积方法已在一些领域上展示出了显著的优势以及十分可观的发展潜力。参数化卷积核的构造是等变卷积方法的核心，基于上述高精度参数化卷积方法，我们构造高精度参数化卷积方法，其架构如下图所示：

    类比传统卷积层通过卷积核窗口滑动方式刻画图像局部特征的平移等变性，相比与全连接层实现了更高效的参数共享与更高的性能，所提等变卷积层通过卷积核旋转共享参数的方式进一步刻画了图像局部特征的旋转等变性，也实现了更高效的参数共享。

    对于一大类图像处理任务，可以在不改变网络结构仅将卷积层替换为所提卷积层的方式，用更低参数量（约1/4）、相同计算内存、相同推理时间实现性能提升。下面展示在相同网络结构下，随机初始化（未经训练）的传统卷积与所提卷积输出的特征图对比：

可以看出，特征提取的过程已经发生质量，更符合实际规律。同时， 如下所示，输入特征在网络输入的旋转变换也，也显然更加稳定：

CNN结果：                                                       

所提方法结果：

    更多方法细节请参见我们的论文[1]与[2]。

    代码链接1：https://github.com/XieQi2015/F-Conv

    代码链接2：https://github.com/jiahong-fu/Equivariant-Proximal-Operator

3）应用于数据建模：角度共享稀疏卷积稀疏编码模型

    在CT去金属伪影任务中，金属伪影往往具有明显的线性性，适合用卷积稀疏编码模型进行建模，我们的前期工作验证了，基于卷积稀疏编码的伪影建模及其对应的模型驱动深度网络能够有效提升任务的性能。然面，如下图所示

    由于CT的扫描过程是360度等变的，因此金属不同角度下的伪影应共享相同的模式。因为传统的卷积核无法自由旋转，这种模式共享特征无法使用传统的卷积稀疏编码模型进行建模。

    针对这一问题，我们利用了所提参数化卷积方法可旋转特性，构造了全新的角度共享稀疏卷积稀疏编码模型，仅需相对前期工作进行伪影模型的替换和极少量的网络改进，即能有效进一步提升任务性能。

    详见论文[4]与[5]。

    代码链接：https://github.com/hongwang01/OSCNet

4）应用于动态网络设计：可解释雨生成网络

参考论文：

[1] Xie Qi, Zhao Qian, Xu Zongben, Meng Deyu. Fourier Series Expansion Based Filter Parametrization for Equivariant Convolutions. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). 2023. 

[2] Jiahong Fu, Xie Qi*, Meng Deyu, Xu Zongben. Fourier Series Expansion Based Filter Parametrization for Equivariant Convolutions. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). 2024. (应用到Unfolding网络，理论进一步完善)

[3] Wang Hong, Xie Qi*, Li Yuexiang, et al. Orientation-Shared Convolution Representation for CT Metal Artifact Learning[C]. MICCAI, 2022

[4] Wang Hong, Xie Qi, Zeng Dong, et al. OSCNet: Orientation-Shared Convolutional Network for CT Metal Artifact Learning[J]. IEEE Transactions on Medical Imaging, 2023.