科研学术

分享到微信 ×
打开微信“扫一扫”
即可将网页分享至朋友圈
数学学院本科生在计算机视觉领域顶级会议CVPR发表文章
文:赵熙乐 图:赵熙乐 来源:数学学院 时间:2022-06-01 4898

  近日,电子科技大学数学科学学院2018级本科生罗倚斯的文章“HLRTF: Hierarchical Low-Rank Tensor Factorization for Inverse Problems in Multi-Dimensional Imaging”被计算机视觉领域国际顶级会议IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR, 中国计算机协会 A 类会议,2021年Google学术期刊和会议影响力排名总榜第四)接收发表。数学科学学院本科生罗倚斯为论文第一作者,电子科技大学张量建模与计算团队赵熙乐教授为通讯作者,合作作者为西安交通大学孟德宇教授和西南财经大学蒋太翔教授。

图片1.png

  图1 相较于固定的线性变换DFT和DCT,本文的多层非线性变换DNN可以更加灵活地获得更好的低秩表示,从而大幅度提升高维图像填充的性能。

  高维图像反问题,如图像填充、图像去噪和压缩感知,是底层计算机视觉中的前沿基础科学问题之一。这些高维图像反问题由于数据量大和问题的内在不适定性具有很强的挑战性。最近,基于张量奇异值分解(t-SVD)的方法在高维图像反问题提中得到了成功的应用。t-SVD是利用一个线性变换如离散傅里叶变换或离散余弦变换来定义的。然而,简单的线性变换可能难以刻画高维图像数据的复杂低维结构。因此,该研究工作首次提出了一种基于多层非线性变换的低秩张量分解(HLRTF)。这里的多层非线性变换可以解释为一个神经网络,并且这个神经网络仅需使用观测数据无监督学得。相较于传统的线性变换,本研究中的多层非线性变换可以获得一个更好的低秩表示,从而大幅度提升高维图像恢复的性能(见图1)。为了解决优化过程中的梯度消失问题,本研究进一步提出一种参数全变分正则项方法。在大量高维图像数据 (包括高光谱图像、多光谱图像和视频) 上的广泛实验(包括图像填充、图像去噪和压缩感知)表明HRLTF方法在视觉质量和定量评价指标等方面均优于当前最先进方法;部分结果如图2所示。匿名审稿人高度评价研究工作为“Fusion of the conventional tensor factorization with the neural network is quite interesting(融合传统张量分解和神经网络非常有趣)”。 

图片2.png

  图2 不同方法的压缩感知还原结果。 (1)-(4)为基于模型的方法,(5)-(7)为基于深度学习的方法,HLRTF 为本文方法

  罗倚斯同学于2019年加入黄廷祝教授带领的张量建模与计算团队,在赵熙乐教授指导下进行基于数学方法和深度学习方法的高维图像复原问题研究。该团队近年来在高水平学术期刊和会议上发表文章,如应用数学权威SIAM系列期刊(SIIMS和SISC)和图像处理权威IEEE系列期刊(TIP、TNNLS、TCYB、TCI和TGRS)及人工智能权威会议CVPR和AAAI等。团队科研育人氛围浓厚,近年来赵熙乐老师已指导多名学院本科生以第一作者身份发表高水平学术会议和期刊文章,如CVPR、IEEE TIP、IEEE TGRS、IEEE SPL、KBS和IEEE JSTARS等,获四川省第十五届挑战杯二等奖、首届新工科教育课外创新实践成果展优秀学术论文、校级优秀毕业论文。


编辑:赵海玲  / 审核:林坤  / 发布:陈伟