近日,光电科学与工程学院蒋亚东团队吕坚课题组在智能图像处理与红外目标感知方向取得系列研究进展,围绕复杂场景图像拼接中的几何一致性与接缝重建,以及复杂背景下红外弱小目标低虚警检测等问题提出新方法,相关成果分别发表于国际学术期刊《Pattern Recognition》和《Knowledge-Based Systems》。
图1 所提方法框架图
课题组在学术期刊《Pattern Recognition》发表了题为“Spatially guided end-to-end image stitching with learnable boundaryconstraints”的研究成果。电子科技大学为第一完成单位,光电科学与工程学院博士生车凯为论文第一作者,吕坚为通讯作者。
图像拼接是虚拟现实、无人机遥感与测绘、自动驾驶宽视场感知以及文化遗产数字化等应用的重要基础技术。复杂户外场景中常伴随视差、纹理不连续和光照变化,尤其在重叠区域与非重叠区域的交界位置,容易出现局部几何畸变、结构不连续和明显接缝。现有深度学习拼接方法往往缺少对边界几何关系的显式约束,重建阶段也缺乏稳定的全局空间先验,同时配准与重建通常采用相对独立的优化方式,限制了复杂场景下的整体拼接质量。
针对上述问题,课题组提出空间引导端到端图像拼接网络SGEISN,将边界感知的几何配准与空间先验引导的图像重建统一到同一端到端优化框架中。其中,可学习边界引导配准模块(LBGA)联合估计全局单应变换与薄板样条(TPS)非刚性变换,并通过边界控制点上的可学习约束增强重叠边界附近的几何一致性;傅里叶编码引导重建模块(FEGR)将多尺度傅里叶位置编码注入融合掩膜生成过程,为接缝重建提供全局空间先验;同时,统一训练策略根据配准与重建阶段的优化状态动态调整损失权重,实现两个阶段之间的双向反馈与协同优化。
在公开UDIS数据集和课题组自建数据集上的实验表明,该方法能够更好地保持场景结构与边界连续性,并显著减弱接缝和重影伪影。在自建数据集上,方法在SIQE、SSIM、EN、MI、VIF、LSE、SVS等多项评价指标上取得最优结果,主观用户评价也表现出更高的视觉偏好。此外,模型在NVIDIA Jetson Orin平台上以512×512分辨率推理时平均耗时约29.95 ms/帧,展示了面向边缘视觉设备的实时部署潜力。
课题组近期还在学术期刊《Knowledge-Based Systems》发表了题为“STIFNet: A Scale-GuidedSparse Target Interaction and Context Feedback Network for infraredsmall-target detection”的研究成果。电子科技大学为第一完成单位,光电科学与工程学院硕士研究生项高鹏为论文第一作者,阙隆成为通讯作者。
图2 所提方法的动机图及框架图
红外小目标检测是红外搜索与跟踪、空海预警和遥感监视等系统中的关键技术。实际场景中的红外小目标往往只占少量像素,响应微弱、纹理和形状信息有限,并容易与云层边缘、海天线、建筑轮廓以及点状高亮噪声等目标相似背景混淆。现有CNN和Transformer方法通常通过密集跨层融合和全局上下文建模增强目标表征,但当大量背景空间标记同时参与跨尺度更新时,数量占优的背景信息容易稀释弱目标证据,并反复强化杂波响应,从而增加虚警。
针对这一问题,课题组提出尺度引导稀疏目标交互与上下文反馈网络STIFNet,将传统密集跨尺度融合重构为“选择性交互—空间反馈”的信息流。核心的双稀疏跨尺度交互模块(DSCI)同时约束跨尺度更新的接收端和信息提供端:一方面选择需要获得额外跨尺度增量的查询位置,另一方面选择用于提供上下文信息的多尺度键值标记,从而减少冗余背景参与;空间上下文反馈模块(SCF)在稀疏交互后重新整合局部空间证据,缓解弱目标响应的碎片化;尺度引导估计器(SGE)则为不同尺度的候选预算和反馈门控提供共享的尺度先验,使三个模块在统一框架下协同工作。
在NUAA-SIRST、NUDT-SIRST和IRSTD-1K三个公开红外小目标数据集上,STIFNet的IoU分别达到79.35%、94.11%和69.94%,虚警率分别为6.31、3.08和9.65(×10⁻⁶),同时保持有竞争力的目标检测率。定量比较、ROC曲线、显著响应可视化以及消融实验进一步表明,通过限制跨尺度交互参与者,可以在不预先作出目标/背景硬判决的情况下有效增强弱目标信息并抑制复杂背景虚警,为低虚警红外小目标检测提供了新的技术思路。
两项研究分别从“复杂场景下的几何一致性与接缝重建”和“极稀疏弱目标的可靠信息交互与低虚警检测”两个方面开展方法创新,进一步拓展了团队在智能图像处理、红外成像感知与边缘智能方向的研究基础。
论文链接:https://doi.org/10.1016/j.patcog.2026.114095
论文链接:https://doi.org/10.1016/j.knosys.2026.116898