中国公路学报

作者：徐文远, 李帅, 纪泳丞, 李国东, 李响, 崔创

单位：东北林业大学　黑龙江省道路结构与绿色生态技术重点实验室，黑龙江　哈尔滨　150040

关键词：路面工程,红外与可见光融合,多尺度特征融合,RTFormer,Transformer,微观裂缝

<p>针对道路维护中裂缝误检、漏检的关键问题，提出了一种融合红外与可见光图像的道路裂缝检测新模型—RTFormerF10。首先，采用FLIR ONE&reg; Pro和HIKMICRO K20这2款红外相机获取沥青路面的裂缝红外与可见光双模态数据，制作3 794张有效图像样本库。然后，基于RTFormer-slim模型网络结构引入红外图像分支，并首次通过加深网络层次和集成基于注意力机制的特征融合模块（IFF），IFF模块通过注意力机制对可见光和红外图像的特征进行增强，采用加法操作（Add）将2种模态的增强特征融合，同时设计的DDAPPM模块通过增强原有的金字塔池化操作，利用密集连接方式进行多尺度特征融合，提升模型在图像分割任务中的上下文信息提取能力。最后，应用知识蒸馏技术优化模型尺寸和计算效率，有效适应实际应用中资源受限的部署环境。相比于传统模型，如U-Net、DeepLabV3+、HRNet和PSPNet，以及迭代前的RTFormer系列，试验结果证明：RTFormerF10在交并比（IoU）和<i>F</i>₁分数方面，相较于RTFormer-slim分别提高了13.09%（红外）、1.01%（可见光）和28.78%（红外）、0.7%（可见光），同时均优于大部分主流语义分割算法。RTFormerF10的参数量为8.62&times;10⁶，FPS为11.24帧&middot;s^-1，强化了在不同环境下的泛化能力，推动了多模态融合在图像分割技术以及实际应用中的发展。</p>

来源：2025年第4期

《中国公路学报》期刊编辑部

查看中国公路学报杂志2025年第4期