2023年6月20日上午午，信息与智能工程学院智能科学与技术专业教师肖衡副教授为智科专业与大数据专业的学生开展了一次以“基于多特征融合的遥感影像城市地物变化检测关键技术研究”为主题的专题讲座，讲座在书新四号楼4西308进行。
本次讲座，肖老师从遥感图像的获取开始，向同学们介绍了从各遥感数据平台如何下载图像，并介绍了如何利用深度学习强大的特征表达与信息挖掘能力地遥感图像进行处理识别。针对遥感图像中的典型地物目标：建筑、道路、植被、水体、背景等，肖老师介绍了基于多特征融合的语义分割方法，详细解说了她是如何利用特征融合方式解决卷积网络模型对遥感图像分割能力存在不足的问题，并向同学们展示了分割效果。
讲座从三个方面讲解了遥感图像的地物识别技术：
1. 多种特征融合方案
首先是特征融合模型设计。特征融合的深度学习模型采用U-Net网络为基本架构，同时将ResNet101作为编码器提取特征，从而替换掉U-Net网络采用的类VGG结构。将ResNet101的4步长和8步长特征图和解码端特征融合以利用多尺度特征来分类；在解码端使用大量卷积核，将输出特征图通道数设置为64，并使用逐步上采样的方法恢复到原图大小。
其次是上下文融合。高分辨率遥感图像中地面目标存在纵横比变化大、尺度范围广等各向异性分布特点，比如道路、低矮植被等目标通常为长程带状结构，汽车、树木等目标常为密集离散分布。肖老师介绍了如何采用一种可以融合各向异性上下文信息的深度网络模型，使用边界梯度卷积模块，增强目标边界信息，优化分割边缘。同时，通过多尺度并行空洞卷积模块和各向异性复合条状池化模块来提取多尺度的各向异性上下文信息，获得更具区别性的特征表示。
第三是多尺度空间融合。遥感图像的地物相对于日常图像而言，空间分辨相对较低，物体相对较小。使用过大的空间信息，不利于遥感图像的地物分割。可使用多尺度空间特征融合的方法来提高遥感图像语义分割的精度。首先通过在不同尺度上将图像邻域内的地物光谱信息、空间域信息和频率域结构特征提取出来，获得遥感图像不同的多尺度特征，再使用多特征融合的方式有效地提出到的图像信息进行互补，获得图像更加全面的特征描述。
第四特征选择性融合。对于遥感监测来说,对高分辨率高光谱图像解析是一项重要但具有挑战性的任务，需要同时考虑效率和准确性。由于特征提取网络在特征提取过程中不断对输入进行下采样来获得特征的高维表示，并且这方式可以使得输入分辨率降低，进一步提高特征提取效率，考虑到这一过程中会不可避免的造成空间信息丢失，肖老师介绍采用编码-解码结构。由于复杂场景解析通常需要融合不同层次或尺度的特征，采用一种特征选择融合模块，通过生成空间和通道上的相关权重图来自适应地融合这些特征。
最后，肖老师对机器视觉前景进行了展望，邀请同学们加入到她的研究课题中，一起学习图像视觉方面的知识，同时鼓励同学们选择自己喜爱的方向进行钻研，抓住机遇，成就更好的未来。
