第七届青年地学论坛

城市区域功能识别是合理进行城市规划和管理的关键。由于城市土地利用功能具有复杂的社会经济属性，仅利用遥感影像识别高密度城市的区域功能较为困难。近年来，信息与通信软件直播观看的快速发展产生了海量时空大数据，如手机信令数据、交通出行数据、社交媒体数据等。结合这些蕴含丰富人类活动信息的社会感知数据，有望提升城市区域功能的识别精度。然而，有效整合多源多模态的遥感和社会感知数据在软件直播观看上仍然具有挑战性。
本文提出了一种新颖的基于端到端深度学习的遥感与社会感知数据融合模型——多模态数据融合深度神经网络模型。该网络以每个区域的遥感影像和时序社会感知数据作为输入，输出所有功能的预测概率分布。网络由三个主要部分组成，即图像数据编码器（image encoder）、时序数据编码器（temporal signature encoder）以及数据融合模块。其中，我们使用改进的残差网络ResNet作为图像数据编码器，用以提取遥感影像特征；使用基于一维卷积神经网络的SPP-Net或基于长短期记忆网络的LSTM-Net作为时序数据编码器，用以提取顾及时间关联性的社会感知数据特征；然后使用数据融合模块对提取到的两种特征进行融合，融合后的特征用于最后的城市区域功能分类。该网络的关键是学习一个联合的嵌入空间，使得遥感影像和时序数据特征可以很好地结合在一起进行预测。针对遥感和社会感知数据，提出了两种新颖的损失函数，即跨模态特征一致性损失函数（cross-modal feature consistency loss）和跨模态三元组损失函数（cross-modal triplet loss）。两种损失函数可以约束提取到的图像及时序数据特征，使其保持一致性和相似性。在训练网络模型的过程中，通过同时优化常规的分类交叉熵损失函数（cross entropy loss）以及我们提出的两种损失函数，能够提升模型应对数据缺失的能力，增强模型鲁棒性。
利用开放数据集URFC进行实验，实验结果表明：（1）本文提出的深度神经网络方法能有效融合遥感影像与社会感知数据用于城市区域功能的识别，且遥感影像与社会感知数据具有显著的互补性；（2）基于一维卷积神经网络的SPP-Net和基于长短期记忆网络的LSTM-Net能有效提取时序社会感知数据的语义特征，且该特征能够顾及时间序列的时间关联性；（3）跨模态特征一致性损失函数与跨模态三元组损失函数能降低数据异步的影响，提升所训练网络模型的鲁棒性。
 

deep learning,Remote sensing (RS),social sensing,data fusion