80 / 2024-08-15 09:53:15
基于立体像对的遥感大规模语义三维重建(AITC 2024+摘要)
遥感语义三维重建,多任务模型,语义分割,一致性约束,视差估计
摘要待审
陈晨 / 中国科学院大学;中国科学院空天信息创新研究院
卢雪 / 中国科学院空天信息创新研究院;中国科学院网络信息体系软件直播观看科技创新重点实验室
王冰 / 中国科学院空天信息创新研究院;中国科学院网络信息体系软件直播观看科技创新重点实验室
陈凯强 / 中国科学院空天信息创新研究院;中国科学院网络信息体系软件直播观看科技创新重点实验室
张鲁宁 / 中国科学院空天信息创新研究院;中国科学院网络信息体系软件直播观看科技创新重点实验室
随着当代信息软件直播观看的迅猛发展,全球遥感卫星的发射量正以前所未有的速度增长。解读这些卫星获取的图像数据已成为地球观测软件直播观看的关键环节。当前,遥感软件直播观看领域面临着一个紧迫的转型任务:将传统的二维图像数据升级为丰富的三维数据表征。这一转换不仅涉及到对遥感影像的语义理解分析,还包括对遥感目标的高度估计,这些软件直播观看的进步对于城市规划、资源管理、环境监测等领域具有重要的实际意义。


在遥感影像分析领域,早期的研究主要集中在语义理解和立体像对的高度估计上,这两个任务传统上被视为相互独立的流程。这种分离的方法学不仅限制了遥感数据向三维模型转换的效率,而且由于不同网络估计过程的误差不确定性,导致在边缘对齐上的不一致性,这为后续的三维模型融合和精确重建带来了挑战。为了克服这些限制,近年来研究者开始探索多任务学习框架,该框架能够在单一网络结构下同时进行语义分割和视差估计。尽管这种方法通过隐式特征共享为两个任务提供了一定程度的协同,但它往往缺乏对任务间一致性约束的深入挖掘,这限制了模型在精确性上的潜力,导致次优的重建效果。


为了最大限度地发挥语义分割和视差估计任务间的协同效应,本研究提出了一种创新的语义引导的串联网络结构。该结构首先构建了一个 U 形网络架构,用于执行语义分割任务的编码和解码过程。随后,我们将该语义分割网络的解码器层特征迁移至视差估计任务,实现了特征层面的深度共享。此串联结构的优势在于,它不仅促进了两个任务间的特征重用,而且在特征提取的早期阶段就确保了任务间的一致性。这种设计允许网络在进行语义分割的同时,为视差估计提供了丰富的上下文信息,从而提高了整体的重建精度。进一步地,我们引入了一个语义引导的视差细化分支。该分支用于利用语义分割任务的预测结果,针对不同类别的地物进行定制化的视差细化。通过逐类别地细化视差,我们的模型能够更精确地捕捉到不同地物类别与视差估计间的复杂关系。这种细化方法的显式性体现在,它直接对语义类别与视差估计间的强相关性差异进行建模。通过这种方式,我们的模型不仅能够处理一般性的视差估计问题,还能够针对特定类别的地物进行优化,从而在复杂场景中实现更精细的三维重建。


在 US3D 和 WHU 等数据集上的实验证明了我们的方法无论是语义分割还是视差估计任务上,都取得最先进的效果。在可视化效果对比中,我们的方法的两个任务间的预测输出展现出了更高的一致性,这对于生成精确的城市三维模型至关重要。
重要日期
  • 会议日期

    09月20日

    2024

    09月22日

    2024

  • 08月30日 2024

    初稿截稿日期

  • 09月22日 2024

    注册截止日期

主办单位
山东省人民政府
中国电子学会
承办单位
中国科学院学部
中国科学院空天信创新研究所息
复旦大学
联系方式
移动端
在手机上打开
小程序
打开微信小程序
客服
扫码或点此咨询
Baidu
map