当前位置: 主页 > 社区 >
卫星图片重建洛杉矶 3D 模型效果就像谷歌地球港中大团队提出 Cit
发布日期:2022-01-02 15:41   来源:未知   阅读:

  看到下面这张动图,你会想到什么?是谷歌地球,还是苹果自带的 3D 地图?

  很难想象,如此精细的城市 3D 模型,竟然是用几张不同角度和高度的 2D 图片重建的。

  说到这里,有人应该想到了这两年大热的 神经辐射场 (NeRF),它可以用多张角度照片重建 3D 对象,性能出色。

  首先是拍摄相机有很大的运动自由度。随着相机的上升,场景中的地物外观越来越粗糙,几何细节越来越少,纹理分辨率越来越低。

  作者根据相机距离将整个训练数据集划分为预定义数量的尺度。从最远的尺度开始,每个训练阶段逐渐将训练集扩大一个更近的尺度,并同步增长模型。

  通过这种方式,CityNeRF 可以稳健地学习跨场景所有尺度的表示层次结构。

  在每个训练阶段附加一个额外的块来扩展模型。每个块都有自己的输出 head,用于预测连续阶段之间的颜色和密度残差,促使块在近距离观察中关注新兴细节;

  换句话说,最后一个块接受所有训练图像的监督,而最早的块只暴露于最粗尺度的图像。通过这样的设计,每个块模块都能够充分利用其能力,在更近的视图中对复杂的细节进行建模,并保证尺度之间一致的渲染质量。

  该策略有效地激活了位置编码中的高频通道,并随着训练的进行展开更复杂的细节。

  简而言之,使用基本神经网络多层感知器的权重,NeRF 将提前处理所有图像,知道其观点位置。NeRF 将使用相机的光线找到每个像素的颜色和密度。

  因此,它知道相机的方向,并可以同时使用所有数组来了解深度和相应的颜色。然后,使用损失函数优化了神经网络的收敛性,

  模型训练数据数据来自 Google Earth Studio 中的 12 个城市图像。结果显示在几种常见重建模型中达到了最佳的效果。

  本篇论文的两位一作是来自香港中文大学 MMLab 的两位博士生相里元博和徐霖宁。前者曾有一篇论文被 ICLR 2020 收录,后者有多篇论文被 CVPR、ICCV 等顶会收录。今年前10月全国电动车致火灾14万余起 致41死1荧光夜跑献爱山科