淹没深度（最高水位）和泥石流引起的地形变形的信息对于洪水和泥石流应急响应（包括救援和救济活动）至关重要。日本东京大学Naoto Yokoya等学者通过集成深度学习和数值模拟，提出一种基于Attention U-Net和LinkNet架构的回归模型，可从遥感图像中估算淹没深度（最大水位）和泥石流引起的地形变形，合成了包括最大水位、地形变形和二值变化图在内的各种人工灾害场景的训练数据。该框架具备修复功能，从而减轻遥感图像分析中不可避免的误报。另外，该框架突破了遥感的限制，使得快速估算淹没深度和地形变形成为可能。

研究方法

为了突破当前遥感方法的限制，该研究结合了数值模拟和深度学习两项技术。前者可以生成大量用于训练的合成数据，后者能够从大量训练数据中解决复杂的逆问题。所提出的方法包括四个模块（图）：1) 图像分析，用于从双时相遥感数据中检测变化；2) 洪水和泥石流的模拟，用于合成目标变量（即最大水位和地形变形）的训练数据；3) 变化信息的二值化，以链接数值模拟和遥感（或合成数据与真实数据）；4) 基于卷积神经网络（CNN）从二值变化图和数字高程模型（DEM）回归目标变量。第二和第三模块分别为各种洪水和泥石流的人工场景演绎创建训练样本的输出和输入。第四模块通过学习一个非线性映射，从二值变化信息和DEM推断最大水位和地形变形，从而解决逆问题。在实际场景中，第一模块的结果在第四模块的推断阶段用作输入。

实验重点分析了两次灾害事件引起的洪水和泥石流：1）2017年7月日本九州北部的暴雨；2）2018年7月日本西部暴雨。图4显示了这两个事件的研究场景。通过使用合成和真实数据进行实验，定量和定性地评估了所提出的基于CNN的方法——Attention U-Net、LinkNet以及融合方法的性能。使用三个指标进行定量评估：1）均方根误差（RMSE）；2） 并集上的交集（IoU）；以及3）对数缩放直方图交集（LSHI）。

RMSE使用最大水位和地形变形的参考模拟来评估通过所提出的方法获得的预测的像素精度，在合成和真实数据实验中都使用RMSE。为了评估检测受影响区域的准确性，通过最大水位和地形变形的简单阈值处理获得二进制变化图，通过视觉解释获得的洪水和泥石流范围图的参考图，对比二者来计算IoU，仅用于具有视觉解释结果的真实数据的实验中。对于RMSE和LSHI的比较，基线是每组参数的所有模拟结果的平均值，可以视为蒙特卡洛模拟的目标变量的期望值。采用LSHI来测量洪水和泥石流的总体规模的准确性。在合成和实际数据实验中都计算了LSHI。与RMSE一样，使用日本西部2018数据的激光雷达衍生参考计算地形变形的LSHI（真实）。

在合成数据实验中，评估了回归模型对未知数据的泛化能力，将模拟案例分为训练集和测试集：1）北九州2017年事件，使用40个案例进行培训，20个案例进行测试；1750个具有非重叠采样的补丁用于训练。2）日本西部2018事件，使用70个案例进行培训，30个案例进行测试；3010个具有非重叠采样的贴片用于训练。将训练数据的平均模拟与基线进行比较。1）定量结果。表1显示了基于U-Net、LinkNet及其融合的回归模型计算的最大水位和地形变形的估计精度。对于两个数据集，所有模型都优于RMSE中的平均模拟，表明网络成功地学习了关于不同二进制变化图的非线性映射，而不是输出训练数据的简单平均值。在不同的基于CNN的回归模型中，融合方法在两个数据集的RMSE中都表现出最好的性能。U-Net在两个数据集的两个目标变量上都优于LinkNet，因此，模型融合对改进LSHI没有帮助。2）定性结果。显示了输入的二进制变化图、平均模拟、模型融合结果以及用作最大水位和地形变形地面实况的参考模拟的四个示例块。表明，所提出的融合方法可以估计二进制变化图缺失部分中的目标变量。

在真实数据实验中，使用了所有合成数据进行训练，并将遥感衍生的变化检测图作为推断的输入。再次采用训练数据的平均模拟作为模拟结果的基准。此外，遥感衍生的变化检测图被视为遥感结果的基准。1) 定量结果。总结了真实数据实验的定量评估结果。在北九州2017数据集的所有评估指标以及基于西日本2018数据集的IoU、RMSE（真实）和LSHI（真实）等基于真实参考数据的指标中，显示出最佳准确性。在西日本2018实验中，IoU分数与遥感图像分析的变化检测相当。由于参考模拟的不准确性，在西日本2018实验中，RMSE和LSHI的结果必须谨慎解释。2) 定性结果。显示了北九州2017实验的视觉结果。所提出的融合方法的结果比平均模拟实现了更准确的估计，这与定量评估结果一致。融合方法成功地检测到了沿河的淹没区域，而这些区域无法通过简单的遥感图像分析进行检测。显示了西日本2018实验的地形变形估计的视觉结果，最接近激光雷达衍生的参考结果。从图7(c)和(d)可以观察到，泥石流的估计位置准确，灾害的整体规模相似。

研究结论

提出了一种框架，通过使用遥感影像和地形数据，实现了在洪水和泥石流同时发生后，快速估算最大水位和地形变形，这一计算在单独使用遥感影像分析和模拟时是无法实现的。这一框架基于模拟生成目标变量的合成数据和相应的二值变化图，并训练基于卷积神经网络(CNN)的回归模型，该模型以二值变化图和数字高程模型(DEM)作为输入，输出最大水位和地形变形。基于CNN 回归模型可以补偿输入检测图中的缺失部分，从而简化变化检测过程，使整个过程自动化且快速。基于两个灾害事件的实验定量和定性地证明了框架的有效性。

文章信息

该研究成果发表在期刊 IEEE Transactions on Geoscience and Remote Sensing 上，详细内容见：Yokoya, N., Yamanoi, K., He, W., Baier, G., Adriano, B., Miura, H., & Oishi, S. (2020). Breaking limits of remote sensing by deep learning from simulated data for flood and debris-flow mapping. IEEE Transactions on Geoscience and Remote Sensing, 60, 4400115.

原文链接：https://doi.org/10.1109/TGRS.2020.3035469