您好、欢迎来到现金彩票网!
当前位置:刘伯温高手论坛 > 图像序列 >

【泡泡图灵智库】一种应用于高动态环境的基于深度学习图像增强技

发布时间:2019-06-16 13:24 来源:未知 编辑:admin

  大家好,今天为大家带来的文章是——一种应用于高动态环境的基于深度学习图像增强技术的视觉里程计方法,该文章发表于arXiv cs:CV 2018。

  对于视觉里程计而言,主要开放挑战之一是极低照明条件或高动态范围(HDR)环境下的鲁棒性。处理上述情况的主要困难来自于传感器的局限性,以及由于视觉里程计中亮度恒定的假设导致无法成功跟踪特征点。文章从深度学习的角度来解决上述问题,为此文章首先微调深度神经网络,目的是获得视觉里程计(VO)序列的增强表示。然后,文章演示了如何插入长短期记忆以获得时间一致的序列,所做的估计依赖于先前的状态。然而,使用非常深的网络扩大了VO框架的计算负担; 因此,本文还提出了一种尺寸减小的卷积神经网络,使执行速度增快。最后,文章通过评估两种体系结构在几种最先进的VO算法(如ORB-SLAM和DSO)中生成的序列来验证增强的表示。

  1、提出了两种不同的深度网络,将一系列RGB图像转换为信息更丰富的图像,同时对照明、曝光时间、伽马校正等变化鲁棒性较高

  2 、提出了一种多步骤训练策略,使得文章提出的DNN能够将训练的行为推广到HDR场景中或在极低照明条件下的全分辨率线 、展示了如何通过合并来自先前帧的时间信息,添加长短期存储(LSTM)层有助于在HDR序列中产生更稳定且噪声更小的结果。

  如图1所示,在Caffe库中实现的体系结构由编码器,LSTM层和解码器组成。

  图1(a)所示,文章使用微调模型这种非常深的网络来估计VO。同时为了获得更快的性能,文章提出了一个更小的,更深的CNN如图1(b)所示。

  文章在微调网络中的编码器和解码器部分之间引入了两个LSTM层,以便获得更稳定、更好的里程计估计结果。

  文章将灰度输入图像和解码器输出连接成2通道图像,然后应用具有1×1内核和一个通道的最终卷积滤波器以获得更逼真的图像。

  对于VO而言,计算图像的梯度较重要,因为在视觉里程计中大多数方法基于边缘信息。图2显示了估计的图像以及输出梯度与来自不同数据集中训练模型的输入、输出图像之间的梯度差异。

  图2 来自训练模型的输出和从评估序列中提取的一些挑战性样本中的梯度图像之间的差异

  表1显示了上述所有序列中ORB-SLAM的结果。首先,文章提出的方法在困难的序列(1-light和switch)中明显优于原始输入和标准图像处理方法,同时在容易的序列中保持类似的性能(2-lights和 3-lights)。 对于不同的网络,结果表示FT-LSTM在困难序列中的更好性能,尽管减少的方法Small-CNN在切换灯的场景中具有良好的性能。

  表2显示了用DSO获得的结果。由于所有方法能够成功跟踪,文章省略了跟踪百分比。在准确性方面,简化方法Small-CNN性能良好。然而,它在明亮开关序列中的准确度更差,但它仍然与原始序列类似。

  表1 ORB-SLAM算法的平均RMSE误差(第一行,由轨迹总长进行归一化的结果)和序列中未跟踪丢失的百分比(第二行)。 短划线意味着VO实验在未初始化的情况下失败。

  文章评估了CNN和LSTM网络的计算性能。表3显示了每种模型在不同分辨率下的结果。

http://shinnpaint.com/tuxiangxulie/312.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有