机器人杂志 1687 - 9619 1687 - 9600 Hindawi 10.1155 / 2021/6644986 6644986 研究文章 水下深度估计的球面图像 https://orcid.org/0000 - 0001 - 9988 - 5491 Jiadi Lei Haofei Qingwen https://orcid.org/0000 - 0003 - 2879 - 1636 Schwertfeger 索伦 命运 l 移动自主机器人系统实验室 信息科学与技术学院 ShanghaiTech大学 上海 中国 shanghaitech.edu.cn 2021年 18 6 2021年 2021年 15 12 2020年 29日 5 2021年 18 6 2021年 2021年 版权©2021崔Jiadi et al。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

提出了一种水下单眼深度估计的方法,这是一个开放的问题在机器人和计算机视觉。为此,我们利用公开的空中RGB-D形象对水下深度估计在球形领域无监督方法。为此,空中图像style-transferred水下风格的第一步。给那些合成的水下图像和地面实况深度,然后我们训练一个网络评估的深度。这样,我们的学习模式是为了获得深度范围内,不需要相应的地面实况水下深度的数据,这通常是不可用的。我们测试方法style-transferred空中图像以及我们自己的真正的水下数据集,我们计算稀疏地面实况深处通过立体观测数据。这个数据集提供下载。实验数据与最先进的空中网络以及不同的人工输入显示风格转移以及深度估计展览有前途的性能。 1。介绍</t我tle> <p>海洋机器人水下深度估计是一个开放的问题(<xgydF4y2Baref ref-type="bibr" rid="B1"> 1</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B2"> 2</xgydF4y2Baref>),通常用于三维重建,为水下导航和中间步骤(颜色相关性<xgydF4y2Baref ref-type="bibr" rid="B3"> 3</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B4"> 4</xgydF4y2Baref>]。由于水下环境的属性,水下感知是完全不同于空中的感觉。图像捕捉水下通常看起来蓝色因为长波长的可见阳光吸收比短的波长。水下图像也可能更多的绿色,因为在水中的藻类。除此之外,水下图像模糊,比空中被相同的相机,由于浊度。这些原因增加从图像深度估计的困难。因此,许多研究者把精力放在水下图像处理。例如,使用暗通道先验恢复提出了水下图像(<xgydF4y2Baref ref-type="bibr" rid="B5"> 5</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B6"> 6</xgydF4y2Baref>],灵感来自[<xgydF4y2Baref ref-type="bibr" rid="B7"> 7</xgydF4y2Baref>在消除烟雾在空气中。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B8"> 8</xgydF4y2Baref>基于光谱方法)实现水下图像缝合,这是更健壮的浊度比基于特征的方法。除了图像增强,一些工作专注于深度估计。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B9"> 9</xgydF4y2Baref>)利用水下图像的深度和模糊强度之间的关系来估计深度。此外,深度学习也应用于水下图像的深度估计,例如,研究[<xgydF4y2Baref ref-type="bibr" rid="B4"> 4</xgydF4y2Baref>)使用卷积神经网络(CNN)生成相对深度,当时的一个输入一个色彩校正网络。上优于方法是非常受欢迎的这些天,有很多应用深度估计,例如在一些微系统公司(<xgydF4y2Baref ref-type="bibr" rid="B10"> 10</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B11"> 11</xgydF4y2Baref>]。</pgydF4y2Ba> <p>除了正常的针孔摄像头,全向相机越来越受欢迎,由于其大视场(FOV)。他们被广泛应用在地面机器人(<xgydF4y2Baref ref-type="bibr" rid="B12"> 12</xgydF4y2Baref>- - - - - -<xgydF4y2Baref ref-type="bibr" rid="B16"> 16</xgydF4y2Baref>]。一些研究小组还研究了全向相机为水下使用,因为它们提供更多的信息比视角的目标检测、定位和映射。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B17"> 17</xgydF4y2Baref>)设计全方位视频设备和把它放在海豚捕捉数据。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B18"> 18</xgydF4y2Baref>)改善陆上全向摄像机用于水下提出了相机标定的方法。</pgydF4y2Ba> <p>此外,有时长在水中可见距离增加该地区的未定义的深度,特别是相对于室内场景,使深度估计更困难。虽然有一些论文活跃水下三维成像方法(<xgydF4y2Baref ref-type="bibr" rid="B19"> 19</xgydF4y2Baref>),捕获全向水下深度图像仍然是一个巨大的挑战,这使得地面实况深度不可用。本文提出了利用公开的空中球图像深度估计的水下域。具体地说,我们的方法是一个两级管道。(i)鉴于空中RGB-D球面双从斯坦福2 d-3d-s数据集(<xgydF4y2Baref ref-type="bibr" rid="B20"> 20.</xgydF4y2Baref>),我们的火车style-transfer网络(<xgydF4y2Baref ref-type="bibr" rid="B21"> 21</xgydF4y2Baref>]空中图像转换为水下域。(2)考虑到生成的水下图像及其深度地图,我们训练的深度估计网络专门为球面图像。在测试过程中,我们可以直接从输入图像生成深度。我们的方法是,只有水下图像(即无监督。,no ground truth underwater depth) are required for the whole training process.</p> <p>在我们的前期工作<xgydF4y2Baref ref-type="bibr" rid="B22"> 22</xgydF4y2Baref>),我们的论文的主要贡献如下:<gydF4y2Balist> <list-item> <label>(我)</gydF4y2Balabel> </list-item> </list></p> <p>我们所知,我们是第一批使用CycleGAN球形水下图像</pgydF4y2Ba> <list-item> <label>(2)</gydF4y2Balabel> <p>这也是第一个方法采用深度学习估算深度在球形的水下图像</pgydF4y2Ba> </list-item> <list-item> <label>(3)</gydF4y2Balabel> <p>我们提供一个球形水下数据集,它包含3000个高质量的图像从大堡礁</pgydF4y2Ba> </list-item> <list-item> <label>(iv)</gydF4y2Balabel> <p>我们提供了一个基准的网络对手工制作的图片</pgydF4y2Ba> </list-item> <p></p> </sec> <sec id="sec2"> <title>2。相关工作</t我tle> <sec id="sec2.1"> <title>2.1。无人监督的深度学习</t我tle> <p>上优于方法深度估计是受欢迎的。然而,对于敌对的环境,比如水下或森林场景,带注释的数据难以获得。因此,监督学习困难实现良好的性能与缺乏大量的标记数据。无监督学习和self-supervised学习两种方法利用未标记数据的学习过程。利用未标记数据的一个原因是,产生一个数据集和清晰的标签是昂贵的,但无标号数据生成的所有时间。更大的动机是利用大量的未标记数据。self-supervised学习的主要思想是生成的标签标记数据,根据数据本身的结构和特点,通过监督和培训与无监督数据的方式。Self-supervised学习广泛用于表示学习制作模型学习的潜在特征数据。这些方法广泛应用于计算机视觉(<xgydF4y2Baref ref-type="bibr" rid="B23"> 23</xgydF4y2Baref>- - - - - -<xgydF4y2Baref ref-type="bibr" rid="B27"> 27</xgydF4y2Baref>,视频处理<xgydF4y2Baref ref-type="bibr" rid="B28"> 28</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B29"> 29日</xgydF4y2Baref>),机器人控制(<xgydF4y2Baref ref-type="bibr" rid="B30"> 30.</xgydF4y2Baref>- - - - - -<xgydF4y2Baref ref-type="bibr" rid="B32"> 32</xgydF4y2Baref>]。</pgydF4y2Ba> <p>有很多以前的工作深度估计self-supervised相关方法。2017年,(<xgydF4y2Baref ref-type="bibr" rid="B33"> 33</xgydF4y2Baref>)提出了monodepth框架利用对极几何约束和训练他们的模型提出了一个新颖的培训损失沿self-supervised方式。之后,有一些相关的方法使用几何约束来实现自身的监督。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B34"> 34</xgydF4y2Baref>)利用对极几何约束估计深度和表面法线。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B35"> 35</xgydF4y2Baref>]调查完成任务的多峰性深度self-supervised方法通过构造一个与光度约束损失函数,和他们的方法实现艺术的状态(SOTA) KITTI深度完成基准。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B36"> 36</xgydF4y2Baref>)利用双边循环立体差异之间的关系,提出了一种自适应正则化方案一对立体处理covisible和堵塞问题。</pgydF4y2Ba> <p>不同于几何constraints-based方法,有些方法尝试利用不同模式之间的约束,称为wrapped-based方法。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B37"> 37</xgydF4y2Baref>)提出了一个wrapped-based方法估计深度和姿势。他们设计了一个基于包装损失附近的观点到目标使用计算深度和姿势。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B38"> 38</xgydF4y2Baref>]提出monodepth2结合深度和相机的姿势和几何约束。改进模型的鲁棒性,他们也提出了最低reprojection损失和利用多尺度采样方法的框架。目前,monodepth2达到SOTA结果KITTI基准。因为这些方法可以预测深度和相机的姿势,它们广泛用于机器人和无人驾驶汽车作为一个视觉里程计(VO)系统。詹等人研究了端到端无监督depth-VO [<xgydF4y2Baref ref-type="bibr" rid="B39"> 39</xgydF4y2Baref>)和集成的深度与Perspective-n-Point (PnP)方法实现高鲁棒性(<xgydF4y2Baref ref-type="bibr" rid="B40"> 40</xgydF4y2Baref>]。</pgydF4y2Ba> <p>这个想法也扩展到更多的计算机视觉任务结合起来。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B41"> 41</xgydF4y2Baref>)利用内容深度和语义信息之间的一致性。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B42"> 42</xgydF4y2Baref>)提出了地理网利用深度之间的几何关系,光流,相机的姿势和使用一个无监督学习框架来预测它们。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B43"> 43</xgydF4y2Baref>)提出了一个竞争协作框架来预测深度,姿势,光流,和运动分割与一个无监督的方法。</pgydF4y2Ba> <p>目前,无人监督的深度估计是成功的在室内或城市场景。但是仍然有一些应用程序在敌对的场景。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B44"> 44</xgydF4y2Baref>)提出了一种生成模型和利用cycle-consistent约束训练模型以一种无监督的方式。他们的方法达到SOTA数据集,但也很难实现真正的水下应用程序和可用的数据量也没有足够的培训。</pgydF4y2Ba> </sec> <sec id="sec2.2"> <title>2.2。水下深度估计和色彩校正</t我tle> <p>与陆上场景相比,水下深度估计是更具挑战性由于散射和吸收效应(<xgydF4y2Baref ref-type="bibr" rid="B9"> 9</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B45"> 45</xgydF4y2Baref>),如上所述。为此,几种方法联合优化深度估计和色彩校正。换句话说,准确的深度还可以帮助恢复图像的颜色和深度信息的估计颜色失真。例如,作者的<xgydF4y2Baref ref-type="bibr" rid="B9"> 9</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B46"> 46</xgydF4y2Baref>)提出了一个图像配方模型估算深度图像模糊强度。在[<xgydF4y2Baref ref-type="bibr" rid="B5"> 5</xgydF4y2Baref>之前),一个黑暗的通道用于水下深度估计和图像恢复将衰减,反向散射的影响。这项研究在<xgydF4y2Baref ref-type="bibr" rid="B47"> 47</xgydF4y2Baref>)提出了自适应图像dehazing基于深度信息。</pgydF4y2Ba> <p>介绍了在节<xgydF4y2Baref ref-type="sec" rid="sec2.1"> 2.1</xgydF4y2Baref>深度(无监督学习),有许多成功的学习方法为空中图像深度估计。因此,天真的水下深度估计的方法是恢复空中的水下图像风格这深度学习策略可以应用。在[<xgydF4y2Baref ref-type="bibr" rid="B48"> 48</xgydF4y2Baref>),这种策略被证明是有效的水下深度估计。深度学习和数学方法都是非常受欢迎的图像恢复。在[<xgydF4y2Baref ref-type="bibr" rid="B49"> 49</xgydF4y2Baref>),他们使用Jaffe-McGlamery模型(<xgydF4y2Baref ref-type="bibr" rid="B50"> 50</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B51"> 51</xgydF4y2Baref>),一个数学方法,来处理问题,降低了吸收和散射效应基于辐照度和深度。在[<xgydF4y2Baref ref-type="bibr" rid="B52"> 52</xgydF4y2Baref>),提出了学习型方法解决深度估计和色彩校正球面领域同时通过求解摄像机设置下左右一致性。然而,深度学习通常需要大量的数据,这对水下字段不可用。要解决这个问题,研究在<xgydF4y2Baref ref-type="bibr" rid="B4"> 4</xgydF4y2Baref>)提出了一种生成对抗网络从空中生成合成水下图像数据集。</pgydF4y2Ba> <p>我们的工作是受WaterGAN [<xgydF4y2Baref ref-type="bibr" rid="B4"> 4</xgydF4y2Baref>),也不同于它。WaterGAN需要深度作为输入来模拟衰减和散射效应,而我们水下GAN只需要水下和空中图像作为输入。我们的初步工作报告(<xgydF4y2Baref ref-type="bibr" rid="B22"> 22</xgydF4y2Baref>),我们提出了两级管道来解决水下全方位深度估计。在第一视角图像管道,WaterGAN [<xgydF4y2Baref ref-type="bibr" rid="B4"> 4</xgydF4y2Baref>)是用于RGB-D图像转移到水下RGB-D图像。然后,一个完全卷积残余网络(FCRN) (<xgydF4y2Baref ref-type="bibr" rid="B53"> 53</xgydF4y2Baref>)深度估计网络训练与水下图像作为输入。第二全方位阶段,我们从空中equirectangular图像合成图像水下equirectangular图像通过减少红色通道中的值(由于其波长短自然在水下环境中)和模糊图像基于其与摄像机之间的距离。最后,灵感来自[<xgydF4y2Baref ref-type="bibr" rid="B54"> 54</xgydF4y2Baref>),distortion-aware卷积模块取代了正常的卷积FCRN基于球面longitude-latitude映射。在这项工作中,我们把简单的操作在红色通道学习方法来生成合成水下全向图像。此外,我们改进的方法来估计水下深度。最后,我们更彻底地评估我们的算法的结果,通过估计地面实况深处独特的特征点。在[<xgydF4y2Baref ref-type="bibr" rid="B54"> 54</xgydF4y2Baref>),FCRN (<xgydF4y2Baref ref-type="bibr" rid="B53"> 53</xgydF4y2Baref>)被确认为最先进的全向cnn (SOTA)网络,因此我们采用它和比较。</pgydF4y2Ba> <p>我们想要强调的是,一般来说,从一个RGB图像深度估计是一个非常具有挑战性的问题。作为我们的实验后将显示,我们的方法不提供非常准确的估计,也不这一部分中提到的其他深度估计方法。同时,与任何单眼视力问题一样,我们的研究结果是一个未知的比例因子。不过,我们相信这是值得的,因为它铺平了道路走向更成功的方法(见未来的工作),即使不是很准确,有可能用例,例如导航或色彩校正。</pgydF4y2Ba> </sec> </sec> <sec id="sec3"> <title>3所示。方法</t我tle> <p>图<xgydF4y2Baref ref-type="fig" rid="fig1"> 1</xgydF4y2Baref>展示了我们的两级管道。(我)空中RGB-D球面双从Stanford2D-3D-S数据集<xgydF4y2Baref ref-type="bibr" rid="B20"> 20.</xgydF4y2Baref>],我们训练CycleGAN [<xgydF4y2Baref ref-type="bibr" rid="B21"> 21</xgydF4y2Baref>]空中图像转换为水下域。(2)考虑到生成的水下图像及其深度地图,我们训练深度估计网络学习深度。在下面,我们分别介绍这两部分。</pgydF4y2Ba> <fig id="fig1"> <label>图1</gydF4y2Balabel> <p>我们的方法的完整的管道。我们建议利用公开RGB-D数据集风格传输和深度估计在一个无监督的方法。</pgydF4y2Ba> <graphic xlink:href="//www.newsama.com/downloads/journals/jr/2021/6644986.fig.001"></graphic> </fig> <sec id="sec3.1"> <title>3.1。风格转移</t我tle> <p>生成对抗网(甘斯)是专为数据增加,现在广泛用于style-transfer任务。甘斯之间的两方mini-max游戏生成模型<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M1"> <mml:mi> G</gydF4y2Bamml:mi> </mml:math> </inline-formula>和歧视模型<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M2"> <mml:mi> D</gydF4y2Bamml:mi> </mml:math> </inline-formula>(<xgydF4y2Baref ref-type="bibr" rid="B55"> 55</xgydF4y2Baref>]。值函数关于这个对抗的过程<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M3"> <mml:mtable> <mml:mlabeledtr id="EEq1"> <mml:mtd rowspan="2"> <mml:mtext> (1)</gydF4y2Bamml:mtext> </mml:mtd> <mml:mtd> <mml:munder> <mml:mrow> <mml:mi mathvariant="normal"> 最小值</gydF4y2Bamml:mi> </mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> </mml:munder> <mml:munder> <mml:mrow> <mml:mi mathvariant="normal"> 马克斯</gydF4y2Bamml:mi> </mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:munder> <mml:mi> V</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> G</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> <mml:mo> =</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi mathvariant="double-struck"> E</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi mathvariant="bold"> x</gydF4y2Bamml:mi> <mml:mo> ∼</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 数据</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi mathvariant="bold"> x</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:msub> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:mi mathvariant="normal"> 日志</gydF4y2Bamml:mi> <mml:mi> D</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi mathvariant="bold"> x</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mtd> </mml:mlabeledtr> <mml:mtr> <mml:mtd> <mml:mo> +</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi mathvariant="double-struck"> E</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi mathvariant="bold"> z</gydF4y2Bamml:mi> <mml:mo> ∼</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi mathvariant="bold"> z</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi mathvariant="bold"> z</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:msub> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:mi mathvariant="normal"> 日志</gydF4y2Bamml:mi> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> <mml:mo> −</gydF4y2Bamml:mo> <mml:mi> D</gydF4y2Bamml:mi> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi mathvariant="bold"> z</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mrow> </mml:mfenced> <mml:mo> ,</gydF4y2Bamml:mo> </mml:mtd> </mml:mtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M4"> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 数据</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> </mml:math> </inline-formula>表示数据和特性<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M5"> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi mathvariant="bold"> z</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>起初是随机值。这个值函数也深的损失函数神经网络。</pgydF4y2Ba> <p>水下style-transfer算法CycleGAN [<xgydF4y2Baref ref-type="bibr" rid="B21"> 21</xgydF4y2Baref>)包含两个网络,网络<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M6"> <mml:mi> G</gydF4y2Bamml:mi> </mml:math> </inline-formula>向前映射和网络<我talic> F</我talic>逆映射。给定的输入图像,网络<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M7"> <mml:mi> G</gydF4y2Bamml:mi> </mml:math> </inline-formula>转换到目标域和网络<我talic> F</我talic>转换回原来的领域。一个周期是强制执行的一致性<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M8"> <mml:mi> F</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> X</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mrow> </mml:mfenced> <mml:mo> ≈</gydF4y2Bamml:mo> <mml:mi> X</gydF4y2Bamml:mi> </mml:math> </inline-formula>反之亦然,确保映射将受限。因此,损失函数的映射函数<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M9"> <mml:mi> G</gydF4y2Bamml:mi> <mml:mo> :</gydF4y2Bamml:mo> <mml:mi> X</gydF4y2Bamml:mi> <mml:mo> ⟶</gydF4y2Bamml:mo> <mml:mi> Y</gydF4y2Bamml:mi> </mml:math> </inline-formula>是<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M10"> <mml:mtable> <mml:mlabeledtr id="EEq2"> <mml:mtd rowspan="2"> <mml:mtext> (2)</gydF4y2Bamml:mtext> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi mathvariant="normal"> ℒ</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 氮化镓</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> Y</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> X</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> Y</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> <mml:mo> =</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi mathvariant="double-struck"> E</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> y</gydF4y2Bamml:mi> <mml:mo> ∼</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 数据</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> y</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:msub> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:mi mathvariant="normal"> 日志</gydF4y2Bamml:mi> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> Y</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> y</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mtd> </mml:mlabeledtr> <mml:mtr> <mml:mtd> <mml:mo> +</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi mathvariant="double-struck"> E</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> x</gydF4y2Bamml:mi> <mml:mo> ∼</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 数据</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> x</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:msub> <mml:mrow> <mml:mfenced open="[" close="" separators="|"> <mml:mrow> <mml:mi mathvariant="normal"> 日志</gydF4y2Bamml:mi> <mml:mfenced open="(" close="]" separators="|"> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> <mml:mo> −</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> Y</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> x</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> <mml:mo> 。</gydF4y2Bamml:mo> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mtd> </mml:mtr> </mml:mtable> </mml:math> </disp-formula></p> <p>我们使用<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M11"> <mml:mi> X</gydF4y2Bamml:mi> </mml:math> </inline-formula>输入域<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M12"> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> X</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>和<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M13"> <mml:mi> Y</gydF4y2Bamml:mi> </mml:math> </inline-formula>输入域<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M14"> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> Y</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>。我们的输入图像的例子中演示了两个域的数据<xgydF4y2Baref ref-type="fig" rid="fig2"> 2</xgydF4y2Baref>和<xgydF4y2Baref ref-type="fig" rid="fig3"> 3</xgydF4y2Baref>。因为我们两下输入和输出操作球面领域,我们直接采用卷积运营商网络,没有修改。</pgydF4y2Ba> <fig id="fig2"> <label>图2</gydF4y2Balabel> <p>一个典型的水下全向图像。</pgydF4y2Ba> <graphic xlink:href="//www.newsama.com/downloads/journals/jr/2021/6644986.fig.002"></graphic> </fig> <fig id="fig3"> <label>图3</gydF4y2Balabel> <p>与我们的CycleGAN生成图像。(一)左边是我(空中)域的例子。(b)在右边是我们生成的图像。我们能够产生闪电色彩效果从原始水下数据集。</pgydF4y2Ba> <graphic xlink:href="//www.newsama.com/downloads/journals/jr/2021/6644986.fig.003"></graphic> </fig> <p>此外,CycleGAN应用一个新的想法关于周期的一致性,这是<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M15"> <mml:mi> y</gydF4y2Bamml:mi> <mml:mo> ⟶</gydF4y2Bamml:mo> <mml:mi> F</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> y</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> <mml:mo> ⟶</gydF4y2Bamml:mo> <mml:mi> G</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> F</gydF4y2Bamml:mi> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> y</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mrow> </mml:mfenced> <mml:mo> ≈</gydF4y2Bamml:mo> <mml:mi> y</gydF4y2Bamml:mi> </mml:math> </inline-formula>。这一步是损失函数<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M16"> <mml:mtable> <mml:mlabeledtr id="EEq3"> <mml:mtd rowspan="2"> <mml:mtext> (3)</gydF4y2Bamml:mtext> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi mathvariant="normal"> ℒ</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 赛克</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> F</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> <mml:mo> =</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi mathvariant="double-struck"> E</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> x</gydF4y2Bamml:mi> <mml:mo> ∼</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 数据</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> x</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:msub> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:mi> F</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> x</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mrow> </mml:mfenced> <mml:mo> −</gydF4y2Bamml:mo> <mml:mi> x</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mtd> </mml:mlabeledtr> <mml:mtr> <mml:mtd> <mml:mo> +</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi mathvariant="double-struck"> E</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> y</gydF4y2Bamml:mi> <mml:mo> ∼</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 数据</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> y</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:msub> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> F</gydF4y2Bamml:mi> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> y</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mrow> </mml:mfenced> <mml:mo> −</gydF4y2Bamml:mo> <mml:mi> y</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mo> 。</gydF4y2Bamml:mo> </mml:mtd> </mml:mtr> </mml:mtable> </mml:math> </disp-formula></p> <p>最后,CycleGAN的全面客观<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M17"> <mml:mtable> <mml:mlabeledtr id="EEq4"> <mml:mtd rowspan="4"> <mml:mtext> (4)</gydF4y2Bamml:mtext> </mml:mtd> <mml:mtd> <mml:mi mathvariant="normal"> ℒ</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> F</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> X</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> Y</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mo> =</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi mathvariant="normal"> ℒ</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 氮化镓</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> Y</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> X</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> Y</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mtd> </mml:mlabeledtr> <mml:mtr> <mml:mtd> <mml:mo> +</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi mathvariant="normal"> ℒ</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 氮化镓</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> F</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> X</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> Y</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> X</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mtd> </mml:mtr> <mml:mtr> <mml:mtd> <mml:mo> +</gydF4y2Bamml:mo> <mml:mi> λ</gydF4y2Bamml:mi> <mml:msub> <mml:mrow> <mml:mi mathvariant="normal"> ℒ</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 赛克</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> F</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> <mml:mo> ,</gydF4y2Bamml:mo> </mml:mtd> </mml:mtr> <mml:mtr> <mml:mtd> <mml:msup> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> </mml:mrow> <mml:mi> ∗</gydF4y2Bamml:mi> </mml:msup> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msup> <mml:mrow> <mml:mi> F</gydF4y2Bamml:mi> </mml:mrow> <mml:mi> ∗</gydF4y2Bamml:mi> </mml:msup> <mml:mo> =</gydF4y2Bamml:mo> <mml:mi mathvariant="normal"> 参数</gydF4y2Bamml:mi> <mml:munder> <mml:mrow> <mml:mi mathvariant="normal"> 最小值</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> F</gydF4y2Bamml:mi> </mml:mrow> </mml:munder> <mml:munder> <mml:mrow> <mml:mi mathvariant="normal"> 马克斯</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> x</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> Y</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:munder> <mml:mi mathvariant="normal"> ℒ</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> G</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> F</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> X</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> Y</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mo> 。</gydF4y2Bamml:mo> </mml:mtd> </mml:mtr> </mml:mtable> </mml:math> </disp-formula></p> <p>因为方法pixel-to-pixel,数据集预处理图像调整到一个合理的大小。与WaterGAN相比,CycleGAN只需要水下和空中图像作为输入,而WaterGAN需要深度作为输入来模拟衰减和散射的影响。</pgydF4y2Ba> </sec> <sec id="sec3.2"> <title>3.2。深度估计</t我tle> <p>最近成功的卷积神经网络,提出了不同的CNN-based方法解决监管深度估计任务(<xgydF4y2Baref ref-type="bibr" rid="B53"> 53</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B56"> 56</xgydF4y2Baref>]。然而,大多数上述方法需要大量的准确的图像和地面真理深度对,目前在球形水下域不可用。相反,我们建议使用一个可用的空中球面数据集,斯坦福2 d-3d-s基准(<xgydF4y2Baref ref-type="bibr" rid="B20"> 20.</xgydF4y2Baref>,把它与StyleGAN水下风格。具体地说,鉴于<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M18"> <mml:msub> <mml:mrow> <mml:mi> X</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>,<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M19"> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>对从原始斯坦福2 d-3d-s基准,我们第一次转换<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M20"> <mml:msub> <mml:mrow> <mml:mi> X</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>水下域<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M21"> <mml:msubsup> <mml:mi> X</gydF4y2Bamml:mi> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mi> w</gydF4y2Bamml:mi> </mml:msubsup> </mml:math> </inline-formula>:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M22"> <mml:mtable> <mml:mlabeledtr id="EEq5"> <mml:mtd> <mml:mtext> (5)</gydF4y2Bamml:mtext> </mml:mtd> <mml:mtd> <mml:msubsup> <mml:mi> X</gydF4y2Bamml:mi> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mi> w</gydF4y2Bamml:mi> </mml:msubsup> <mml:mo> =</gydF4y2Bamml:mo> <mml:mtext> CycleGAN</gydF4y2Bamml:mtext> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> X</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mo> ,</gydF4y2Bamml:mo> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M23"> <mml:msub> <mml:mrow> <mml:mi> X</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>表示原始空中图像的数据集,<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M24"> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>其相应的深度<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M25"> <mml:msubsup> <mml:mi> X</gydF4y2Bamml:mi> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mi> w</gydF4y2Bamml:mi> </mml:msubsup> </mml:math> </inline-formula>是水下图像转换。我们可以训练我们的网络与转换<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M26"> <mml:msubsup> <mml:mi> X</gydF4y2Bamml:mi> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mi> w</gydF4y2Bamml:mi> </mml:msubsup> </mml:math> </inline-formula>和<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M27"> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>对。</pgydF4y2Ba> <p>最近成功后的深度估计球域(<xgydF4y2Baref ref-type="bibr" rid="B57"> 57</xgydF4y2Baref>),我们采用FCRN,其中一个最先进的单模型NYUv2 (<xgydF4y2Baref ref-type="bibr" rid="B53"> 53</xgydF4y2Baref>]。网络由特征提取模型,然后几个upconvolutions层增加分辨率。在这里,一个UNet [<xgydF4y2Baref ref-type="bibr" rid="B58"> 58</xgydF4y2Baref>)作为骨干在我们所有的实验。最后,<我talic> l</我talic>1之间的差异将计算输出深度和地面实况深度地图:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M28"> <mml:mtable> <mml:mlabeledtr id="EEq6"> <mml:mtd> <mml:mtext> (6)</gydF4y2Bamml:mtext> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi> l</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 深度</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mo> =</gydF4y2Bamml:mo> <mml:mstyle displaystyle="true"> <mml:munder> <mml:mo stretchy="true"> ∑</gydF4y2Bamml:mo> <mml:mrow> <mml:mi> d</gydF4y2Bamml:mi> <mml:mo> ∈</gydF4y2Bamml:mo> <mml:mi> x</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> y</gydF4y2Bamml:mi> </mml:mrow> </mml:munder> <mml:mrow> <mml:msub> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> pred</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mo> −</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> gt</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> </mml:mrow> </mml:msub> </mml:mrow> </mml:mstyle> <mml:mo> ,</gydF4y2Bamml:mo> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M29"> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> pred</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> </mml:math> </inline-formula>表示网络的预测,<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M30"> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> gt</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> </mml:math> </inline-formula>表示地面真理深度地图,<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M31"> <mml:mi> x</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> y</gydF4y2Bamml:mi> </mml:math> </inline-formula>列举所有输入图像的像素。</pgydF4y2Ba> <p>平滑正规化经常使用在平面图像深度估计在先前的研究<xgydF4y2Baref ref-type="bibr" rid="B33"> 33</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B38"> 38</xgydF4y2Baref>)鼓励深度估计局部相似。在透视图像深度估计,这个术语的定义如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M32"> <mml:mtable> <mml:mlabeledtr id="EEq7"> <mml:mtd> <mml:mtext> (7)</gydF4y2Bamml:mtext> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi> l</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> sm</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mo> =</gydF4y2Bamml:mo> <mml:mstyle displaystyle="true"> <mml:munder> <mml:mo stretchy="true"> ∑</gydF4y2Bamml:mo> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> t</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:munder> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:munder> <mml:mo stretchy="true"> ∑</gydF4y2Bamml:mo> <mml:mrow> <mml:mi> d</gydF4y2Bamml:mi> <mml:mo> ∈</gydF4y2Bamml:mo> <mml:mi> x</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> y</gydF4y2Bamml:mi> </mml:mrow> </mml:munder> <mml:mrow> <mml:msub> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mo> ∇</gydF4y2Bamml:mo> </mml:mrow> <mml:mrow> <mml:mi> d</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> t</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> t</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> </mml:mrow> </mml:msub> </mml:mrow> </mml:mstyle> </mml:mrow> </mml:mstyle> <mml:mo> ,</gydF4y2Bamml:mo> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M33"> <mml:msub> <mml:mrow> <mml:mi> l</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> sm</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> </mml:math> </inline-formula>是一个平滑项,处罚<我talic> l</我talic>1阶规范深度渐变的<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M34"> <mml:mi> x</gydF4y2Bamml:mi> </mml:math> </inline-formula>和<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M35"> <mml:mi> y</gydF4y2Bamml:mi> </mml:math> </inline-formula>方向2 d空间。</pgydF4y2Ba> <p>的equirectangular投影<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M36"> <mml:msup> <mml:mrow> <mml:mn> 360年</gydF4y2Bamml:mn> </mml:mrow> <mml:mrow> <mml:mo> °</gydF4y2Bamml:mo> </mml:mrow> </mml:msup> </mml:math> </inline-formula>形象,然而,与失真,直接利用深度平滑条款意味着我们必须施加更大的权重较大的点对纬度。只是结合上述损失为视角图像设计到培训过程中可能导致次优的结果。原因在于equirectangular oversamples球面图像的投影图像在极地地区。从最近的工作学习的灵感球形域(<xgydF4y2Baref ref-type="bibr" rid="B59"> 59</xgydF4y2Baref>),我们建议两个点的距离的重量是基于他们的球面距离,之后我们到达以下球形深度平滑调整:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M37"> <mml:mtable> <mml:mlabeledtr id="EEq8"> <mml:mtd> <mml:mtext> (8)</gydF4y2Bamml:mtext> </mml:mtd> <mml:mtd> <mml:msubsup> <mml:mrow> <mml:mi> l</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> sm</gydF4y2Bamml:mtext> </mml:mrow> <mml:mrow> <mml:mtext> sph</gydF4y2Bamml:mtext> </mml:mrow> </mml:msubsup> <mml:mo> =</gydF4y2Bamml:mo> <mml:mstyle displaystyle="true"> <mml:munder> <mml:mo stretchy="true"> ∑</gydF4y2Bamml:mo> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> t</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:munder> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</gydF4y2Bamml:mo> <mml:mrow> <mml:mi> θ</gydF4y2Bamml:mi> <mml:mo> =</gydF4y2Bamml:mo> <mml:mn> 0</gydF4y2Bamml:mn> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> ϕ</gydF4y2Bamml:mi> <mml:mo> =</gydF4y2Bamml:mo> <mml:mn> 0</gydF4y2Bamml:mn> </mml:mrow> <mml:mrow> <mml:mi> Θ</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> Φ</gydF4y2Bamml:mi> </mml:mrow> </mml:munderover> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ω</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> θ</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> ϕ</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:msub> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mo> ∇</gydF4y2Bamml:mo> </mml:mrow> <mml:mrow> <mml:mi> d</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:msub> <mml:mrow> <mml:mi> D</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> t</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> t</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> </mml:mrow> </mml:msub> </mml:mrow> </mml:mstyle> </mml:mrow> </mml:mstyle> <mml:mo> ,</gydF4y2Bamml:mo> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M38"> <mml:msub> <mml:mrow> <mml:mi> ω</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> θ</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> ϕ</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>为每个点和权重<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M39"> <mml:msub> <mml:mrow> <mml:mi> ω</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> j</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mo> ∝</gydF4y2Bamml:mo> <mml:mi mathvariant="normal"> Ω</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> θ</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> ϕ</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>。<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M40"> <mml:mi mathvariant="normal"> Ω</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> θ</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> ϕ</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>相对应的立体角采样区深度地图上位于<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M41"> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> θ</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> ϕ</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>。<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M42"> <mml:msubsup> <mml:mrow> <mml:mi> l</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> sm</gydF4y2Bamml:mtext> </mml:mrow> <mml:mrow> <mml:mtext> sph</gydF4y2Bamml:mtext> </mml:mrow> </mml:msubsup> </mml:math> </inline-formula>是空间平滑项,处罚<我talic> l</我talic>1范数的二阶梯度沿深度的<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M43"> <mml:mi> θ</gydF4y2Bamml:mi> </mml:math> </inline-formula>和<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M44"> <mml:mi> ϕ</gydF4y2Bamml:mi> </mml:math> </inline-formula>方向2 d空间。</pgydF4y2Ba> <p>最终损失的是上述因素的加权组合<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M45"> <mml:msub> <mml:mrow> <mml:mi> λ</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> </mml:mrow> </mml:msub> </mml:math> </inline-formula>作为权重因子:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M46"> <mml:mtable> <mml:mlabeledtr id="EEq9"> <mml:mtd> <mml:mtext> (9)</gydF4y2Bamml:mtext> </mml:mtd> <mml:mtd> <mml:mi> l</gydF4y2Bamml:mi> <mml:mo> =</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> l</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 深度</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mo> +</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> λ</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> </mml:mrow> </mml:msub> <mml:msubsup> <mml:mrow> <mml:mi> l</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> sm</gydF4y2Bamml:mtext> </mml:mrow> <mml:mrow> <mml:mtext> sph</gydF4y2Bamml:mtext> </mml:mrow> </mml:msubsup> <mml:mo> 。</gydF4y2Bamml:mo> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> </sec> </sec> <sec id="sec4"> <title>4所示。实验的细节</t我tle> <p>我们用两个实验评估我们的方法。首先,我们使用合成水下斯坦福2 d-3d-s与精确地面实况数据集定量评估算法。在这里,我们也比较SOTA算法空中球图片:FCRN [<xgydF4y2Baref ref-type="bibr" rid="B53"> 53</xgydF4y2Baref>),在两个设置。我们测试FCRN合成(GAN)图像,以及原始RGB图像作为输入。使用水下图像合成算法都是训练有素的。第二个实验中使用真正的全向水下图像和稀疏的地面实况点估计通过束调整与原位测试算法的数据。</pgydF4y2Ba> <p>在下面,我们首先介绍了数据集,hyperparameters,用于实验和评价指标。</pgydF4y2Ba> <sec id="sec4.1"> <title>4.1。数据集</t我tle> <p>斯坦福大学2 d-3d-s [<xgydF4y2Baref ref-type="bibr" rid="B20"> 20.</xgydF4y2Baref>)是空中的标准基准数据集之一。数据集提供了全方位的RGB图像和相应的深度信息,这些数据深度估计是必需的培训。此外,它还提供了语义在2 d和3 d、3 d网格和表面法线。</pgydF4y2Ba> <p>此外,我们使用一个数据集,我们收集的大堡礁潜水。我们使用这个培训与原始CycleGAN,球形水下图像以及用于测试我们的方法。这全向风格转移和测试数据集与一个Insta360收集<我talic> X</我talic>(<extgydF4y2Ba-link ext-link-type="uri" xlink:href="https://www.insta360.com/product/insta360-onex"> https://www.insta360.com/product/insta360-onex</extgydF4y2Ba-link>相机之间的深度1米至25米。</pgydF4y2Ba> <p>评价最终结果从我们两级管道,地面真理深度的水下场景生成基于对极几何。生成步骤如下:首先,一对立体影像与一个已知的基准是用来估计稀疏图点特征匹配,五点算法(<xgydF4y2Baref ref-type="bibr" rid="B60"> 60</xgydF4y2Baref>),和三角测量<xgydF4y2Baref ref-type="bibr" rid="B61"> 61年</xgydF4y2Baref>]。</pgydF4y2Ba> <p>然后,两对立体图像,在不同的时间,有足够大的空间差异,包括一个用于映射点,用于调整地图分束的位置调整。最后,这些映射点的深度是归一化到0 - 255和用作up-to-scale地面真理。</pgydF4y2Ba> <p>图<xgydF4y2Baref ref-type="fig" rid="fig4"> 4</xgydF4y2Baref>显示了一个示例的点(绿点)作为地面实况。可以看出,大多数的这些点礁代替水,因为打开水,表面没有特征点。虽然只有稀疏点生成,我们相信他们是足够深度的评估结果。在水下数据集用于评估,我们为每个图像生成大约100点。</pgydF4y2Ba> <fig id="fig4"> <label>图4</gydF4y2Balabel> <p>地面真值点的一个例子。图片是Insta360一个X相机捕捉到真正的海洋场景。绿点代表兴趣点的深度计算立体观测。</pgydF4y2Ba> <graphic xlink:href="//www.newsama.com/downloads/journals/jr/2021/6644986.fig.004"></graphic> </fig> </sec> <sec id="sec4.2"> <title>4.2。Hyperparameters</t我tle> <p>风格的hyperparameters转移包括输入图像的分辨率、设置<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M47"> <mml:mn> 512年</gydF4y2Bamml:mn> <mml:mo> ×</gydF4y2Bamml:mo> <mml:mn> 256年</gydF4y2Bamml:mn> </mml:math> </inline-formula>像素。然后火车CycleGAN [<xgydF4y2Baref ref-type="bibr" rid="B21"> 21</xgydF4y2Baref>与这些hyperparameters:学习速率(2<我talic> e</我talic>4)和时代的数量(8)。</pgydF4y2Ba> <p>我们实施深度估计FCRN PyTorch框架和训练我们的网络在pretraining以下hyperparameters设置:minibatch大小(8)、学习速率(1<我talic> e</我talic>2)、动量(0.9)、体重衰变(0.0005),和时代的数量(50)。我们逐渐减少0.1每10时代的学习速率。最后,我们调整整个网络学习速率(1<我talic> e</我talic>4)对20世纪。<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M48"> <mml:msub> <mml:mrow> <mml:mi> λ</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> </mml:mrow> </mml:msub> </mml:math> </inline-formula>设置为1<我talic> e</我talic>4我们所有的实验。</pgydF4y2Ba> </sec> <sec id="sec4.3"> <title>4.3。指标</t我tle> <p>对于我们的深度估计网络,我们采用FCRN [<xgydF4y2Baref ref-type="bibr" rid="B53"> 53</xgydF4y2Baref>)和比较模型与最初的损失函数和我们的新功能损失。除了这两个网络,我们也使用FCRN基于最初的空中图像,而不是由CycleGAN处理。评价,我们使用以下共同的标准对上述数据集比较:均方根误差(RMS)<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M49"> <mml:msqrt> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> <mml:mo> /</gydF4y2Bamml:mo> <mml:mi> T</gydF4y2Bamml:mi> </mml:mrow> </mml:mrow> </mml:mfenced> <mml:mstyle displaystyle="true"> <mml:msub> <mml:mrow> <mml:mo stretchy="false"> ∑</gydF4y2Bamml:mo> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mrow> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> g</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mo> −</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> z</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</gydF4y2Bamml:mn> </mml:mrow> </mml:msup> </mml:mrow> </mml:mstyle> </mml:mrow> </mml:msqrt> </mml:math> </inline-formula>平均相对误差(Rel)<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M50"> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> <mml:mo> /</gydF4y2Bamml:mo> <mml:mi> T</gydF4y2Bamml:mi> </mml:mrow> </mml:mrow> </mml:mfenced> <mml:mstyle displaystyle="true"> <mml:msub> <mml:mrow> <mml:mo stretchy="false"> ∑</gydF4y2Bamml:mo> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mrow> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> g</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mo> −</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> z</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mo> /</gydF4y2Bamml:mo> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> g</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:mrow> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mstyle> </mml:math> </inline-formula>,意思是<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M51"> <mml:mi mathvariant="normal"> 日志</gydF4y2Bamml:mi> <mml:mtext> </mml:mtext> <mml:mtext> </mml:mtext> <mml:mn> 10</gydF4y2Bamml:mn> </mml:math> </inline-formula>错误(<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M52"> <mml:mi mathvariant="normal"> 日志</gydF4y2Bamml:mi> <mml:mtext> </mml:mtext> <mml:mtext> </mml:mtext> <mml:mn> 10</gydF4y2Bamml:mn> </mml:math> </inline-formula>)<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M53"> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> <mml:mo> /</gydF4y2Bamml:mo> <mml:mi> T</gydF4y2Bamml:mi> </mml:mrow> </mml:mrow> </mml:mfenced> <mml:mstyle displaystyle="true"> <mml:msub> <mml:mrow> <mml:mo stretchy="false"> ∑</gydF4y2Bamml:mo> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi mathvariant="normal"> 日志</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mn> 10</gydF4y2Bamml:mn> </mml:mrow> </mml:msub> <mml:msub> <mml:mrow> <mml:mi> g</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mo> −</gydF4y2Bamml:mo> <mml:mtext> </mml:mtext> <mml:mtext> </mml:mtext> <mml:msub> <mml:mrow> <mml:mi mathvariant="normal"> 日志</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mn> 10</gydF4y2Bamml:mn> </mml:mrow> </mml:msub> <mml:msub> <mml:mrow> <mml:mi> z</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mstyle> </mml:math> </inline-formula>和像素精度的像素比例<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M54"> <mml:mi mathvariant="normal"> 马克斯</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> <mml:mo> /</gydF4y2Bamml:mo> <mml:mrow> <mml:msubsup> <mml:mi> z</gydF4y2Bamml:mi> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mrow> <mml:mtext> gt</gydF4y2Bamml:mtext> </mml:mrow> </mml:msubsup> </mml:mrow> </mml:mrow> </mml:mrow> </mml:mfenced> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mrow> <mml:mrow> <mml:msubsup> <mml:mi> z</gydF4y2Bamml:mi> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mrow> <mml:mtext> gt</gydF4y2Bamml:mtext> </mml:mrow> </mml:msubsup> </mml:mrow> <mml:mo> /</gydF4y2Bamml:mo> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:mrow> </mml:mrow> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> <mml:mo> <</gydF4y2Bamml:mo> <mml:mi> δ</gydF4y2Bamml:mi> </mml:math> </inline-formula>为<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M55"> <mml:mi> δ</gydF4y2Bamml:mi> <mml:mo> ∈</gydF4y2Bamml:mo> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:mn> 1.25</gydF4y2Bamml:mn> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msup> <mml:mrow> <mml:mn> 1.25</gydF4y2Bamml:mn> </mml:mrow> <mml:mrow> <mml:mn> 2</gydF4y2Bamml:mn> </mml:mrow> </mml:msup> <mml:mo> ,</gydF4y2Bamml:mo> <mml:msup> <mml:mrow> <mml:mn> 1.25</gydF4y2Bamml:mn> </mml:mrow> <mml:mrow> <mml:mn> 3</gydF4y2Bamml:mn> </mml:mrow> </mml:msup> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>。<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M56"> <mml:mi> T</gydF4y2Bamml:mi> </mml:math> </inline-formula>表示像素的数量<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M57"> <mml:msub> <mml:mrow> <mml:mi> g</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>和<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M58"> <mml:msub> <mml:mrow> <mml:mi> z</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> p</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> </mml:math> </inline-formula>代表了地面真理和深度图的预测,分别。</pgydF4y2Ba> </sec> <sec id="sec4.4"> <title>4.4。指标真实的实验</t我tle> <p>评估我们的两阶段方法的最终结果,我们依靠稀疏地面实况点捕获节中描述的方法<xgydF4y2Baref ref-type="sec" rid="sec4.1"> 4.1</xgydF4y2Baref>。(数据)。所有非零的点的位置将会用<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M59"> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> j</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>,我们发现地面真理和相应的深度估计深度。我们估算的结果是一个未知的比例因子。我们因此最小化误差通过计算地面真理最合适的比例因子。为此,我们计算每一对地面真理之间的尺度参数和结果,然后得到中间值的因素。更具体地说,在一个对地面真理和结果,地面真值的比值<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M60"> <mml:msub> <mml:mrow> <mml:mi> P</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> gt</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> j</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>结果值<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M61"> <mml:mi> P</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> j</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>对于每个点对。然后,使用这些比率为一个图像,我们可以计算其值<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M62"> <mml:mi> 年代</gydF4y2Bamml:mi> </mml:math> </inline-formula>模拟优化过程,如最小二乘法,并设置值<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M63"> <mml:mi> 年代</gydF4y2Bamml:mi> </mml:math> </inline-formula>地面实况之间的尺度参数和结果。最后,我们重新调节结果和计算错误<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M64"> <mml:mi> E</gydF4y2Bamml:mi> </mml:math> </inline-formula>每一个点。这个错误<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M65"> <mml:mi> E</gydF4y2Bamml:mi> </mml:math> </inline-formula>关于计算每个图像<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M66"> <mml:mtable> <mml:mlabeledtr id="EEq10"> <mml:mtd> <mml:mtext> (10)</gydF4y2Bamml:mtext> </mml:mtd> <mml:mtd> <mml:mi> E</gydF4y2Bamml:mi> <mml:mo> =</gydF4y2Bamml:mo> <mml:msub> <mml:mrow> <mml:mi> 问</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> <mml:mo> /</gydF4y2Bamml:mo> <mml:mn> 2</gydF4y2Bamml:mn> </mml:mrow> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mfrac> <mml:mrow> <mml:mfenced open="|" close="|" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> P</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> g</gydF4y2Bamml:mi> <mml:mi> t</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> j</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> <mml:mo> −</gydF4y2Bamml:mo> <mml:mi> 年代</gydF4y2Bamml:mi> <mml:mo> ⋅</gydF4y2Bamml:mo> <mml:mi> P</gydF4y2Bamml:mi> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> j</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> P</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mi> g</gydF4y2Bamml:mi> <mml:mi> t</gydF4y2Bamml:mi> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> j</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfrac> </mml:mrow> </mml:mfenced> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi class="cond"> </mml:mi> <mml:mtext> 如果</gydF4y2Bamml:mtext> <mml:msub> <mml:mrow> <mml:mi> P</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> gt</gydF4y2Bamml:mtext> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 我</gydF4y2Bamml:mi> <mml:mo> ,</gydF4y2Bamml:mo> <mml:mi> j</gydF4y2Bamml:mi> </mml:mrow> </mml:mfenced> <mml:mo> ≠</gydF4y2Bamml:mo> <mml:mn> 0。</gydF4y2Bamml:mn> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>在这里,操作<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M67"> <mml:msub> <mml:mrow> <mml:mi> 问</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mrow> <mml:mn> 1</gydF4y2Bamml:mn> <mml:mo> /</gydF4y2Bamml:mo> <mml:mn> 2</gydF4y2Bamml:mn> </mml:mrow> </mml:mrow> </mml:msub> </mml:math> </inline-formula>是计算所有情况下地面真理的中值点,结果点。</pgydF4y2Ba> </sec> </sec> <sec id="sec5"> <title>5。结果</t我tle> <p>在本节中,我们将演示结果转换斯坦福2 d-3d-s收集的数据集和真实的水下图像在大堡礁。</pgydF4y2Ba> <sec id="sec5.1"> <title>5.1。评价合成图像</t我tle> <p>因为很少有水下深度数据集与地面真理,我们合成的水下图像数据集从斯坦福2 d-3d-s风格。CycleGAN [<xgydF4y2Baref ref-type="bibr" rid="B21"> 21</xgydF4y2Baref>)是用于生成合成水下图像在这工作。图<xgydF4y2Baref ref-type="fig" rid="fig4"> 4</xgydF4y2Baref>显示了合成图像的几个例子。它可以看到生成的图像成功空中图像转移到水下的风格,尤其是颜色。</pgydF4y2Ba> <p>中一个有趣的现象是,如果我们试图转移训练许多style-transfer网络时代,很多不必要的和不合理的功能也学会了。然而,在大多数情况下,我们只需要传递一些特定的功能,如颜色。测试自己的水下数据集显示,只有部分的估计结果不够准确。这也可能是由于这一事实室内场景太不同的水下域。</pgydF4y2Ba> <p>图<xgydF4y2Baref ref-type="fig" rid="fig5"> 5</xgydF4y2Baref>礼物的结果估计从合成深度水下斯坦福2 d-3d-s数据集,在亮像素代表一个更大的深度和较暗的像素更近。可以看出,右边的深度估计的数字<xgydF4y2Baref ref-type="fig" rid="fig5"> 5</xgydF4y2Baref>对应于左图是可以接受的,尤其是进一步的区域。此外,表<xgydF4y2Baref ref-type="table" rid="tab1"> 1</xgydF4y2Baref>给出了一个更严格的评估结果。比较经典的FCRN网络,我们的损失函数给略有提高更好的结果所显示的更小的RMS, Rel和log10。</pgydF4y2Ba> <fig id="fig5"> <label>图5</gydF4y2Balabel> <p>从斯坦福2 d-3d-s style-transferred水下数据集生成的深度。(一)左边的输入图像。(b)在右边对应的预测深度地图。</pgydF4y2Ba> <graphic xlink:href="//www.newsama.com/downloads/journals/jr/2021/6644986.fig.005"></graphic> </fig> <table-wrap id="tab1"> <label>表1</gydF4y2Balabel> <p>性能比较1412年从斯坦福2 d-3d-s图像数据集。</pgydF4y2Ba> <table> <thead> <tr> <th align="left">方法</tgydF4y2Bah> <th align="center">RMS (m)<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M68"> <mml:mo> ↓</gydF4y2Bamml:mo> </mml:math> </inline-formula></th> <th align="center">Rel (m)<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M69"> <mml:mo> ↓</gydF4y2Bamml:mo> </mml:math> </inline-formula></th> <th align="center">log10<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M70"> <mml:mo> ↓</gydF4y2Bamml:mo> </mml:math> </inline-formula></th> <th align="center"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M71"> <mml:mi> δ</gydF4y2Bamml:mi> <mml:mo> <</gydF4y2Bamml:mo> <mml:mn> 1.25</gydF4y2Bamml:mn> <mml:mo> ↑</gydF4y2Bamml:mo> </mml:math> </inline-formula></th> <th align="center"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M72"> <mml:mi> δ</gydF4y2Bamml:mi> <mml:mo> <</gydF4y2Bamml:mo> <mml:msup> <mml:mrow> <mml:mn> 1.25</gydF4y2Bamml:mn> </mml:mrow> <mml:mrow> <mml:mn> 2</gydF4y2Bamml:mn> </mml:mrow> </mml:msup> <mml:mo> ↑</gydF4y2Bamml:mo> </mml:math> </inline-formula></th> <th align="center"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M73"> <mml:mi> δ</gydF4y2Bamml:mi> <mml:mo> <</gydF4y2Bamml:mo> <mml:msup> <mml:mrow> <mml:mn> 1.25</gydF4y2Bamml:mn> </mml:mrow> <mml:mrow> <mml:mn> 3</gydF4y2Bamml:mn> </mml:mrow> </mml:msup> <mml:mo> ↑</gydF4y2Bamml:mo> </mml:math> </inline-formula></th> </tr> </thead> <tbody> <tr> <td align="left">我们:+<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M74"> <mml:msubsup> <mml:mrow> <mml:mi> l</gydF4y2Bamml:mi> </mml:mrow> <mml:mrow> <mml:mtext> 研究生</gydF4y2Bamml:mtext> </mml:mrow> <mml:mrow> <mml:mtext> sph</gydF4y2Bamml:mtext> </mml:mrow> </mml:msubsup> </mml:math> </inline-formula></td> <td align="center">0.683</tdgydF4y2Ba> <td align="center">0.177</tdgydF4y2Ba> <td align="center">0.075</tdgydF4y2Ba> <td align="center">0.744</tdgydF4y2Ba> <td align="center">0.919</tdgydF4y2Ba> <td align="center">0.972</tdgydF4y2Ba> </tr> <tr> <td align="left">FCRN甘</tdgydF4y2Ba> <td align="center">0.687</tdgydF4y2Ba> <td align="center">0.181</tdgydF4y2Ba> <td align="center">0.078</tdgydF4y2Ba> <td align="center">0.737</tdgydF4y2Ba> <td align="center">0.920</tdgydF4y2Ba> <td align="center">0.972</tdgydF4y2Ba> </tr> <tr> <td align="left">FCRN RGB</tdgydF4y2Ba> <td align="center">1.281</tdgydF4y2Ba> <td align="center">0.327</tdgydF4y2Ba> <td align="center">0.181</tdgydF4y2Ba> <td align="center">0.387</tdgydF4y2Ba> <td align="center">0.648</tdgydF4y2Ba> <td align="center">0.801</tdgydF4y2Ba> </tr> </tbody> </table> <table-wrap-foot> <fn> <p>所有测试使用图像转换与氮化镓作为输入。我们的方法和FCRN GAN训练有素的合成图像,而FCRN RGB使用,相比之下,RGB图像作为训练数据。下面的术语解释。小的箭头表示<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M75"> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mo> ↓</gydF4y2Bamml:mo> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>或更大<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M76"> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mo> ↑</gydF4y2Bamml:mo> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>值是更好。</pgydF4y2Ba> </fn> </table-wrap-foot> </table-wrap> <p>也可以从FCRN RGB实验,使用RGB图像训练SOTA相比,我们的网络给了更糟糕的结果而且还与氮化镓FCRN训练图像。因为style-transferred图像主要模仿颜色信息,采用网络估计从这些图像的深度信息。</pgydF4y2Ba> </sec> <sec id="sec5.2"> <title>5.2。评估真正的水下图像</t我tle> <p>合成数据集上实现可接受的结果之后,我们也评估结果真正的水下图像。注意,我们不能与任何其他的方法,因为我们所知,我们是第一个提出球面水下图像深度估计算法。图<xgydF4y2Baref ref-type="fig" rid="fig6"> 6</xgydF4y2Baref>证明了估计深度水下数据集。同样,可以看出,右边的明亮部分对应区域更遥远的人物<xgydF4y2Baref ref-type="fig" rid="fig6"> 6</xgydF4y2Baref>至少,这意味着网络估计正确的深度在一些地区。</pgydF4y2Ba> <fig id="fig6"> <label>图6</gydF4y2Balabel> <p>从我们的水下数据集生成的深度。(一)左边的输入图像。(b)在右边对应的预测深度地图。我们可以找到上下部分(<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M77"> <mml:mn> 15.6</gydF4y2Bamml:mn> <mml:mo> %</gydF4y2Bamml:mo> </mml:math> </inline-formula>图像的宽度)并不好,每个部分的原因,评价部分所示。</pgydF4y2Ba> <graphic xlink:href="//www.newsama.com/downloads/journals/jr/2021/6644986.fig.006"></graphic> </fig> <p>因为我们的网络是基于斯坦福2 d-3d-s数据集,在原始图像都缺乏的上半部分和下半部分(<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M78"> <mml:mn> 15.6</gydF4y2Bamml:mn> <mml:mo> %</gydF4y2Bamml:mo> </mml:math> </inline-formula>图像的高度对于每一个部分),这些部分充满了纯黑色像素。因此,上下部分的最终结果对水下深度估计也不是评估。换句话说,我们只使用代替球面全景图像图像。</pgydF4y2Ba> <p>虽然我们的水下数据集没有地面实况深度地图,我们可以评估结果与稀疏点地图。我们随机选择20个图像与相应的地面实况测试计算立体观测。</pgydF4y2Ba> <p>根据给出的指标,结果显示在表的第一行<xgydF4y2Baref ref-type="table" rid="tab2"> 2</xgydF4y2Baref>。在那里,每一列显示所有图片结果平均值。在第一列,我们以错误的像素的中值为我们地面实况图像,在第二列,我们把每个像素的平均误差,最后一列显示在每幅图像的标准差,每个平均超过所有图片。我们可以看到平均估计深度的平均误差为22%,平均误差为40%,标准差为62%。当然,这些值表明,估计深度是非常不准确的。尽管如此,我们相信他们仍然有些有用的对于某些应用程序,例如,导航、着色、dehazing或位置指纹。此外,我们希望,在未来,这些值可以提高,例如更好和更多的训练数据和通过提供几个连续或立体框架作为输入。</pgydF4y2Ba> <table-wrap id="tab2"> <label>表2</gydF4y2Balabel> <p>地面实况和各种之间的性能比较结果。</pgydF4y2Ba> <table> <thead> <tr> <th align="left">结果类型</tgydF4y2Bah> <th align="center">平均中值错误</tgydF4y2Bah> <th align="center">平均平均误差</tgydF4y2Bah> <th align="center">平均标准偏差</tgydF4y2Bah> </tr> </thead> <tbody> <tr> <td align="left">我们的</tdgydF4y2Ba> <td align="center">0.22</tdgydF4y2Ba> <td align="center">0.40</tdgydF4y2Ba> <td align="center">0.62</tdgydF4y2Ba> </tr> <tr> <td align="left">与RGB FCRN(训练)</tdgydF4y2Ba> <td align="center">0.30</tdgydF4y2Ba> <td align="center">3.76</tdgydF4y2Ba> <td align="center">7.16</tdgydF4y2Ba> </tr> <tr> <td align="left">黑色的结果</tdgydF4y2Ba> <td align="center">1.00</tdgydF4y2Ba> <td align="center">1.00</tdgydF4y2Ba> <td align="center">0.00</tdgydF4y2Ba> </tr> <tr> <td align="left">白色的结果</tdgydF4y2Ba> <td align="center">0.95</tdgydF4y2Ba> <td align="center">1.10</tdgydF4y2Ba> <td align="center">0.65</tdgydF4y2Ba> </tr> <tr> <td align="left">随机噪声的结果</tdgydF4y2Ba> <td align="center">0.96</tdgydF4y2Ba> <td align="center">2.83</tdgydF4y2Ba> <td align="center">3.31</tdgydF4y2Ba> </tr> <tr> <td align="left">灰度的结果</tdgydF4y2Ba> <td align="center">0.95</tdgydF4y2Ba> <td align="center">1.10</tdgydF4y2Ba> <td align="center">7.12</tdgydF4y2Ba> </tr> <tr> <td align="left">黑色的输入</tdgydF4y2Ba> <td align="center">0.27</tdgydF4y2Ba> <td align="center">3.75</tdgydF4y2Ba> <td align="center">7.18</tdgydF4y2Ba> </tr> <tr> <td align="left">白色的输入</tdgydF4y2Ba> <td align="center">0.31</tdgydF4y2Ba> <td align="center">3.70</tdgydF4y2Ba> <td align="center">6.91</tdgydF4y2Ba> </tr> <tr> <td align="left">随机噪声的输入</tdgydF4y2Ba> <td align="center">0.32</tdgydF4y2Ba> <td align="center">3.77</tdgydF4y2Ba> <td align="center">7.00</tdgydF4y2Ba> </tr> <tr> <td align="left">灰度输入</tdgydF4y2Ba> <td align="center">0.24</tdgydF4y2Ba> <td align="center">0.51</tdgydF4y2Ba> <td align="center">1.26</tdgydF4y2Ba> </tr> </tbody> </table> <table-wrap-foot> <fn> <p>更多细节见补充材料。</pgydF4y2Ba> </fn> </table-wrap-foot> </table-wrap> <p>为了更好地理解我们的方法的属性,把评价结果为我们的方法,我们使用相同的测试帧与其他三个病例。表的新行<xgydF4y2Baref ref-type="table" rid="tab2"> 2</xgydF4y2Baref>原始FCRN显示的结果,与正常的训练从斯坦福大学2 d-3d-s RGB图像。测试此网络与我们真正的水下数据时,我们看到的平均平均误差和平均标准偏差非常大,而我们建议的方法。这表明使用CycleGAN合成图像在训练是非常有利的。尽管这并不能证明CycleGAN提供了一个非常现实的水下转移,这是一个非常强劲的迹象。</pgydF4y2Ba> <p>其他两个情况下,我们显示在表<xgydF4y2Baref ref-type="table" rid="tab2"> 2</xgydF4y2Baref>旨在表明,我们的方法确实是做一些有用的东西,而不仅仅是随机值。首先,我们四个不同的假深度结果比较。“黑结果”深度图像都是黑色的(0距离),“白结果”深度图像都是白色的,和“随机噪声结果”深度图像随机距离。最后,还有一个深度图像称为“灰度的结果,”,这就是输入水下图像的灰度。请注意,在“黑结果”的情况下,图像中都是0,所以规模参数<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M79"> <mml:mi> 年代</gydF4y2Bamml:mi> </mml:math> </inline-formula>不能通过上述指标。然而,任何规模,本身就是作用于0。因此,我们只是改变度量到一个特定的方式,也就是说,设置参数<我nline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M80"> <mml:mi> 年代</gydF4y2Bamml:mi> <mml:mo> =</gydF4y2Bamml:mo> <mml:mn> 1</gydF4y2Bamml:mn> </mml:math> </inline-formula>。然后,错误在这种情况下总是1;因此,标准偏差为0。我们可以看到,那些虚假的评估结果是比我们更糟的结果。</pgydF4y2Ba> <p>其次,我们使用相同的数据如上(黑色,白色,随机噪声、灰度输入图像)作为输入我们的方法。这可以被看作是一个测试网络是否过度拟合的太多了。产生好的结果无意义的数据将是一个过度拟合的明显迹象,例如,由于训练数据不够多样化。我们可以看到平均中值误差范围的结果。我们认为这是由于两个原因:(i)提供了毫无意义的数据,网络似乎有点像典型的深度图像生成深度图像;因此,它可能会过度拟合。(2)重新调节我们的评估过程优化生成的深度地图,这样他们最适合地面真理(不是用在这里的水下图像)。地面真值的平均误差可能是很小的“典型”的深度图像生成的无意义的数据。但看着平均平均误差和标准差,我们看到那些生成深度地图有一个非常大的错误,从而表明我们的结果显然是更好的。</p> <p>在最后一行中,我们使用颜色的灰度版本框架作为输入。可以预计,这合理,次优的结果。然而,它仍然是比输入的颜色,所以颜色似乎是重要的。比较我们的所有其他方法测试的结果,我们可以看到,平均中值错误,平均平均误差和平均标准偏差是更好的为我们的方法,清楚地表明,我们的方法做一定的扩展工作。</pgydF4y2Ba> </sec> </sec> <sec id="sec6"> <title>6。结论</t我tle> <p>本文提出了一个监督水下球面图像的深度学习方法。首先,我们实现了基于CycleGAN风格转移合成水下图像。结果表明,CycleGAN学习水下场景和综合的特点很好的图像在水下的风格。然后使用这些图像在第二个网络,一个完全卷积残余网络(FCRN),训练水下球形深度估计。网络监督的方式训练。我们的第一个实验是利用合成图像与FCRN CycleGAN进行评估和比较。此外,我们测试了我们的方法在实际水下数据从大堡礁,我们估计稀疏点使用立体观测和地面实况深度包调整。我们也比较人工输入和输出数据,结果表明,网络确实执行深度估计。实验表明,转让、风格以及深度估计的结果,是令人信服的。我们的方法达到更好的结果比训练不甘。 It achieves slightly better results than FCRN trained with GAN, so our updated loss function is beneficial. The experiments also showed that the estimated depth on real underwater images is somewhat reasonable and better than all other methods and options we compared to.</p> <p>然而,远非完美的方法,特别是关于深度估计的准确性。这主要是由于这一事实估算深度从单个图像是一个非常具有挑战性的任务。我们的方法也不是很一般。水下数据集是只在一个位置很好的可视性。有更多的水下场景不同风格。因此,需要更多的水下训练数据。在未来,我们打算做一个统一的方法,可以在各种不同的水下的情况下工作。此外,真正的水下环境中进行测试,我们还计划面具只有区域分割过程。收集一个空中看起来更接近水下图像数据集与深度也可能进一步提高我们的表现。这些可能是一些峡谷或沙漠。 Since the underwater data we collected actually also contains spherical videos from two more cameras, we will investigate using this stereo data for depth training. Furthermore, more complicated network structures that take previous frames into account may provide even better results.</p> </sec> <back> <sec sec-type="data-availability"> <title>数据可用性</t我tle> <p>水下图像的数据集,包括地面实况数据评估,可以发现<extgydF4y2Ba-link ext-link-type="uri" xlink:href="https://robotics.shanghaitech.edu.cn/static/datasets/underwater/UW_omni.tar.gz"> https://robotics.shanghaitech.edu.cn/static/datasets/underwater/UW_omni.tar.gz</extgydF4y2Ba-link>(780 MB)。</pgydF4y2Ba> </sec> <sec sec-type="COI-statement"> <title>的利益冲突</t我tle> <p>作者宣称没有利益冲突。</pgydF4y2Ba> </sec> <sec sec-type="supplementary-material" id="supplementary-material-1"> <title>补充材料</t我tle> <supplementary-material id="supp-1" xlink:href="//www.newsama.com/downloads/journals/jr/2021/6644986.f1.pdf" mimetype="application/pdf"> <label>补充材料</gydF4y2Balabel> <p>表S1、S2和S3中值,意思是,和标准偏差地面真相和结果之间的误差估计从不同的方法。列“我们”是该方法估计的结果。“灰度”从输入RGB图像转换。剩下的“随机噪声”,“白色”和“黑色”手动生成。以“结果”列计算通过对比地面真理和形象直接与计算的“输入”而首先提出了网络的图像作为输入,然后比较输出与地面真理。“我们不甘”表示结果的模型由原来的空中训练数据集,没有CycleGAN。此外,“gt大小”是地面实况提供的点的数量。</pgydF4y2Ba> </supplementary-material> </sec> <ref-list> <ref id="B1" content-type="inproceedings"> <label>1</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 戈麦斯查韦斯</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> 徐</年代urname> <given-names> Q。</g我ven-names> </name> <name> <surname> 穆勒</年代urname> <given-names> c。</g我ven-names> </name> <name> <surname> Schwertfeger</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> 比尔克</年代urname> <given-names> 一个。</g我ven-names> </name> </person-group> <article-title> 自适应导航方案最优的深海本地化使用多通道感知线索</gydF4y2Baarticle-title> <conf-name> 《IEEE / RSJ智能机器人和系统国际会议(——)</gydF4y2Baconf-name> <conf-date> 2019年11月</gydF4y2Baconf-date> <conf-loc> 澳门,中国</gydF4y2Baconf-loc> </element-citation> </ref> <ref id="B2" content-type="article"> <label>2</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 刚才他</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 西</年代urname> <given-names> M。</g我ven-names> </name> </person-group> <article-title> 水下机器人</gydF4y2Baarticle-title> <source> <italic> 先进的机器人</我talic> <year> 2001年</yegydF4y2Baar> <volume> 15</gydF4y2Bavolume> <issue> 5</我年代年代ue> <fpage> 609年</gydF4y2Bafpage> <lpage> 639年</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.1163 / 156855301317033595</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 0034813228</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B3" content-type="inproceedings"> <label>3</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 北奥</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> 劳伦斯</年代urname> <given-names> b . J。</g我ven-names> </name> <name> <surname> Viorela</年代urname> <given-names> 我。</g我ven-names> </name> <name> <surname> 弗兰克</年代urname> <given-names> D。</g我ven-names> </name> </person-group> <article-title> 水下结构的三维重建</gydF4y2Baarticle-title> <conf-name> 学报2010年IEEE / RSJ智能机器人和系统国际会议</gydF4y2Baconf-name> <conf-date> 2010年9月</gydF4y2Baconf-date> <conf-loc> 台北,台湾</gydF4y2Baconf-loc> <publisher-name> IEEE</pgydF4y2Baublisher-name> <fpage> 4418年</gydF4y2Bafpage> <lpage> 4423年</gydF4y2Balpage> </element-citation> </ref> <ref id="B4" content-type="article"> <label>4</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 李</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 斯金纳</年代urname> <given-names> k。</g我ven-names> </name> <name> <surname> 瑞安</年代urname> <given-names> E。</g我ven-names> </name> <name> <surname> Watergan</年代urname> <given-names> m . J.-R。</g我ven-names> </name> </person-group> <article-title> 无监督生成网络启用实时单眼水下图像的色彩校正</gydF4y2Baarticle-title> <source> <italic> IEEE机器人与自动化字母(RA-L)</我talic> <year> 2017年</yegydF4y2Baar> <fpage> 387年</gydF4y2Bafpage> <lpage> 394年</gydF4y2Balpage> </element-citation> </ref> <ref id="B5" content-type="article"> <label>5</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 德鲁斯</年代urname> <given-names> p . l . J。</g我ven-names> </name> <name> <surname> Nascimento</年代urname> <given-names> e·R。</g我ven-names> </name> <name> <surname> Botelho</年代urname> <given-names> s . s . C。</g我ven-names> </name> <name> <surname> 黑山坎波斯</年代urname> <given-names> m F。</g我ven-names> </name> </person-group> <article-title> 水下深度估计和基于单一的图像恢复图像</gydF4y2Baarticle-title> <source> <italic> IEEE计算机图形学和应用程序</我talic> <year> 2016年</yegydF4y2Baar> <volume> 36</gydF4y2Bavolume> <issue> 2</我年代年代ue> <fpage> 24</gydF4y2Bafpage> <lpage> 35</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.1109 / mcg.2016.26</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 84963805040</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B6" content-type="inproceedings"> <label>6</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Łuczyński</年代urname> <given-names> T。</g我ven-names> </name> <name> <surname> 比尔克</年代urname> <given-names> 一个。</g我ven-names> </name> </person-group> <article-title> 水下图像烟雾去除underwater-ready暗通道之前</gydF4y2Baarticle-title> <conf-name> 海洋2017</gydF4y2Baconf-name> <conf-date> 2017年9月</gydF4y2Baconf-date> <conf-loc> 美国安克雷奇,正义与发展党</gydF4y2Baconf-loc> <publisher-name> IEEE</pgydF4y2Baublisher-name> <fpage> 1</gydF4y2Bafpage> <lpage> 6</gydF4y2Balpage> </element-citation> </ref> <ref id="B7" content-type="article"> <label>7</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 开明,他</年代urname> <given-names> K。</g我ven-names> </name> <name> <surname> 剑的太阳</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> Xiaoou唐</年代urname> <given-names> X。</g我ven-names> </name> </person-group> <article-title> 单一图像烟雾去除使用黑暗通道之前</gydF4y2Baarticle-title> <source> <italic> IEEE模式分析与机器智能</我talic> <year> 2011年</yegydF4y2Baar> <volume> 33</gydF4y2Bavolume> <issue> 12</我年代年代ue> <fpage> 2341年</gydF4y2Bafpage> <lpage> 2353年</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.1109 / tpami.2010.168</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 80054892393</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B8" content-type="inproceedings"> <label>8</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Pfingsthorn</年代urname> <given-names> M。</g我ven-names> </name> <name> <surname> 比尔克</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> Schwertfeger</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> 布洛</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> 帕沙克</年代urname> <given-names> K。</g我ven-names> </name> </person-group> <article-title> 与光谱图像配准最大似然映射</gydF4y2Baarticle-title> <conf-name> 学报2010年IEEE机器人与自动化国际会议上</gydF4y2Baconf-name> <conf-date> 2010年5月</gydF4y2Baconf-date> <conf-loc> 美国安克雷奇,正义与发展党</gydF4y2Baconf-loc> <fpage> 4282年</gydF4y2Bafpage> <lpage> 4287年</gydF4y2Balpage> </element-citation> </ref> <ref id="B9" content-type="inproceedings"> <label>9</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 彭</年代urname> <given-names> Y.-T。</g我ven-names> </name> <name> <surname> 赵</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> Cosman</年代urname> <given-names> p C。</g我ven-names> </name> </person-group> <article-title> 单一的水下图像增强使用基于模糊强度的深度估计</gydF4y2Baarticle-title> <conf-name> 学报2015年IEEE国际会议上图像处理(ICIP)</gydF4y2Baconf-name> <conf-date> 2015年9月</gydF4y2Baconf-date> <conf-loc> 加拿大魁北克</gydF4y2Baconf-loc> <fpage> 4952年</gydF4y2Bafpage> <lpage> 4956年</gydF4y2Balpage> </element-citation> </ref> <ref id="B10" content-type="article"> <label>10</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 阿南丹</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> Gagliano</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> Bucolo</年代urname> <given-names> M。</g我ven-names> </name> </person-group> <article-title> 计算模型在微流体泡沫逻辑</gydF4y2Baarticle-title> <source> <italic> 微流体和纳米流体力学</我talic> <year> 2015年</yegydF4y2Baar> <volume> 18</gydF4y2Bavolume> <issue> 2</我年代年代ue> <fpage> 305年</gydF4y2Bafpage> <lpage> 321年</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.1007 / s10404 - 014 - 1434 - 7</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 84922001296</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B11" content-type="article"> <label>11</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 介绍</年代urname> <given-names> F。</g我ven-names> </name> <name> <surname> 阿南丹</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> Bucolo</年代urname> <given-names> M。</g我ven-names> </name> </person-group> <article-title> 非线性系统同步建模两相流体流动</gydF4y2Baarticle-title> <source> <italic> 非线性动力学</我talic> <year> 2018年</yegydF4y2Baar> <volume> 92年</gydF4y2Bavolume> <issue> 1</我年代年代ue> <fpage> 75年</gydF4y2Bafpage> <lpage> 84年</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.1007 / s11071 - 017 - 3819 - 0</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85030115800</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B12" content-type="article"> <label>12</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Argyros</年代urname> <given-names> 答:一个。</g我ven-names> </name> <name> <surname> 白克力</年代urname> <given-names> k . E。</g我ven-names> </name> <name> <surname> Orphanoudakis</年代urname> <given-names> s . C。</g我ven-names> </name> <name> <surname> Kavraki</年代urname> <given-names> l E。</g我ven-names> </name> </person-group> <article-title> 机器人导航利用全景视野</gydF4y2Baarticle-title> <source> <italic> 自主机器人</我talic> <year> 2005年</yegydF4y2Baar> <volume> 19</gydF4y2Bavolume> <issue> 1</我年代年代ue> <fpage> 7</gydF4y2Bafpage> <lpage> 25</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.1007 / s10514 - 005 - 0603 - 7</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 18844408859</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B13" content-type="book"> <label>13</gydF4y2Balabel> <element-citation publication-type="book"> <person-group person-group-type="author"> <name> <surname> Benosman</年代urname> <given-names> R。</g我ven-names> </name> <name> <surname> 康</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> Faugeras</年代urname> <given-names> O。</g我ven-names> </name> </person-group> <source> <italic> 全景视觉</我talic> <year> 2000年</yegydF4y2Baar> <publisher-loc> 柏林,德国</pgydF4y2Baublisher-loc> <publisher-name> 斯普林格出版社纽约</pgydF4y2Baublisher-name> </element-citation> </ref> <ref id="B14" content-type="inproceedings"> <label>14</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 旷</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> 徐</年代urname> <given-names> Q。</g我ven-names> </name> <name> <surname> 长</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> Schwertfeger</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 姿势估计全向相机使用正弦曲线拟合</gydF4y2Baarticle-title> <conf-name> 《IEEE / RSJ智能机器人和系统国际会议(——)</gydF4y2Baconf-name> <conf-date> 2019年11月</gydF4y2Baconf-date> <conf-loc> 澳门,中国</gydF4y2Baconf-loc> </element-citation> </ref> <ref id="B15" content-type="article"> <label>15</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 勒梅尔</年代urname> <given-names> T。</g我ven-names> </name> <name> <surname> 拉克鲁瓦</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 大满贯和全景视觉</gydF4y2Baarticle-title> <source> <italic> 《机器人技术领域</我talic> <year> 2007年</yegydF4y2Baar> <volume> 24</gydF4y2Bavolume> <issue> 1 - 2</我年代年代ue> <fpage> 91年</gydF4y2Bafpage> <lpage> 111年</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.1002 / rob.20175</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 33947517690</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B16" content-type="inproceedings"> <label>16</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 徐</年代urname> <given-names> Q。</g我ven-names> </name> <name> <surname> 戈麦斯查韦斯</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> 布洛</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> 比尔克</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> Schwertfeger</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 改进傅里叶梅林不变的健壮的旋转与omni-cameras估计</gydF4y2Baarticle-title> <conf-name> 学报2019年26日IEEE国际会议上图像处理。IEEE</gydF4y2Baconf-name> <conf-date> 2019年9月</gydF4y2Baconf-date> <conf-loc> 台北,台湾</gydF4y2Baconf-loc> </element-citation> </ref> <ref id="B17" content-type="inproceedings"> <label>17</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 特里</年代urname> <given-names> B。</g我ven-names> </name> </person-group> <article-title> 鸽子:海豚全方位的视频设备</gydF4y2Baarticle-title> <conf-name> 机器人与自动化国际会议的程序</gydF4y2Baconf-name> <conf-date> 2000年5月</gydF4y2Baconf-date> <conf-loc> 法国巴黎</gydF4y2Baconf-loc> <fpage> 214年</gydF4y2Bafpage> <lpage> 220年</gydF4y2Balpage> </element-citation> </ref> <ref id="B18" content-type="article"> <label>18</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 博世</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 谢谢</年代urname> <given-names> N。</g我ven-names> </name> <name> <surname> Ridao</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> 里巴斯</年代urname> <given-names> D。</g我ven-names> </name> </person-group> <article-title> 全向水下照相机设计和校准</gydF4y2Baarticle-title> <source> <italic> 传感器</我talic> <year> 2015年</yegydF4y2Baar> <volume> 15</gydF4y2Bavolume> <issue> 3</我年代年代ue> <fpage> 6033年</gydF4y2Bafpage> <lpage> 6065年</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.3390 / s150306033</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 84928676233</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B19" content-type="article"> <label>19</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 布鲁诺</年代urname> <given-names> F。</g我ven-names> </name> <name> <surname> 比安科</年代urname> <given-names> G。</g我ven-names> </name> <name> <surname> Muzzupappa</年代urname> <given-names> M。</g我ven-names> </name> <name> <surname> 希望能</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> Razionale</年代urname> <given-names> 答:V。</g我ven-names> </name> </person-group> <article-title> 实验结构光和立体视觉的水下三维重建</gydF4y2Baarticle-title> <source> <italic> ISPRS《摄影测量与遥感</我talic> <year> 2011年</yegydF4y2Baar> <volume> 66年</gydF4y2Bavolume> <issue> 4</我年代年代ue> <fpage> 508年</gydF4y2Bafpage> <lpage> 518年</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.1016 / j.isprsjprs.2011.02.009</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 79957881730</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B20" content-type="misc"> <label>20.</gydF4y2Balabel> <element-citation publication-type="other"> <person-group person-group-type="author"> <name> <surname> Armeni</年代urname> <given-names> 我。</g我ven-names> </name> <name> <surname> Sax</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> Zamir</年代urname> <given-names> a。R。</g我ven-names> </name> <name> <surname> Savarese</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 关节2 d-3d-semantic室内场景理解的数据</gydF4y2Baarticle-title> <year> 2017年</yegydF4y2Baar> <comment> <ext-link ext-link-type="uri" xlink:href="https://arxiv.org/abs/1702.01105"> https://arxiv.org/abs/1702.01105</extgydF4y2Ba-link> </comment> </element-citation> </ref> <ref id="B21" content-type="inproceedings"> <label>21</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 朱</年代urname> <given-names> J.-Y。</g我ven-names> </name> <name> <surname> 公园</年代urname> <given-names> T。</g我ven-names> </name> <name> <surname> 伊索拉</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> 埃弗</年代urname> <given-names> 答:一个。</g我ven-names> </name> </person-group> <article-title> 未配对image-to-image翻译使用cycle-consistent敌对的网络</gydF4y2Baarticle-title> <conf-name> 学报2017年IEEE计算机视觉国际会议(ICCV)</gydF4y2Baconf-name> <conf-date> 2017年10月</gydF4y2Baconf-date> <conf-loc> 意大利的威尼斯</gydF4y2Baconf-loc> </element-citation> </ref> <ref id="B22" content-type="misc"> <label>22</gydF4y2Balabel> <element-citation publication-type="other"> <person-group person-group-type="author"> <name> <surname> 旷</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> 徐</年代urname> <given-names> Q。</g我ven-names> </name> <name> <surname> Schwertfeger</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 深度估计在水下使用深层神经网络全方位的图片</gydF4y2Baarticle-title> <year> 2019年</yegydF4y2Baar> <comment> <ext-link ext-link-type="uri" xlink:href="https://arxiv.org/abs/1905.09441"> https://arxiv.org/abs/1905.09441</extgydF4y2Ba-link> </comment> </element-citation> </ref> <ref id="B23" content-type="inproceedings"> <label>23</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Doersch</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> 古普塔</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> 埃弗</年代urname> <given-names> 答:一个。</g我ven-names> </name> </person-group> <article-title> 无人监督的可视化表示学习上下文预测</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉国际会议</gydF4y2Baconf-name> <conf-date> 2015年12月</gydF4y2Baconf-date> <conf-loc> 圣地亚哥,智利</gydF4y2Baconf-loc> <fpage> 1422年</gydF4y2Bafpage> <lpage> 1430年</gydF4y2Balpage> </element-citation> </ref> <ref id="B24" content-type="misc"> <label>24</gydF4y2Balabel> <element-citation publication-type="other"> <person-group person-group-type="author"> <name> <surname> 多纳休</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> Krahenbuhl</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> 达雷尔</年代urname> <given-names> 特雷弗</g我ven-names> </name> </person-group> <article-title> 对抗性的特点学习</gydF4y2Baarticle-title> <year> 2016年</yegydF4y2Baar> <comment> <ext-link ext-link-type="uri" xlink:href="https://arxiv.org/abs/1605.09782"> https://arxiv.org/abs/1605.09782</extgydF4y2Ba-link> </comment> </element-citation> </ref> <ref id="B25" content-type="article"> <label>25</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Dosovitskiy</年代urname> <given-names> 一个</g我ven-names> </name> <name> <surname> 费舍尔</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> 托拜厄斯Springenberg</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> Riedmiller</年代urname> <given-names> M。</g我ven-names> </name> <name> <surname> Brox</年代urname> <given-names> T。</g我ven-names> </name> </person-group> <article-title> 有识别力的无监督特征与范例卷积神经网络学习</gydF4y2Baarticle-title> <source> <italic> IEEE模式分析与机器智能</我talic> <year> 2015年</yegydF4y2Baar> <volume> 38</gydF4y2Bavolume> <issue> 9</我年代年代ue> <fpage> 1734年</gydF4y2Bafpage> <lpage> 1747年</gydF4y2Balpage> </element-citation> </ref> <ref id="B26" content-type="inproceedings"> <label>26</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Gidaris</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> 辛格</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> Komodakis</年代urname> <given-names> N。</g我ven-names> </name> </person-group> <article-title> 无监督学习通过预测表示图像旋转</gydF4y2Baarticle-title> <conf-name> 美国学习国际会议上表示</gydF4y2Baconf-name> <conf-date> 2018年4月</gydF4y2Baconf-date> <conf-loc> 加拿大温哥华</gydF4y2Baconf-loc> </element-citation> </ref> <ref id="B27" content-type="inproceedings"> <label>27</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 张</年代urname> <given-names> R。</g我ven-names> </name> <name> <surname> 伊索拉</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> 埃弗</年代urname> <given-names> 答:一个。</g我ven-names> </name> </person-group> <article-title> 彩色图像彩色化</gydF4y2Baarticle-title> <conf-name> 欧洲计算机视觉的诉讼</gydF4y2Baconf-name> <conf-date> 2016年10月</gydF4y2Baconf-date> <conf-loc> 荷兰阿姆斯特丹</gydF4y2Baconf-loc> <fpage> 649年</gydF4y2Bafpage> <lpage> 666年</gydF4y2Balpage> </element-citation> </ref> <ref id="B28" content-type="inproceedings"> <label>28</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Vondrick</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> Shrivastava</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> Fathi</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> Guadarrama</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> 墨菲</年代urname> <given-names> K。</g我ven-names> </name> </person-group> <article-title> 跟踪出现的着色视频</gydF4y2Baarticle-title> <conf-name> 计算机视觉的欧洲会议(大会)</gydF4y2Baconf-name> <conf-date> 2018年9月</gydF4y2Baconf-date> <conf-loc> 德国慕尼黑</gydF4y2Baconf-loc> <fpage> 391年</gydF4y2Bafpage> <lpage> 408年</gydF4y2Balpage> </element-citation> </ref> <ref id="B29" content-type="inproceedings"> <label>29日</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 王</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 古普塔</年代urname> <given-names> 一个。</g我ven-names> </name> </person-group> <article-title> 无监督学习使用视频的视觉表示</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉国际会议</gydF4y2Baconf-name> <conf-date> 2019年12月</gydF4y2Baconf-date> <conf-loc> 圣地亚哥,智利</gydF4y2Baconf-loc> <fpage> 2794年</gydF4y2Bafpage> <lpage> 2802年</gydF4y2Balpage> </element-citation> </ref> <ref id="B30" content-type="inproceedings"> <label>30.</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 张成泽</年代urname> <given-names> E。</g我ven-names> </name> <name> <surname> 德温</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> 文森特</年代urname> <given-names> V。</g我ven-names> </name> <name> <surname> 莱文</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 从self-supervised抓住Grasp2vec:学习对象表示</gydF4y2Baarticle-title> <conf-name> 学习机器人的会议</gydF4y2Baconf-name> <conf-date> 2018年10月</gydF4y2Baconf-date> <conf-loc> 瑞士苏黎世</gydF4y2Baconf-loc> </element-citation> </ref> <ref id="B31" content-type="inproceedings"> <label>31日</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 奈尔</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> 巴尔</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> 亚历山大</年代urname> <given-names> K。</g我ven-names> </name> <name> <surname> Vitchyr</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> Berseth</年代urname> <given-names> G。</g我ven-names> </name> <name> <surname> 莱文</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 上下文想象self-supervised机器人学习的目标</gydF4y2Baarticle-title> <conf-name> 学习机器人的会议</gydF4y2Baconf-name> <conf-date> 2019年10月</gydF4y2Baconf-date> <conf-loc> 日本大阪</gydF4y2Baconf-loc> </element-citation> </ref> <ref id="B32" content-type="inproceedings"> <label>32</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 智</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 他</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> Schwertfeger</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 学习自主探索和视觉语义映射</gydF4y2Baarticle-title> <conf-name> 学报》国际会议图片,视频和信号处理。IVSP</gydF4y2Baconf-name> <conf-date> 2019年2月</gydF4y2Baconf-date> <conf-loc> 中国上海</gydF4y2Baconf-loc> </element-citation> </ref> <ref id="B33" content-type="inproceedings"> <label>33</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 戈达尔</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> Mac Aodha</年代urname> <given-names> O。</g我ven-names> </name> <name> <surname> Brostow</年代urname> <given-names> g . J。</g我ven-names> </name> </person-group> <article-title> 无人监督的单眼深度估计与左右一致性</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉与模式识别会议</gydF4y2Baconf-name> <conf-date> 2017年7月</gydF4y2Baconf-date> <conf-loc> 美国檀香山,嗨</gydF4y2Baconf-loc> <fpage> 270年</gydF4y2Bafpage> <lpage> 279年</gydF4y2Balpage> </element-citation> </ref> <ref id="B34" content-type="inproceedings"> <label>34</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 张ydF4y2Ba</surname> <given-names> H。</g我ven-names> </name> <name> <surname> Weerasekera</年代urname> <given-names> c·S。</g我ven-names> </name> <name> <surname> Garg</年代urname> <given-names> R。</g我ven-names> </name> <name> <surname> 里德</年代urname> <given-names> 我。</g我ven-names> </name> </person-group> <article-title> Self-supervised学习单一视图深度和表面正常的估计</gydF4y2Baarticle-title> <conf-name> 机器人和自动化学报2019年国际会议上)举行(“国际机器人与自动化会议”</gydF4y2Baconf-name> <conf-date> 2019年5月</gydF4y2Baconf-date> <conf-loc> 加拿大蒙特利尔</gydF4y2Baconf-loc> <fpage> 4811年</gydF4y2Bafpage> <lpage> 4817年</gydF4y2Balpage> </element-citation> </ref> <ref id="B35" content-type="inproceedings"> <label>35</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 马</年代urname> <given-names> F。</g我ven-names> </name> <name> <surname> Cavalheiro</年代urname> <given-names> g . V。</g我ven-names> </name> <name> <surname> Karaman</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> Self-supervised稀疏和稠密:Self-supervised深度完成从激光雷达和单眼相机</gydF4y2Baarticle-title> <conf-name> 机器人和自动化学报2019年国际会议上)举行(“国际机器人与自动化会议”</gydF4y2Baconf-name> <conf-date> 2019年5月</gydF4y2Baconf-date> <conf-loc> 加拿大蒙特利尔</gydF4y2Baconf-loc> <fpage> 3288年</gydF4y2Bafpage> <lpage> 3295年</gydF4y2Balpage> </element-citation> </ref> <ref id="B36" content-type="inproceedings"> <label>36</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 黄</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> Soatto</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 双边循环约束和自适应正则化无监督单眼深度预测</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉与模式识别会议</gydF4y2Baconf-name> <conf-date> 2019年6月</gydF4y2Baconf-date> <conf-loc> 美国加利福尼亚州长滩</gydF4y2Baconf-loc> <fpage> 5644年</gydF4y2Bafpage> <lpage> 5653年</gydF4y2Balpage> </element-citation> </ref> <ref id="B37" content-type="inproceedings"> <label>37</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 周</年代urname> <given-names> T。</g我ven-names> </name> <name> <surname> 布朗</年代urname> <given-names> M。</g我ven-names> </name> <name> <surname> Snavely</年代urname> <given-names> N。</g我ven-names> </name> <name> <surname> 劳</年代urname> <given-names> d·G。</g我ven-names> </name> </person-group> <article-title> 无监督学习的深度和ego-motion视频</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉与模式识别会议</gydF4y2Baconf-name> <conf-date> 2017年7月</gydF4y2Baconf-date> <conf-loc> 美国檀香山,嗨</gydF4y2Baconf-loc> <fpage> 1851年</gydF4y2Bafpage> <lpage> 1858年</gydF4y2Balpage> </element-citation> </ref> <ref id="B38" content-type="inproceedings"> <label>38</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 戈达尔</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> Mac Aodha</年代urname> <given-names> O。</g我ven-names> </name> <name> <surname> 诏书</年代urname> <given-names> M。</g我ven-names> </name> <name> <surname> Brostow</年代urname> <given-names> g . J。</g我ven-names> </name> </person-group> <article-title> 挖掘self-supervised单眼深度估计</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉国际会议</gydF4y2Baconf-name> <conf-date> 2019年11月</gydF4y2Baconf-date> <conf-loc> 首尔,韩国</gydF4y2Baconf-loc> <fpage> 3828年</gydF4y2Bafpage> <lpage> 3838年</gydF4y2Balpage> </element-citation> </ref> <ref id="B39" content-type="inproceedings"> <label>39</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 张ydF4y2Ba</surname> <given-names> H。</g我ven-names> </name> <name> <surname> Garg</年代urname> <given-names> R。</g我ven-names> </name> <name> <surname> Weerasekera</年代urname> <given-names> c·S。</g我ven-names> </name> <name> <surname> 李</年代urname> <given-names> K。</g我ven-names> </name> <name> <surname> 阿加瓦尔</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> 里德</年代urname> <given-names> 我。</g我ven-names> </name> </person-group> <article-title> 无监督学习的单眼深度估计和视觉测程法与深度功能重建</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉与模式识别会议</gydF4y2Baconf-name> <conf-date> 2019年6月</gydF4y2Baconf-date> <conf-loc> 美国加利福尼亚州长滩</gydF4y2Baconf-loc> <fpage> 340年</gydF4y2Bafpage> <lpage> 349年</gydF4y2Balpage> </element-citation> </ref> <ref id="B40" content-type="misc"> <label>40</gydF4y2Balabel> <element-citation publication-type="other"> <person-group person-group-type="author"> <name> <surname> 张ydF4y2Ba</surname> <given-names> H。</g我ven-names> </name> <name> <surname> Weerasekera</年代urname> <given-names> c·S。</g我ven-names> </name> <name> <surname> 扁</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 里德</年代urname> <given-names> 我。</g我ven-names> </name> </person-group> <article-title> 视觉测程法重新审视:应该学什么?</gydF4y2Baarticle-title> <year> 2019年</yegydF4y2Baar> <comment> <ext-link ext-link-type="uri" xlink:href="https://arxiv.org/abs/1909.09803"> https://arxiv.org/abs/1909.09803</extgydF4y2Ba-link> </comment> </element-citation> </ref> <ref id="B41" content-type="inproceedings"> <label>41</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 陈</年代urname> <given-names> P.-Y。</g我ven-names> </name> <name> <surname> 亚历山大</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> 刘</年代urname> <given-names> 研究。</g我ven-names> </name> <name> <surname> 王</年代urname> <given-names> 研究。F。</g我ven-names> </name> </person-group> <article-title> 对场景的理解:非监督单眼深度估计与semantic-aware表示</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉与模式识别会议</gydF4y2Baconf-name> <conf-date> 2019年6月</gydF4y2Baconf-date> <conf-loc> 美国加利福尼亚州长滩</gydF4y2Baconf-loc> <fpage> 2624年</gydF4y2Bafpage> <lpage> 2632年</gydF4y2Balpage> </element-citation> </ref> <ref id="B42" content-type="inproceedings"> <label>42</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 阴</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 史</年代urname> <given-names> J。</g我ven-names> </name> </person-group> <article-title> 地理网:密集深度的无监督学习,光流和相机的姿势</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉与模式识别会议</gydF4y2Baconf-name> <conf-date> 2019年6月</gydF4y2Baconf-date> <conf-loc> 美国加利福尼亚州长滩</gydF4y2Baconf-loc> <fpage> 1983年</gydF4y2Bafpage> <lpage> 1992年</gydF4y2Balpage> </element-citation> </ref> <ref id="B43" content-type="inproceedings"> <label>43</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 野生动物</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> Jampani</年代urname> <given-names> V。</g我ven-names> </name> <name> <surname> 球</年代urname> <given-names> l</g我ven-names> </name> <etal></etal> </person-group> <article-title> 竞争协作:联合无监督学习的深度,相机运动,光流和运动分割</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉与模式识别会议</gydF4y2Baconf-name> <conf-date> 2019年6月</gydF4y2Baconf-date> <conf-loc> 美国加利福尼亚州长滩</gydF4y2Baconf-loc> <fpage> 12240年</gydF4y2Bafpage> <lpage> 12249年</gydF4y2Balpage> </element-citation> </ref> <ref id="B44" content-type="inproceedings"> <label>44</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 古普塔</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> 密特拉</年代urname> <given-names> K。</g我ven-names> </name> </person-group> <article-title> 无人监督的单一的水下图像深度估计</gydF4y2Baarticle-title> <conf-name> 学报2019年IEEE国际会议上图像处理(ICIP)</gydF4y2Baconf-name> <conf-date> 2019年9月</gydF4y2Baconf-date> <conf-loc> 台北,台湾</gydF4y2Baconf-loc> <fpage> 624年</gydF4y2Bafpage> <lpage> 628年</gydF4y2Balpage> </element-citation> </ref> <ref id="B45" content-type="inproceedings"> <label>45</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 保罗</年代urname> <given-names> D。</g我ven-names> </name> <name> <surname> Nascimento</年代urname> <given-names> E。</g我ven-names> </name> <name> <surname> 莫拉</年代urname> <given-names> F。</g我ven-names> </name> <name> <surname> Botelho</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> 坎波斯</年代urname> <given-names> M。</g我ven-names> </name> </person-group> <article-title> 估计在水下单一图像传播</gydF4y2Baarticle-title> <conf-name> 《IEEE计算机视觉国际会议研讨会</gydF4y2Baconf-name> <conf-date> 2013年4月</gydF4y2Baconf-date> <conf-loc> 澳大利亚悉尼</gydF4y2Baconf-loc> <fpage> 825年</gydF4y2Bafpage> <lpage> 830年</gydF4y2Balpage> </element-citation> </ref> <ref id="B46" content-type="article"> <label>46</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 彭</年代urname> <given-names> Y.-T。</g我ven-names> </name> <name> <surname> Cosman</年代urname> <given-names> p C。</g我ven-names> </name> </person-group> <article-title> 水下图像恢复基于图像模糊强度和光吸收</gydF4y2Baarticle-title> <source> <italic> IEEE图像处理</我talic> <year> 2017年</yegydF4y2Baar> <volume> 26</gydF4y2Bavolume> <issue> 4</我年代年代ue> <fpage> 1579年</gydF4y2Bafpage> <lpage> 1594年</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.1109 / tip.2017.2663846</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85015764878</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B47" content-type="inproceedings"> <label>47</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 丁</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 王</年代urname> <given-names> Y。</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 傅</年代urname> <given-names> X。</g我ven-names> </name> </person-group> <article-title> 水下图像dehaze使用场景深度估计和自适应颜色校正</gydF4y2Baarticle-title> <conf-name> 海洋2017</gydF4y2Baconf-name> <conf-date> 2017年6月</gydF4y2Baconf-date> <conf-loc> 苏格兰阿伯丁</gydF4y2Baconf-loc> <fpage> 1</gydF4y2Bafpage> <lpage> 5</gydF4y2Balpage> </element-citation> </ref> <ref id="B48" content-type="inproceedings"> <label>48</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> O Ancuti</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> Ancuti</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> De Vleeschouwer</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> 诺伊曼</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 加西亚</年代urname> <given-names> R。</g我ven-names> </name> </person-group> <article-title> 颜色传输水下dehazing和深度估计</gydF4y2Baarticle-title> <conf-name> 学报2017年IEEE国际会议上图像处理(ICIP)</gydF4y2Baconf-name> <conf-date> 2017年9月</gydF4y2Baconf-date> <conf-loc> 中国,北京</gydF4y2Baconf-loc> <fpage> 695年</gydF4y2Bafpage> <lpage> 699年</gydF4y2Balpage> </element-citation> </ref> <ref id="B49" content-type="inproceedings"> <label>49</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 斯金纳</年代urname> <given-names> k。</g我ven-names> </name> <name> <surname> 伊斯卡</年代urname> <given-names> E。</g我ven-names> </name> <name> <surname> Johnson-Roberson</年代urname> <given-names> M。</g我ven-names> </name> </person-group> <article-title> 自动颜色校正水下场景的三维重建</gydF4y2Baarticle-title> <conf-name> 学报2017年IEEE机器人与自动化国际会议上)举行(“国际机器人与自动化会议”</gydF4y2Baconf-name> <conf-date> 2017年5月</gydF4y2Baconf-date> <conf-loc> 新加坡</gydF4y2Baconf-loc> <fpage> 5140年</gydF4y2Bafpage> <lpage> 5147年</gydF4y2Balpage> </element-citation> </ref> <ref id="B50" content-type="article"> <label>50</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 杰夫</年代urname> <given-names> j·S。</g我ven-names> </name> </person-group> <article-title> 计算机建模和优化水下成像系统的设计</gydF4y2Baarticle-title> <source> <italic> IEEE海洋工程》杂志上</我talic> <year> 1990年</yegydF4y2Baar> <volume> 15</gydF4y2Bavolume> <issue> 2</我年代年代ue> <fpage> 101年</gydF4y2Bafpage> <lpage> 111年</gydF4y2Balpage> <pub-id pub-id-type="doi"> 10.1109/48.50695</pgydF4y2Baub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 0025416457</pgydF4y2Baub-id> </element-citation> </ref> <ref id="B51" content-type="article"> <label>51</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> McGlamery</年代urname> <given-names> b . L。</g我ven-names> </name> </person-group> <article-title> 水下摄像系统性能的计算机分析和仿真</gydF4y2Baarticle-title> <source> <italic> SIO参考</我talic> <year> 1975年</yegydF4y2Baar> <volume> 75年</gydF4y2Bavolume> <issue> 2</我年代年代ue> </element-citation> </ref> <ref id="B52" content-type="inproceedings"> <label>52</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 斯金纳</年代urname> <given-names> k。</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 奥尔森</年代urname> <given-names> 大肠。</g我ven-names> </name> <name> <surname> Uwstereonet</年代urname> <given-names> m . J.-R。</g我ven-names> </name> </person-group> <article-title> 无监督学习的深度估计和水下立体图像的色彩校正</gydF4y2Baarticle-title> <conf-name> 机器人和自动化学报2019年国际会议上)举行(“国际机器人与自动化会议”</gydF4y2Baconf-name> <conf-date> 2019年5月</gydF4y2Baconf-date> <conf-loc> 新加坡</gydF4y2Baconf-loc> <fpage> 7947年</gydF4y2Bafpage> <lpage> 7954年</gydF4y2Balpage> </element-citation> </ref> <ref id="B53" content-type="inproceedings"> <label>53</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Laina</年代urname> <given-names> 我。</g我ven-names> </name> <name> <surname> Rupprecht</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> Belagiannis</年代urname> <given-names> V。</g我ven-names> </name> <name> <surname> Tombari</年代urname> <given-names> F。</g我ven-names> </name> <name> <surname> 布</年代urname> <given-names> N。</g我ven-names> </name> </person-group> <article-title> 更深的深度预测完全卷积残余网络</gydF4y2Baarticle-title> <conf-name> 学报》2016年第四次国际会议3 d视觉(3 dv)</gydF4y2Baconf-name> <conf-date> 2016年10月</gydF4y2Baconf-date> <conf-loc> 斯坦福大学,加州</gydF4y2Baconf-loc> <fpage> 239年</gydF4y2Bafpage> <lpage> 248年</gydF4y2Balpage> </element-citation> </ref> <ref id="B54" content-type="inproceedings"> <label>54</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Tateno</年代urname> <given-names> K。</g我ven-names> </name> <name> <surname> 布</年代urname> <given-names> N。</g我ven-names> </name> <name> <surname> Tombari</年代urname> <given-names> F。</g我ven-names> </name> </person-group> <article-title> Distortion-aware卷积过滤器密度预测的全景图像</gydF4y2Baarticle-title> <conf-name> 计算机视觉的欧洲会议(大会)</gydF4y2Baconf-name> <conf-date> 2018年9月</gydF4y2Baconf-date> <conf-loc> 德国慕尼黑</gydF4y2Baconf-loc> <fpage> 707年</gydF4y2Bafpage> <lpage> 722年</gydF4y2Balpage> </element-citation> </ref> <ref id="B55" content-type="article"> <label>55</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 格拉汉姆·古德费勒</年代urname> <given-names> 我。</g我ven-names> </name> <name> <surname> Pouget-Abadie</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 阁下</年代urname> <given-names> M。</g我ven-names> </name> <etal></etal> </person-group> <article-title> 生成敌对的网</gydF4y2Baarticle-title> <source> <italic> 先进的神经信息处理系统</我talic> <year> 2014年</yegydF4y2Baar> <fpage> 2672年</gydF4y2Bafpage> <lpage> 2680年</gydF4y2Balpage> </element-citation> </ref> <ref id="B56" content-type="article"> <label>56</gydF4y2Balabel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 特征</年代urname> <given-names> D。</g我ven-names> </name> <name> <surname> Puhrsch</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> 费格斯</年代urname> <given-names> R。</g我ven-names> </name> </person-group> <article-title> 深度地图从一个使用多尺度图像深度预测网络</gydF4y2Baarticle-title> <source> <italic> 先进的神经信息处理系统</我talic> <year> 2014年</yegydF4y2Baar> <fpage> 2366年</gydF4y2Bafpage> <lpage> 2374年</gydF4y2Balpage> </element-citation> </ref> <ref id="B57" content-type="inproceedings"> <label>57</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 金</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 徐</年代urname> <given-names> Y。</g我ven-names> </name> <name> <surname> 贾</年代urname> <given-names> Z。</g我ven-names> </name> <etal></etal> </person-group> <article-title> 基于几何结构和正规化的深度估计从360年室内图像</gydF4y2Baarticle-title> <conf-name> 《IEEE / CVF计算机视觉与模式识别会议</gydF4y2Baconf-name> <conf-date> 2020年6月</gydF4y2Baconf-date> <conf-loc> 美国西雅图,华盛顿州</gydF4y2Baconf-loc> <fpage> 889年</gydF4y2Bafpage> <lpage> 898年</gydF4y2Balpage> </element-citation> </ref> <ref id="B58" content-type="inproceedings"> <label>58</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Ronneberger</年代urname> <given-names> O。</g我ven-names> </name> <name> <surname> 费舍尔</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> Brox</年代urname> <given-names> T。</g我ven-names> </name> </person-group> <article-title> U-net:卷积网络生物医学图像分割</gydF4y2Baarticle-title> <conf-name> 《医学影像计算和计算机辅助介入的国际会议</gydF4y2Baconf-name> <conf-date> 2015年10月</gydF4y2Baconf-date> <conf-loc> 德国慕尼黑</gydF4y2Baconf-loc> <fpage> 234年</gydF4y2Bafpage> <lpage> 241年</gydF4y2Balpage> </element-citation> </ref> <ref id="B59" content-type="inproceedings"> <label>59</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 张</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 徐</年代urname> <given-names> Y。</g我ven-names> </name> <name> <surname> 余</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 高</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 360年卓越检测视频</gydF4y2Baarticle-title> <conf-name> 计算机视觉的欧洲会议(大会)</gydF4y2Baconf-name> <conf-date> 2018年9月</gydF4y2Baconf-date> <conf-loc> 德国慕尼黑</gydF4y2Baconf-loc> <fpage> 488年</gydF4y2Bafpage> <lpage> 503年</gydF4y2Balpage> </element-citation> </ref> <ref id="B60" content-type="inproceedings"> <label>60</gydF4y2Balabel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Stewenius</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> nist</年代urname> <given-names> D。</g我ven-names> </name> <name> <surname> 卡尔</年代urname> <given-names> F。</g我ven-names> </name> <name> <surname> Schaffalitzky</年代urname> <given-names> F。</g我ven-names> </name> </person-group> <article-title> 最小的解决方案相对姿态与未知的焦距</gydF4y2Baarticle-title> <volume> 2</gydF4y2Bavolume> <conf-name> 2005年IEEE计算机学会学报计算机视觉与模式识别会议(CVPR ' 05)</gydF4y2Baconf-name> <conf-date> 2005年6月</gydF4y2Baconf-date> <conf-loc> 加州圣地亚哥</gydF4y2Baconf-loc> <fpage> 789年</gydF4y2Bafpage> <lpage> 794年</gydF4y2Balpage> </element-citation> </ref> <ref id="B61" content-type="book"> <label>61年</gydF4y2Balabel> <element-citation publication-type="book"> <person-group person-group-type="author"> <name> <surname> 哈特利</年代urname> <given-names> R。</g我ven-names> </name> <name> <surname> Zisserman</年代urname> <given-names> 一个。</g我ven-names> </name> </person-group> <source> <italic> 计算机视觉中的多视图几何</我talic> <year> 2003年</yegydF4y2Baar> <publisher-loc> 英国剑桥</pgydF4y2Baublisher-loc> <publisher-name> 剑桥大学出版社</pgydF4y2Baublisher-name> </element-citation> </ref> </ref-list> </back> </article> </body> </html>