系统研究和实现船舶Autorecognition草案通过无人机

文摘

船吃水的阅读过程中是重要的一步称重和定价。传统的检测方法是费时和labor-consuming,很容易导致misdetection。为了解决上述问题,本文介绍了计算机图像处理技术基于深度学习,和具体过程分为三个步骤:首先,视频抽样由无人机获取大量的船舶吃水的脸的照片,和图像预处理;然后,深度学习的目标检测算法的改进YOLOv3用于处理图像预测草案水线和识别字符的位置;最后,预测结果进行了分析和处理来获得最终的阅读结果。实验结果表明,该船吃水阅读本文方法有明显的效果。该方法具有良好的检测效果高质量的图像,准确率可以达到98%。的准确率可以达到73%捕获不当造成的图像质量较差,性格腐蚀,恶劣天气,等。该方法是一种人工智能方法具有测量过程安全、高测量效果,和准确性,为相关研究提供一个新的想法。

1。介绍

船吃水阅读是一个重要的方法广泛应用于测量船舶货物装载和确定进出口商品的重量。根据2021年的统计数据表示,中国规模以上港口货物吞吐量达到23亿吨,同比增长6.4%,集装箱吞吐量增长了2.27%至8.3%,和增长速度明显快于货物的6.4%。其中,外贸煤炭的进口量已明显增加,和增长速度超过预期值1]。

准确的结果草案体重的测量具有重要意义的保护运营商的利益,发货人,收货人。当前的主流方法是人工观察。然而,随着国与国之间日益密切的经济往来,人工观测的效率难以支持船舶货运需求的快速增长。近年来,多数新草案重量测量方法有更高的要求和维护成本的重量测量设备。

有很多现有的检测方法(草案2),主要包括(1)人工观察,容易受到干扰的主观因素和客观条件(3]。观察结果有很大的偏离实际价值和需要大量的人力和时间消耗。(2)压力传感器检测,提前使用压力传感器安装在船体,获得水深的变化通过加载前后的压力,精度高。然而,由于仪器的密度和精度高,安装方便,后期维护成本高,不容易普及。(3)声纳检测(4):因为超声波能量传递的衰减速度慢水和极强的渗透力,声纳探测使用这个特性来衡量船舶水线。然而,由于仪器的准确性和由于安装位置通常是在水下,也有困难的安装和维护成本高的问题。(4)计算机图像检测:与当前人工智能技术的迅速发展,其应用范围蔓延到各个领域,其中的图像处理技术是特别有力。在无人机等领域(5)和医学(6),很多自动图像识别技术(基于图像处理的原则7)也被搬上了舞台。有一些勘探领域的基于图像检测技术的船吃水。表1上述参数比较水规检测方法。

从表可以看出1深度学习,基于计算机视觉的图像检测技术有最好的效果,和高精度和低成本的普及摄影器材市场还提供草案的可能性基于计算机视觉的阅读。目前,现有的深度学习的方法是使用语义分割算法分割图像中目标区域(8),获得水线位置,然后根据传统方法获得最终稿。同时,目标探测技术近年来已经越来越成熟,如R-CNN更快,SSD, YOLO,意思和其他深度学习算法,在目标检测领域取得了良好的结果。因此,本文开展的研究计算机视觉的方向,提出了一种深学习对象检测算法基于改进YOLOv3 [9吃水)进行研究。通过预处理在早期阶段抽样数据,输入YOLOv3网络培训,水线的位置和角色草案可以预测。然后,结果的准确性可以根据网络的损失。最后,阅读草案公式可以根据一些配件的加工功能。

2。材料和方法

2.1。实验材料

2.1.1。实验设备和环境

本文研究的应用船舶吃水深度学习目标检测算法。因为它是一个基于深度学习图像处理技术,对设备要求高。本文使用的硬件设备是英特尔酷睿19 9900 k, 32 GB RAM和GPU RTX 2080 ti;实验环境的软件是Python 3.6.8和PyCharm 2020.3专业版,使用NumPy OpenCV,和Matplotlib模块包来处理视频和图像,并利用PyTorch构建神经网络。

2.1.2。图像采集船舶吃水的表面

船吃水表面视频拍摄F450无人机在苏州海关的分辨率为1920×1080。有50个视频(在不同的天气条件),其中每个持续5分钟,共250分钟。图1显示视频拍摄的效果。

2.2。船吃水对数检测的基本原理

草案阅读的过程主要包括两个部分:一个是在船上草案的特点,另一个是水线的位置。水线的位置可以检测到图像背景减法和边缘检测。然而,考虑到水面的波动和各种影响因素的颜色差异,深入学习检测算法使用YOLOv3会有更好的效果。草案的字符,它实际上是目标检测的过程中,可以实现通过使用R-CNN更快,SSD, YOLOv3和其他检测方法。然而,由于前两个算法背后YOLOv3地图和检测速度,实现两个部分通过使用YOLOv3检测算法。

3所示。实验原理及过程

本文改进的YOLOv3网络是用来检测吃水线和草案的性格。其网络结构如图2。其骨干网Darknet53,包含53层和卷积是一种特征提取网络。Darknet包含一系列的残余结构剩余模块。中的卷积层网络实际上包括三个部分:Conv2d层,BN层,LeakyReLu层。考虑到水线的草稿图像是清楚的和草案性格也比较容易检测的字符,不必要的使用等深Darknet53网络特征提取网络。本文设计了一种光特征提取网络两者(小型网络)检测任务。特征提取网络后,后面是三个分支的预测输出。第一个预测输出对应于一个大目标的预测;第二个预测输出地图是一个中型的融合特性,预测一个中型目标;第三个预测输出是地图和大型的融合特性,最后,是一个小目标的预测。 Please refer to Figure2为特定的信息。

3.1。图像预处理

OpenCV库是用于读取捕获的视频图像。根据船舶在视频中的位置的变化,我们终于决定采取一个框架每3秒。250分钟的视频可以采样5000张照片。在拍摄视频,船体上的字符和数字并不在一条垂直线由于拍摄角度和船体摇晃,这将极大地影响培训的效果。因此,本文是在寻找一个更好的处理方法,最后决定使用图像仿射变换的原则来处理图像为了得到图像的垂直字符和数字。图像仿射变换是一个线性变换的二维坐标(x,y)二维坐标 ,和数学公式如下:

仿射变换保持平直度和并行性的二维图像。换句话说,最初的直线仍然相同,以及最初的平行线,但每个点的坐标位置都发生了巨大变化。可以变成斜直线垂直,这样问题,垂直线的船体字符不能够解决。图像仿射处理后如图3。

3.2。水线检测

YOLOv3网格用于检测吃水线。尽管整个水线可以包含更多的水线信息,最终识别结果基于这些信息不能适应水线,所以有必要恢复水波在实际的运输过程。因此,YOLOv3网络可以用来标记和优化水线在实际的运输过程。由于不同风格的每一张照片,本文采用人工标记,这主要是船的图片帧手动数据集,使用多个方块标志着水线(6),将手动标记图片YOLOv3网络培训,然后预测新照片获得预测水线位置的新照片。效果如图4,对应于水线YOLOv3探测到手动标记,分别。

3.3。草案字符识别

摘要草案字符的识别也发现使用YOLOv3的目标检测算法。数字和字符手动标记并输入到网络培训。

作为主要的网络YOLOv3使用Darknet网络,是一种卷积神经网络如图5。的三个特征卷积神经网络(10),当地的接受域、体重共享,将采样,大大降低了网络的复杂性模型和参数的数量,并对网格数据处理的影响比传统款。因此,它被广泛用于图像分类和目标识别领域。

假设层是一个卷积层和层 是一个汇聚层,计算的过程吗功能层的地图见公式(2),卷积核。

剩余的计算公式功能映射层如下:

YOLO算法采用单一的意思卷积神经网络模型来实现端到端目标探测。输入图像调整 然后输入到CNN来处理网络预测结果得到检测到目标,如图6。

具体地说,CNN YOLO将输入图像划分为意思 网格(11),每个网格将检测目标的中心点网格和预测边界框得分为目标和相应的信心,这被定义为 在哪里是边界框包含目标的可能性,也就是1当包含目标和0,否则。边界框的准确性,它包含了目标,这是表达的十字路口和工会比实际的盒子和预测盒。

本文为纪念5000年草案字符图片在不同的情况下,获得效果如图7。

注意,左边最下面的字符的阅读是“M”和最低厘米阅读C。由于实际情况的复杂性,预测价值应该进一步清理的相关人物在垂直方向减少的可能性的预测后得到预测结果。

3.4。收购的阅读结果

前两个部分的实现后,预测的结果水线和草案终于获得。接下来的问题是如何获得最终草案阅读根据这些预测的结果。具体方法是显示在图8,这需要一系列的处理获得终值的公式。

3.4.1。草案拟合函数的特点

结合船舶阅读规则草案,在理想条件下,如图9草案垂直于水面,数量是2,4,6,8 m数字符和米字符的高度是10厘米,和两个相邻字符之间的间距是10厘米。

由于船舶安排草案字符将弯曲的曲率,建立了坐标系与图片的左上角为原点。假设,在草案字符的识别结果,底部的纵坐标和横坐标中心人物预测最低的盒子y图中值(负值) ,其横坐标纵坐标和中心 。由于船体的曲率,像素变化之间的字符间距是不一致的,并没有预测价值。然而,字符间距较短之间的像素变化基本上是一致的,可以适应曲线。实验后,本文以三个数字与实际总距离小于1米从下到上,记录他们在表2。

根据表2,曲线函数通过中间的轴底部三个字符图像的拟合得到的水的统治者的角色与最小二乘法的曲线。阅读草稿的时候,会有一个交点这个函数和水线之间拟合函数,和阅读草案可以通过获得十字路口的纵坐标的值。

3.4.2。合适的像素映射函数的高度

实际的高度和像素之间的关系变化的映射函数 ,结果是0,这是记录在表中3。

根据表3映射函数间隔像素变化的实际高度使用最小二乘法推导出。最小二乘法是分类回归算法的基础上,寻找数据的最佳函数匹配通过最小化误差的平方和定义为

最优值这使得最小值。

当自变量的多项式 , 预测价值和吗是真正的价值。当两者之间的平方和差异是最小的,它可以被认为是所有预测值的偏差度的真正价值是最少的程度上,这是最佳的拟合曲线。多项式的次数越高,拟合曲线就会越多,但是拟合速度就越慢。测试后,八组数据和6度多项式能满足需求。

映射函数拟合的最小二乘法具有良好的抗干扰能力,当船体出现弧度,但字符识别结果框背离时,它将导致一定的映射结果的偏差。在这种情况下,映射函数需要计算。根据比例关系的高度字符框底部的船体识别和10厘米,公式(6)和(7)得到: 在哪里是厘米从底部最低的角色表面的水。相比之下, , 减少了错误偏差造成的字符识别框,但它没有的优势在船体弧度检测。因此,在统一的规范和 ,让手动标签阅读是因变量 ,的变化和是 , 是米,是u。三个变量的最小二乘法12)用于进一步研究上述三个之间的关系和映射函数 。函数之间的关系反映了草案的像素高度阅读和实际的高度,通过阅读可以获得实际的草案。

3.4.3。波曲线拟合

水线实验后的预测,预测的数量框中图片通常是大约20个,和中央协调预测盒。在这里,两种方法都试图确定水线曲线 ,和水线的拟合效果相对较好。细节如下:(1)用最小二乘法拟合波曲线:以四个中心点为一组数据,建立了三次多项式,拟合函数是利用最小二乘法计算。因为预测盒的分布大致均匀的在水平轴,后者的第一个坐标可以作为第四组数据协调一组数据,最后结果是一个拟合波曲线。(2)由三次样条插值拟合波曲线:在现实情况下,发现预测框将显示错误识别的现象。因此,在上面的方法(1),进行最小二乘曲线拟合段减少误差干扰。方法(2)也使用三次样条曲线差分法(13- - - - - -18)以适应曲线基于分割的概念。

三次样条插值法将是一个区间 成n的时间间隔 和使用已知的 点来模拟一个未知函数 。这个函数满足下列条件:① 。② 是一个三次多项式在每个子区间 。③ 二阶连续可微的 ,和满足

具体拟合波曲线拟合的方法,根据实际需要选择数据集。最小二乘拟合曲线是一个多项式形式确定近视通过跟踪点。然而,由于给定的误差数据,拟合曲线的数学模型不能被选中在一开始,它通常需要多个计算和分析获得良好的拟合效果。三次样条插值法与不同数量的点,准确性,选择不同的点。不同的点越多,更好的拟合结果。本文中的数据集是有限的,所以三次样条插值法用于适应水线。拟合效果好,速度快。最后,拟合函数是获得。

3.4.4。阅读草稿公式

根据前面的拟合步骤,阅读可以获得草案的计算公式:(1)让 ;然后,获得(2)让 获得实际的高度变化(3)比较高度之间的关系字符网络预测的草案,草案并选择最低的米米和厘米C的高度在人物坐标集(4) (单位:米)

3.4.5。应用程序的阅读结果

上面的一系列处理后,阅读是草案的最终配方。根据这个公式,我们可以实现系统的阅读法草案为了把它应用在实际测量的过程。例如,一组船舶吃水系统可以开发,可以部署在智能无人机,智能高清摄像头,和服务器,实现船舶吃水的阅读。两边的通道,可以安装太阳能摄像机收集船舶6草案通过高清摄像机的图像。数据可以通过数字信号,传输到服务器和系统部署在服务器上可以用来阅读船舶吃水。

在复杂的港口,无人机可以控制在岸上或在甲板上,和高流动性和高放大的无人机可以用来收集船草稿图像。此外,对于无人机配备收机上SDK定制编程,可以设置巡航模式,使无人机飞行根据设置检查模式和自动收集图片,草案进一步减少人力资源的浪费。此外,如果条件允许,无人机和智能相机与高芯片性能可以部署嵌入式系统的无人机或照相机可以读取图像时图像的草案,减少服务器的计算和提高阅读速度。

4所示。实验结果和分析

根据上述实验过程和实验步骤,训练的经验,在培训过程中地图曲线和损失曲线,曲线在验证过程中获得的,如图10。使用训练模型来预测新船的视频或图像,然后通过草案性格适合预测结果拟合函数和水线拟合函数,最后使用阅读公式读草案;一个人可以得到如图11。显示的结果可以清楚地探测的位置字符和水线,草案,草案阅读结果记录在图片的左上角。

基于时间的因素和数据收集,本文收集了5000空中草稿图像在不同的场景(不同的天气,波,光,和其他的场景),注释字符和草案水线的图片,和随机选择4000人培训,和两个测试集进行测试,测试集的数量每组500张。实验结果如表所示4。

与人工观测结果和现有的语义分割方法,我们可以获得表中的结果5。为了确保对比的可靠性数据,语义分割方法使用Fine-MobileNet [8网络改进的基于MobileNet V2网络和使用相同的数据集和硬件实验环境。人工观测结果通过一系列专业气象学家,分别阅读结果,取平均值。可以看出,在大多数情况下,该方法的阅读结果之间的误差和人工观测的结果是0.3厘米。语义细分法还可以控制错误,但绝对误差的平均值的方法在本文中很小。在实际的船舶吃水、鲁棒性好,检测精度和效率都满足实际需求。

我们也将图像分成两个类别根据照片的质量,这是相对应的图像样本清除船体字符在阳光明媚的天气和相对应的图像样本模糊船体字符在恶劣天气。这两种照片是用来测试训练模型,表和相应的结果6终于获得了。

根据上述实验结果,可以看出样本实验效果图表清晰,水线的位置和识别字符可以清晰,阅读结果草案,基本上,错误就可以稳定在0.03 m,通常在0.01 m。此外,本文比较了预测的影响,图像质量是相对贫穷的和相对良好。照片有更好的质量,比如那些有明确的船体人物和天气晴朗,他们预测精度为98%。等质量差的图片,图片的船体字符被腐蚀或模糊在恶劣的天气,他们的测试准确率仅为73%。与手动估计相比,本文的方法可以控制误差在毫米级。因此,本文的研究取得了较好的实验结果。

5。结论

本文基于计算机视觉技术,通过各种图像处理技术的探索和比较,结果表明,使用深度学习技术来预测草案阅读,用人工读数偏差在0.01米,是有效的。该方法的预测精度是98%的情况下良好的图像质量和73%的恶劣天气造成的图像质量差,船体腐蚀等原因。事实上,这种错误是正常的;即使手册阅读也有偏见,这种方法大大减少了误差。此外,使用深度学习图像处理方法在速度和精度都有更好的效果比传统手动阅读法和传统的图像检测技术。

然而,它不容忽视,在实验结果仍有一些错误,这是离不开复杂多变的实际航行情况。还会有各种干扰在实际检测,这需要进一步的研究来收集大量的船体图片在不同的环境中,建立一个更大的数据集,训练网络,增强模型的鲁棒性。与此同时,数据预处理也值得进一步研究。

数据可用性

本文中使用的数据集是由公司提供的江苏,中国。它不能免费提供。我们只允许使用一些图像。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项研究是由中国政法大学Industry-University-Research创新基金(新一代信息技术创新项目)(2019 ita03004)。

引用

1. c .刘和j·李,“自我修正船舶跟踪和计数变量基于YOLOv3时间窗口,“复杂性卷,2021篇文章ID 2889115、9页,2021。视图:出版商的网站|谷歌学术搜索
2. 施曹y, y, w . et al .,“船喷水的侵蚀透钢:实验研究,“冲击和振动卷,2021篇文章ID 6617685、8页,2021。视图:出版商的网站|谷歌学术搜索
3. Xi江、h·毛和h .张”同时优化的班轮运输路线和运输计划与时间窗设计,“数学问题在工程卷,2020篇文章ID 3287973, 11页,2020年。视图:出版商的网站|谷歌学术搜索
4. p .元,p . Wang,于赵,“创新方法对船舶航行安全风险响应landslide-induced波,“土木工程的发展卷,2021篇文章ID 6640548, 10页,2021。视图:出版商的网站|谷歌学术搜索
5. m . s . Wang呗,m .据传et al .,“TorontoCity:一百万只眼睛看世界,”2016年,https://arxiv.org/abs/1612.00423v1。视图:谷歌学术搜索
6. 问:窦,l . Yu h . Chen等人“3 d深深监督网络容量医学图像的自动分割,“医学图像分析41卷,盂,2017页。视图:出版商的网站|谷歌学术搜索
7. 罗朱x和y,“智能阅读分析和研究基于图像处理和船舶吃水深度学习,”质量安全检查和测试,30卷,不。3、102 - 105年,2020页。视图:谷歌学术搜索
8. 李h, y, y雪,w·张,和y高,“船舶水线提取策略基于深度学习。”控制理论与应用,37卷,不。11日,第2353 - 2347页,2020年。视图:谷歌学术搜索
9. w·詹,r . Inomjon w·崔,j . Yu”概述深度学习对象的检测算法基于候选区域,”长江大学学报(自然科学版),16卷,不。5,108 - 115年,2019页。视图:谷歌学术搜索
10. k . m . l . Wang Chen孟et al .,“水位识别方法研究深度学习算法的基础上,“水资源信息化卷。2020年,39-43,2020页。视图:谷歌学术搜索
11. Redmon和a·哈蒂YOLOv3:增量改进,2018,https://arxiv.org/abs/1804.02767v1。
12. 李贾,c . Xiumin x刘、谢,w .他,“一个方法来恢复丢失的轨迹在内河船舶,”哈尔滨工程大学学报40卷,第73 - 67页,2019年。视图:谷歌学术搜索
13. c .太阳、w·詹,j .她和y,“从视频对象检测通过卷积神经网络由无人驾驶飞机,”数学问题在工程卷,2020篇文章ID 4013647, 10页,2020。视图:出版商的网站|谷歌学术搜索
14. z z, w·詹,他et al .,“时空上下文和应用卷积神经网络(CNN)的梳理行为bactrocera minax(双翅目:trypetidae)检测和统计,“昆虫,11卷,不。9日,2020年。视图:出版商的网站|谷歌学术搜索
15. x王、黄m和l . Wan”联合2 d-dod和2 d-doa估计coprime EMVS-MIMO雷达,”电路、系统和信号处理,40卷,不。6,2950 - 2966年,2021页。视图:出版商的网站|谷歌学术搜索
16. l . j .他李,t·舒”稀疏嵌套数组空间正交偶极子传播:高精度无源测向用更少的相互耦合,”IEEE航空航天和电子系统,99卷,2021年。视图:出版商的网站|谷歌学术搜索
17. f·温、j·史和z,“封闭估计算法对任意EMVS-MIMO雷达传感器几何,”信号处理,186卷,2021年。视图:出版商的网站|谷歌学术搜索
18. w·詹z邹,z, z,“重点跟踪和修饰行为识别Bactrocera minax(双翅目:Trypetidae)通过DeepLabCut。”数学问题在工程卷,2021篇文章ID 1392362, 15页,2021年。视图:出版商的网站|谷歌学术搜索

版权

版权©2021魏詹等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。