文摘

垃圾分类是困难的监督阶段的收集和运输。提出了一种计算机智能监督工作量统计的方法建立的垃圾车。在硬件方面,本文部署一个摄像头和一个图像处理单元与转专业基于最初的机载计算机和通信设备。在软件方面,本文使用YOLOv3-tiny算法在图像处理单元执行实时目标检测垃圾车工作,收集统计颜色,规格,和数量的垃圾桶清理垃圾的卡车,并上传结果到服务器进行记录和显示。该方法部署和维护成本较低,同时保持良好的精度和实时性能,这使得它有良好的商业应用价值。

1。介绍

目前,垃圾分类已经收到了极大的关注。垃圾分类不仅可以发挥保护环境的作用,还可以回收和重用一些资源,具有较高的社会效益。垃圾分为四个类别和放置在四色垃圾桶,包括可回收(蓝色),厨房垃圾(绿色),危险废物(红色)和其他垃圾(黑色)1]。四种类型的垃圾桶在图所示1。

垃圾收集和运输的工作是收集和运输垃圾分布在垃圾桶里的城市。根据规定,每个垃圾车只能收集和运输垃圾的一个类别。然而,由于缺乏有效的监管手段,有一个现象,机上人员不遵守法规和其他类型的垃圾倒入他们的卡车。

与此同时,由于缺乏有效的统计数据意味着,车辆调度的问题,没有可靠的数据基础往往导致伟大的每个垃圾车的工作负载的差异。随着计算机技术的发展,移动设备已经部署人工条件结果的技术。的发展,神经网络处理单元(转专业)大大降低部署的难度和成本的深度学习技术。计算机视觉是人工智能的一个重要分支。通过基于卷积神经网络学习方法,计算机可以获得环境感知能力类似于人类视觉通过分析摄像机捕获的照片。本文试图利用计算机视觉技术监督和垃圾车的工作负载。收集的数据主要包括数量、颜色和规格的垃圾桶收集垃圾的卡车。本文的主要贡献如下。(我)硬件部署方案的基础上提出了转专业的图像处理单元(2)基于图像特征的分析的垃圾桶,垃圾桶识别的数据集是建立了使用垃圾桶的颜色作为分类依据(3)垃圾车的智能监督工作负载统计算法,提出了基于训练YOLOv3-tiny模型

论文的结构如下。部分2论文的相关工作,包括当前监督方法垃圾车,类型的垃圾车,部署和各种目标检测算法在移动设备上的应用程序。部分3详细描述的方法,本文从硬件部署方案的角度和对象检测算法。部分4是实验,给出了本文的测试结果在现实环境。部分5总结和前景。

2。相关的工作

目前,有监控和统计方法垃圾车在中联环境中,这是通过安装RFID标签与特定的信息每个垃圾桶的底部。然而,垃圾桶是严酷的工作环境,和RFID标签容易损坏或脱落。此外,市场上并不是所有的垃圾桶是由同一家公司。当有不同的数据格式RFID标签和接收器,或在处理垃圾桶没有射频识别,该方法将完全丧失工作能力。大部分的垃圾可以收集和运输车辆在中国采用自动的和卸载设计。根据不同的垃圾桶的装载位置,他们可以分为两种类型:一边喂食(从一边垃圾倾倒)和后方类型(垃圾倾倒回来),如图2。

一边喂设计只能清洁一次一个垃圾桶,而后方喂养类型可以同时两个垃圾桶清理干净。根据中联环境的数据,其公司生产超过8000后喂养垃圾车每年只有大约4000喂养垃圾车。因为后面喂养垃圾车有更大的占有和识别困难,本文以它为例进行研究和实验,但是这种方法还可以扩展到一边喂垃圾车的部署。

目标检测技术是许多计算机视觉研究的基础,用于定位、跟踪和分析所有的潜在对象在图像2]。传统的目标检测主要是实现根据区域选择的步骤和功能分类。有各种各样的特征提取算子和分类,例如,功能筛选[3,猪4),枸杞多糖(5)和支持向量机等特点(6),演算法(7),等等。然而,由于人类设计的特点,传统的目标检测方法的泛化能力是很弱的,它很容易受到外部环境因素的影响。与深度学习的发展,对象检测已逐渐转移到实现基于卷积神经网络,如著名的R-CNN [8]和SSD [9]。基于深度学习的对象检测突破人为设定的目标图像特性的限制,和目标检测的准确性和鲁棒性都得到了很大的改善,通过自动学习可能通过卷积神经网络特性的目标。然而,大多数物体的检测方法基于卷积神经网络计算能力有很高的要求,这使得它面临的挑战和不利于实时移动设备的部署。在过去的几年里,越来越多的学者开始关注对象的实时性能检测,和一些优秀的实时性能目标检测算法如快R-CNN [10有人知道由罗[]和11- - - - - -13)已经出现。目标探测车辆环境中也被学术界广泛的关注,但大多数集中在家庭的辅助驾驶汽车,如行人检测、交通标志检测、等等。在[14),YOLOv2用于交通标志识别,可有效检测三种类型的实时交通标志。在[15),实时行人检测实现了新开发的嵌入式设备上通过猪+ SVM。在[16),卡车司机的潜在危险驾驶行为分析基于11个月数字计速器数据和多级建模方法。在[17),一个分配模型被用来理解个性化驾驶状态。尽管垃圾桶的运动过程的识别是识别相关的行动,人类的手势识别相比,任务显然是更规范和简单。我们从手势识别获得一些灵感。线性判别分析(LDA)和极端学习机(ELM)是非常普遍的在手势识别18- - - - - -20.]。机器学习也应用在许多手势识别(21- - - - - -24]。识别手势也有工作的一些函数相结合物联网(物联网)25]。除了车环境,CNN在其他领域也有广泛应用,如智能城市(26- - - - - -28)、医疗(29日,30.),和运输31日]。更重要的是,网络路由协议不断改善(32- - - - - -34),和传感器网络的发展35- - - - - -37)大大提高物联网的可靠性(38- - - - - -40]。

3所示。方法

本文创造性地物体检测算法适用于垃圾卡车监视和数据统计。以下将详细说明本文的方法从硬件的角度部署和软件设计。

3.1。硬件部署

由于垃圾车的特殊环境,硬件部署方案将受到功耗等因素的影响,计算能力、设备,等等。相机的角度,数据的传输方式,图像处理单元的计算能力都将影响软件的设计水平。本文的总体硬件部署场景图所示3。

最垃圾的卡车有自己的车载电脑与移动网络通信功能来记录车辆的位置和剩余的燃料。使用原始数据通信方法可以有效降低部署成本和难度。只有一个防水相机和图像处理单元安装在卡车上的设计。垃圾车的监督和数据统计工作是通过软件实现的水平。因为垃圾桶大、图像处理单元的计算能力较弱,本文相机分辨率选择 。与前面的车前面,偏上的相机是安排工作位置的垃圾桶里。以水平方向为0度,摄像机角是大约10度。垃圾桶在最高位置时,它是必要的,以确保垂直方向垃圾桶的两个位置是完全拍摄,如图4。样品拍照过程中把桶后如图5。

图像处理单元有一个神经网络处理单元转专业,转专业的计算力是3。CPU采用ARM架构。与传统的x86结构相比CPU + GPU, CPU +转臂结构的低功耗和小体积,哪个更适合部署在车内环境。图像处理单元与车载电脑通过串口通信,检测结果传送到车载计算机特定格式的数据信息,然后通过移动网络向服务器上传数据记录和随后的显示。

3.2。软件设计

在这一节中,本文建立的数据集,然后,描述的对象检测算法。

3.2.1之上。数据集

对象检测模型的训练是一种监督学习,需要构建一个数据集的标签。首先,本文分析了垃圾桶的形象特征。根据不同类型的垃圾,垃圾桶清理的垃圾收集和运输卡车根据颜色可分为四类。蓝色的垃圾桶包含可回收垃圾;绿色垃圾桶包含湿垃圾;红色垃圾桶含有有害垃圾,和黑色垃圾桶包含干垃圾。

与此同时,有许多不同的这些箱子的容积;最常见的是120 l和240 l。因为二维图像的局限性,之间没有本质区别在二维图像不同容积的垃圾桶,而三个通道图像颜色信息是一个很好的特性。因此,在本文中,垃圾桶分为四种类型根据颜色特征。

此外,由于把操作的垃圾车是纯机械控制,检测项目不能获得的信号通过电信号的开始和结束,所以需要不断执行对象检测相机拍摄帧。这意味着垃圾桶不把状态不应该检测的目标对象。如图6绿色的盒子中,部分垃圾桶在转变的过程中,应标记在数据标签,而垃圾桶标志的红盒子不转弯的过程中,也应当被视为背景中(负样本),而不是被贴上标签。

一般来说,在构建数据集时,应该考虑,识别的对象模型的训练是“各种各样的垃圾桶在箱子的过程中转动,”而不是简单的“垃圾桶”。

本文在现实环境中收集的数据集是通过设置相机的卡车,这是通过记录屏幕和剪裁。它包含3266样品图片,其中一些在图所示7。

3.2.2。YOLOv3-Tiny算法

本文中使用的对象检测算法是YOLOv3-tiny。YOLOv3-tiny YOLOv3是一个简化的版本。与YOLOv3的完整版本相比,YOLOv3-tiny简化它的支柱,只有视力预测两个领域的边界框。简单网络的优势和少量的计算使它非常适合部署在这个工作场景中。其骨干网络使用一个七层卷积层加上一个最大池层网络结构,如表所示1。

YOLO系列意思的损失函数算法需要测量三个方面,即对象的坐标,信心得分和类别。坐标计算平方和的补偿函数,并计算了信心和分类熵损失函数。总体损失函数表示为公式(1)所示。

在这,代表协调的惩罚系数预测,表明它不包含目标惩罚系数,代表了预测,电网部门的数量代表由单个网格边界框的数量预测。和表明,该对象是检测并没有检测到网格和边界框。 , , ,和代表对象的左上角坐标和width-height,代表的信心水平,代表的目标的概率 - - - - - -电网属于一个特定的类别。上标^代表了真正的价值。

3.2.3。数据统计

把垃圾桶的过程是由框架是否有垃圾桶,和数据的统计过程图所示8。

当物体检测算法检测垃圾可以在一个框架,该项目被认为是把垃圾桶的过程已经开始。后来,当对象检测程序不能检测屏幕的垃圾桶,这表明将桶的过程就结束了。与此同时,垃圾桶的数量目标帧是垃圾桶的数量。自从rear-feeding垃圾车可以同时操作两个垃圾桶在操作过程中,有必要区分左和右垃圾桶。实验发现的变化 - - - - - -协调垃圾桶的目标在整个桶转动过程中是很小的。本文根据 - - - - - -轴坐标的目标,一个垃圾桶是否位于左位置或右位置校准。垃圾桶容积的判断都是特别的。因为垃圾的大小可以在整个转向过程是不断变化的,对象边界框的大小不能直接用于确定容积的垃圾桶。因此,在翻垃圾桶的过程中,物体边界框的大小在每一帧叠加,最后和用于判断箱子的容积。

结束的时候把,图像处理单元发送数据的垃圾桶车载计算机通过RS232串行端口。车载电脑会检测是否有不合格的操作根据接收到的数据。与此同时,数据上传到服务器通过移动网络记录和显示。数据记录和显示的效果如图9。

4所示。实验

4.1。实验装置

培训环境和部署环境是相互独立的。操作系统为模型的训练环境与1080 ti Ubuntu 16.04, 8 GB。

图像处理单元的部署环境有8 GB DDR3内存,和SoC采用RK3399pro。SoC的CPU采用双皮层- A72四Cortex-A53内核结构;最高的频率为1.8 G赫兹,转专业支持8位/ 16位操作,计算力是3.0。相机的分辨率 ,2毫米的焦距,水平95度的视角。它是通过USB2.0与图形处理单元。图形处理单元与车辆计算机通过RS232串口通信,和车辆通过LTE网络计算机与服务器通信。此外,操作系统的图像处理单元是Fedora28。对象检测模型是使用RKNN-toolkit部署。Python 3.6采用的编程语言。

在实验中,图像处理单元部署在马车里,如图10。相机的部署在垃圾车如图11。

4.2。模型训练

YOLOv3-tiny模型的训练参数如下:批量是64,细分是8,动量是0.9,衰变为0.0005,和迭代的数量是76000。循序渐进的策略,使用的学习速率初始值是0.001,改变了66000年和71000年的时候,比是0.1。

培训期间损失曲线如图12。培训的最终损失值验证机器是0.071556。

检测的例子YOLOv3-tiny对象检测模型训练过程中本文垃圾桶颠覆如图13。

4.3。实际现场测试

本文测试该方法多次实际工作垃圾车。6:30-9:00这些垃圾车的工作时间,和测试天气是多云,下雨和阳光明媚的。测试结果如表所示2。

从表可以看出2良好的光照条件下,该方法的精度非常高。连续的迭代之后,这种方法的准确性接近100%。然而,由于缺乏光补偿在这个实验中,光线条件很差1月在长沙城市在下雨的情况下。在这邪恶的光线条件下,该方法的识别效果大大降低。通过打补丁,问题很容易解决。实验表明该方法的良好的实时性能。转专业的图像处理单元,帧速率大于25 fps的方法。

5。结论

摘要智能监督工作量统计的方法提出了基于计算机视觉的垃圾车。的基础上使用原始的机载计算机和通讯设备,安装一个摄像头和一个图像处理单元构建的硬件环境。建立数据集的基础上被摄像头拍照,和训练YOLOv3-tiny模型进行实时检测,和数据统计可以翻转过程的垃圾车。相比传统的基于rfid的监督和数据统计的方法,该方法有较低的部署和维护成本。实验结果表明,本文提出的方法具有准确率接近100%和帧速率大于25 fps下良好的光照条件。然而,该方法的性能将大大影响当光线条件变得更糟。

网络路由协议不断改善,特别是在传感器网络领域。在未来,边缘计算和云计算可能更好的平衡。在接下来的工作,云计算可能涉及,因此该方法可以更好的计算环境。该方法的准确性和鲁棒性将进一步优化。例如,数据集将扩大和优化,以及填充光设备将被安装,使该方法适应更多的天气条件。

数据可用性

仿真实验数据用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是支持部分由中国国家重点研发项目(批准号2018 yfb1402600),中国的国家科学基金会(批准号。61772190,61672221,61702173,61972147),和湖南省自然科学基金,中国(批准号2020 jj4219)。