文摘

随着人工智能的发展,物联网,机器学习,和许多其他技术,动画设计任务基于算法理论已成为该领域的一个研究热点。近年来,认知技术已逐渐成为动画设计的关键技术,也是当前领域的重点研究内容。是否感知系统可以快速并且准确地设计动画的研究是关键。与其他算法相比,使用AVOD(聚合视图对象检测)动画设计算法具有明显的优势。原AVOD算法存在一些问题,如聚类效率低,特征提取网络的深度不足,占用大量的内存。在此基础上,本文提出了使用googleNet网络和初始模型的k - means + +来提取特征,建立优化AVOD算法。与此同时,为了说明优化方法的有效性,介绍了两种典型情况下提供科学指导和参考,为这一领域的研究。

1。介绍

一些美妙的集团行为的存在,如蜜蜂的蜂蜜收集、迁移的鸟类,和鱼的觅食,可以使用计算机来模拟和重塑这些现象。尤其是与人工智能技术的发展(1- - - - - -3,物联网4- - - - - -6),机器学习(7- - - - - -9),和其他技术,动画设计任务的基础上深入学习已成为当前领域的一个热门话题。早期的动画设计是从艺术电影。它使用人眼的视觉持久性。通过拍摄和编辑一个接一个,它将逐渐改变,显然反映静止画面的连续动态过程,使其通过一定的回放系统,也就是说,传统的设计方法。日益复杂的群体行为模型和动画制作,无论是传统的动画制作方法还是基于关键帧技术可以完成一些特定的任务和满足预期的要求。因此,探索和使用动画制作方法相对简单,高效,真正反映了集团的特点已成为许多学者关注的焦点。智能优化算法是一种算法通过模仿大自然的生物行为。这种算法具有一定的自适应能力和智慧,可以显示的物理特性和社会本质。因此,智能算法的应用在动画组已逐渐成为一个新的研究方向10- - - - - -12]。

然而,由于对象由单一传感器信息感知设备不全面,容易受到外部干扰,人们开始研究目标探测的方法获得的图像信息融合的相机和激光雷达获得的点云信息(13- - - - - -15]。融合方法包括数据级融合、特征级融合、融合和结果水平。MV3D(多视点三维)多传感器目标探测算法中引入文献:原始点云转换成鸟瞰(BEV) [16- - - - - -18),生成意见箱建议使用区域网络(RPN),并生成检测盒通过深度融合。主持人帧大小的RPN网络是基于经验,和原始数据集不充分利用,导致目标检测框架不够准确(19- - - - - -21]。文献[22)是检测目标,分别从激光雷达和摄像头传感器收集的数据,然后优化匹配检测的结果。这个结果水平数据融合的融合是不够的。文献[23,24]介绍AVOD算法:使用k - means聚类来生成一个三维的锚盒子,使用vgg16网络来提取特征,融合这两个特性映射到生成一个意见箱,然后细化意见箱来生成一个检测盒。

AVOD算法(25)只使用点云的鸟瞰图,形象的前视图的数据输入网络,提高了RPN网络体系结构,添加了预测几何约束,提高了目标检测的准确性和实时性。此外,k - means聚类最初随机生成k聚类中心,这将影响到聚类效率。vgg16特征提取网络的深度是不够的,还有大量的计算和大内存的问题同时占领。特征融合只是元素级别的加法操作,或连接通道水平,不考虑各自的特点这两个特性,融合是不够的。基于上述分析,本文以下AVOD算法的基础上改进:首先,k - means + +算法用于生成三维锚架,提高了集群效应和学习能力模型的数据集;然后,googleNet网络与初始模型用于特征提取;最后,注意机制是融合的引用。

AVOD算法(25)只使用点云的鸟瞰图和图像的前视图的数据输入网络,提高了RPN网络体系结构,添加了预测几何约束,提高了目标检测的准确性和实时性。然而,目前,k - means聚类通常用于AVOD算法k聚类中心的初始随机产生,这将极大地影响到聚类效率。此外,vgg16特征提取网络的深度是不够的。与此同时,有大量的计算和内存消耗大的问题。更重要的是,功能融合只是加法操作的元素级别或连接的通道,不考虑各自的特点这两个特性,和融合是不够的。

基于上述分析,本文以下AVOD算法的基础上改进:(我)k - means + +算法用于生成三维锚杆框架,提高了集群效应和学习能力模型的数据集(2)GoogleNet网络初始模型用于特征提取,提高了特征提取的深度网络(3)注意机制介绍融合,大大减少了大量的计算和内存消耗问题。更重要的是,这两个特性的各自特点

2。AVOD算法及其优化方法

2.1。AVOD算法

2.1.1。AVOD算法框架

网络结构的传感器融合的目标检测算法基于AVOD模型图所示1。传感器融合算法基于AVOD模型主要分为两个阶段。第一阶段由特征提取网络和候选人地区一代网络,第二阶段是3 d目标探测网络。

在第一阶段,点云数据预处理来生成一个点云顶前视图和一个3 d框架。两个相同的特征提取网络用于特征提取,获取图像特征映射和点云特征映射。图通过两种特征 ,分别。维卷积层减少,削减了。调整后的尺寸特性图,3 d之前帧映射到调整功能地图和融合与前一帧的特征区域生成特性的作物。张量特征融合后,输入整个卷积层生成候选框,和候选框高信心是由NMS保留方法。在第二阶段,三维目标探测网络第一引线的候选帧调整功能映射,然后分类难度候选帧获取类别和位置信息的三维预测帧。

2.1.2。数据预处理

(1)生成3 d之前的盒子。最初的前框生成一个输入数据用于生成网络的候选区域。首先,选择 云数据的范围内(0,2.5)(即。,40 meters to the left and right of the center of the lidar coordinate system, 70 meters in front, and 0 to 2.5 meters in the vertical direction); then, a priori boxes in horizontal and vertical directions are generated in each dimension; finally, empty prior frames are filtered out to obtain nonempty 3D prior frames.

(2)点云数据投影。在点云数据输入到网络之前,需要进行预处理的点云数据特征提取网络的需要。原始三维点云数据投射到二维平面上,也就是说,项目在顶视图的点云数据。首先,将点云数据的分辨率设置为0.1每像素。然后,选择[40]-40年,点云数据的范围内(0,70)投射到顶视图,和分辨率 黑白图像。为了增加信息内容的顶视图中的数据点云,点云数据信息的范围(0,2.5)在垂直方向分为五层,和点云数据的信息预计将不同层的分辨率 云顶观点。最后,它的形式 顶视图的原始点云的特征提取网络的输入数据。

一个二维的RGB图像帧,如图2,相应的顶视图6-layer点云。图2(一个)原始点云的顶视图,和图吗2 (b)顶视图的点云从下到上1 - 5层。当目标对象的点云预计将顶视图,尺寸变化很小,和目标对象占据不同的空间在前视图,这可以避免目标遮挡的问题。

2.1.3。特征提取

本章基于红外系统,采用特征提取网络的大小 前视图和图像的大小 作为网络的输入,进行特征提取地图生成高分辨率特性。红外系统的结构特征提取网络如图3。

基于红外系统的特征提取网络组成的编码器和译码器。编码器基于VGG-16网络,减少渠道的数量和使用卷积前四层。译码器分为三层,从下到上。每一层样品前一层的输出和融合的相应层编码器,然后使用 。最后,特征提取网络输出一个高分辨率特性映射具有相同大小的输入数据。这些高分辨率特征图谱结合底层细节信息和高层语义信息,显著提高小目标对象的检测效果。

2.1.4。候选区域代

候选人地区一代网络的功能是生成候选帧处理和合并后可能包含目标对象特征提取的图像输出网络和点云特征映射。

(1)功能融合。如果直接从高维特征张量提取特征映射,数据的存储和计算的RPN网络将大大增加。因此,完整的分辨率特性映射的输出FPN-based网络需要通过特征提取 和减少卷积的维度层减少参数和计算。然后,调整图像的大小和点云特征映射。前pregenerated 3 d帧映射到调整图像和点云特征映射到获得感兴趣的两个区域(ROI)。提取特征张量从相应的特征映射使用感兴趣的区域,然后双线性特征张量的经度 调整获得特征向量的长度。

(2)生成候选区域。首先,加工特征张量是由像素融合,然后融合特性是张量的RPN网络生成目标候选人的盒子,和目标候选框分类和回归预测。最后,NMS方法用于过程生成的3 d候选框并选择最好的3 d候选框。项方法不仅在2 d目标探测拥有良好的性能,但也有出色的表现,3 d目标探测。的RPN的网络结构如图4。

的方法将功能映射输出项卷积层作为输入和输出的一系列候选框可能包含目标对象。以图像特征映射为例。首先,规模 ,然后生成预设k矩形框固定大小和长宽比在每个像素卷积对应内核(即。滑动窗口)(一般 , ),即锚盒子。提前部署一个先天的盒子可以缩小搜索范围的目标对象和加速模型的收敛性。这三个方面的比率先验帧通常是1:1,1:2和2:1,三个尺度一般 , ,和 。upsampling的卷积和将采样后,三个不同尺度的特征映射分类和退化。与选择性搜索方法相比,RPN方法只提取特征映射的特点,大大降低了特征映射网络的复杂性,提高整个目标探测网络的速度。

回归预测输出结果的形式( ),的中心点的坐标在哪里 3 d预测帧 长度,宽度,高度的3 d候选帧 , ,和轴,分别,(和 )的采样间隔0.5米的点云数据,是由传感器的高度从地面和( )确定的聚类训练样本的目标。

2.1.5节讨论。对象检测

(1)3 d边界框编码。有8个回归的3 d边界框,点和主要有3编码方法3 d边界框,如图5。

图中三种编码方法,(a) MV3D算法的编码方法,这是太杂;(b)轴对齐算法的编码方法很容易造成预测帧漂移。本章选择编码方法(c)通过10维( )代表了3 d预测框架,实现了降维处理的编码,有效减少了参数的数量和操作。

(2)预测盒的一代。3 d候选帧的数量产生的候选地区一代网络是一个数量级低于3 d帧之前,所以,3 d候选帧调整和融合与原功能映射。融合特色作物预计通过使用完整的连接层,和回归信息,方向估计,每个候选框和类别分类的输出。然后NMS方法用于删除冗余3 d预测帧,最后3 d候选帧输出高的信心。在计算3 d候选框回归,筛选3 d背景框(即3 d候选框,不包含目标)。的借据值通过计算投影区域的3 d候选框和真正的边界框顶部的点云,如果借据值小于0.3,它被认为是3 d的背景框,如果借据值大于0.5,这是3 d候选框包含车辆目标对象。然后NMS方法用于删除冗余3 d候选框。

2.1.6。损失函数

的损失函数,这一章主要分为两个部分,定位和分类损失损失。位置采用光滑L1损失函数和分类损失采用交叉熵函数。

L1光滑函数,见方程(1): 在哪里是真正的标签的向量;网络预测的向量;类别的目标对象的数量。

Softmax函数,见方程(2): 在哪里是一个功能点是一个正样本。如果这是一个积极的示例中,该值为1,否则为0。

2.2。AVOD优势

AVOD算法实际上是MV3D方法的基础上开发的。通过分析MV3D AVOD算法,改善AVOD显示在以下方面:(我)网络输入:网络输入MV3D点云的鸟瞰图,点云的前视图和形象,虽然AVOD只是鸟瞰图的输入和图像,这简化了网络模型,提高了检测速度(2)特征提取网络:MV3D选择VGG-16网络特征提取,AVOD选择RPN结构特征提取,如图3。我们可以充分利用不同尺度的特征映射来获得完整的分辨率特性映射,所以AVOD为小目标对象具有较高的检测精度(3)融合策略:MV3D采用深度融合的特征融合策略,和AVOD使用早期融合策略融合这两个特征图提取候选区域,可以提高小目标的检测性能。特征融合的过程中,AVOD执行卷积降维特征映射,在原来的基础上减少的数量计算(iv)编码方法:MV3D使用8个顶点坐标来描述3 d边界框的位置和大小,这需要一个24维向量来表示。AVOD使用底部的形状和高度限制3 d边界框,加上四个顶点的坐标来确定位置。10维向量是充分的,如图5

2.3。AVOD优化算法

2.3.1。3 d锚箱的一代

在AVOD模型中,( )通过k - means聚类中心是随机生成的锚箱的大小。的选择值的算法和随机性初始聚类中心影响锚箱的大小,并最终影响检测的准确性。改善:集群使用k - means + +方法,使用肘部方法选择最优价值。最后,集群的原始数据分为K组高度,宽度和长度数据作为锚帧大小。具体步骤如下:(1)提取高度、宽度、长度和数据作为聚类对象的数据点;(2)随机选择一个点从集群数据点集作为第一个聚类中心;(3)计算每个数据点之间的距离和现有的聚类中心,并使用肘部方法计算聚类误差;(4)选择距离较大的点作为新的聚类中心;(5)重复步骤(2)和(3)绘制聚类误差和之间的变化曲线值(的范围值通常是1 ~ 9),然后选择最好的价值;(6)当提取最好的集群中心值作为锚帧大小。

2.3.2。特征提取的网络

在特征提取网络的深度网络直接相关特征提取的影响。在AVOD VGG-16网络算法消除了完整的连接层,共有13层,达到的参数数量 ,和内存消耗达到15.2 MB。而在VGG网络 ,获得的接受域卷积核的过于单一,不利于特征提取的多个大小的目标。因此,本文算法已得到改进。GoogleNet网络初始V1用于特征提取。与VGG-16网络相比,它从两个方面进行了优化网络的深度和宽度,这有利于提取多种特征。在优化算法中,完整的连接层和辅助分类器在googleNet网络中,只有卷积层、汇聚层,《盗梦空间》结构用于特征提取。网络结构如图6。图7显示初始V1的结构,使用不同的大小 ;卷积内核获得不同的感受野特性,也就是说,不同尺度的特征,然后提高特征提取的影响,不同尺度的融合特征。此外,1是还介绍了《盗梦空间》里的V1 ;卷积是用来降低维数,减少计算量。改进特征提取网络已达到22层,和网络是通过初始结构,扩大的一个参数 ,1/3的VGG网络参数。大约6 MB内存消耗,也就是2/5的VGG网络。

使用改进的k - means + +和googleNet AVOD算法,效率和准确性在简单,中等,困难的动画设计改进,BEV的平均精度检测也将大大提高,和3 d动画设计的效率也将提高。在上述的基础上改进,平均精度检测后将进一步改善引入注意功能融合的机制。与原AVOD算法相比,优化AVOD算法更有优势,也更多的应用前景。

2.3.3。特征融合基于注意机制

近年来,关注机制已广泛应用于深度学习任务。注意机制可以获得不同的输入特征矩阵的每个部分的重要性,给予不同的权重,提取更为重要和有区别的信息,使模型做出更准确的判断。

在特征融合阶段,AVOD算法简单的连接通道级别的图像特征,不考虑图像和点云之间的差异特征。这个简单融合方法将极大地影响目标检测的准确性。因此,提出了一种基于注意机制的特征融合方法,其结构如图8。

首先,获得的图像和点云的贝福特征进行了分析 。最大化池操作和重用 ;卷积和激活函数生成图像特征的比例因子和贝福特性和执行和操作根据比例因子生成熔融特性为后续代检测框架。乙状结肠函数选为激活功能,比例因子 在哪里是卷积的结果。根据公式(3),最后计算的范围从0到1。

3所示。应用基于AVOD动画设计的优化算法

3.1。基于优化AVOD动画设计的水面舰艇

提出了一个优化AVOD多传感器信息融合传感方法。通过建立一个实验平台,使本地数据集,传感方法和避障算法无人飞行器表面的实验验证,和结果分析26]。针对无人飞行器表面的多传感器融合感知实验,船KITTI格式的三维数据集,数据集是用来训练目标探测网络,然后目标跟踪性能的方法和目标探测网络根据目标跟踪评价指标和评估三维目标检测评价指标,分别。船跟踪预测实验,收集障碍船舶的导航数据在不同时间的数据集,训练RNN-LSTM跟踪预测网络,提出了跟踪预测性能指标评价的预测性能跟踪预测网络。最后,一个真正的船实验平台构建,和动态避障实验四避碰方案设计根据COLREGs验证的有效性提出了自主动态避障方法。

3.1.1。实验平台和环境

真正的船验证平台是一个7.5米长,1.2米宽的炸弹水力喷射表面无人驾驶船。船是三维激光雷达所携带的传感器,摄像头,小企业综合惯性导航。实时遥感传感器收集的信息可以传送回岸上监控平台通过无线数据传输和图像传输,这是方便的远程控制和状态监控。其中,三维激光雷达安装在中心轴的前端的无人飞行器,离水面约1.5米;相机是直接安装在激光雷达,可以实时获取海面图像通过基于RTSP协议和传输到海岸监控系统通过无线图像传输,实现实时监控。的 - - - - - -轴方向的小企业惯性导航和船首方向是一致的。高精度定位信息可以通过双GPS天线,和低误差的障碍可以获得位置信息结合雷达遥感信息。Jeston Xavier处理器用于无人驾驶船实验平台。这个处理器是一个8核的CPU ARM架构。512 CUDA GPU采用沃尔塔。单精度浮点性能1.3 tflops 20 W的力量,和计算性能高达30 30 W的功率,满足计算需求的自主避障的表面无人驾驶船。为了保证处理器的信息收集能力和防水能力,基于泽维尔是建立一个工业计算机平台。泽维尔的平台扩展信息采集接口通过交换机和集线器和使用航空插头和防水胶,确保接口的安全。

3.1.2。结果分析

本地数据集随机分为训练集、验证集和测试集的比例4:1:1,使用批量训练方法训练网络。将批大小设置为8,80000次迭代训练,并保存培训每1000次迭代结果。优化算法用于更新网络权重,逐步衰变学习速率是用来防止过拟合的训练网络。

图8显示的变化验证集的平均损失价值网络中每1000次迭代训练阶段。从图中,我们可以看到,验证集持续下降的损失价值在网络训练过程中,表现出明显的收敛。一开始的训练,可以看出,在高层损失值。随着训练时间的增加,明显减少损失,网络逐渐从下拟合方法拟合。培训,后期的损失值下降缓慢,在一个小范围内波动,最后稳定在0.07左右,表明网络培训往往收敛。

本文运用分类精度测量的分类性能三维目标探测模块,3 dap测量的边界框的预测性能检测网络,和先进的测量定位检测网络的预测性能。结果如图所示9。接近损失值的变化趋势,这三个指标的变化与迭代步骤的数目显示显著改善的过程指标的早期训练过程和配件在以后的训练过程缓慢,这是符合正常的网络法律培训。从图可以看出9摘要,因为三维目标探测模块只检测船类,分类精度已经达到了一个高性能的早期训练,和准确性在后期稳定在98%左右,表明该分类器的三维目标检测模块具有良好的性能。结合数据8和9,可以看出,损失的减少值对应于市场的兴起和3衣冠楚楚的指标。当损失值收敛,代谢和3 dap的值也趋于稳定,这验证了损失函数设计的有效性。迭代80000步后,最后《超能值稳定在88%左右,和3弹跳值稳定在76%左右,满足精度要求的3 d目标探测过程中动态避障。

训练网络参数应用到真正的船检测和测试集数据作为目标检测模块的输入。最后的可视化结果如图10。其中,图10 ()显示二维图像目标检测的可视化结果,显示二维检测框架坐标信息,类型信息,和信心的障碍检测目标图像中坐标系统;图10 (b)显示三维激光点云的可视化结果目标探测。可以看出,3 d检测框精确帧障碍目标点云的范围,反映AVOD船舶目标检测的准确性;图10 (c)显示的可视化结果的投影三维检测帧到图像坐标系下的点云坐标系统。可以看出投影范围基本上覆盖的位置障碍目标,反映了坐标转换矩阵的可靠性得到联合标定摄像机和雷达。

在目标跟踪实验中使用的数据集是本地数据集收集到真正的船,共有1493帧,包括三个连续的跟踪流程在不同的时间。实验结果获得本地数据集的测试反映的高跟踪精度和准确性跟踪模块和显示三维目标跟踪节点的性能足以满足需求的动态避障。可以看出当障碍目标是远离激光雷达,以及船体偶尔摇海风和海浪的影响下,错过了检测可能发生由于太少点云信息在目标探测的过程中。错过的检测、目标跟踪模块使用卡尔曼滤波器所产生的跟踪框架来取代丢失的检测框架。它确保障碍感知的连续性。

3.2。汽车动画设计基于优化AVOD多传感器信息融合

3.2.1之上。数据采集

自动目标检测是进行汽车驾驶场景数据集KITTI [27]。数据集包含真实图像和点云数据的城市,农村,和高速公路场景,最多15汽车和30行人在每个场景。根据不同程度的阻塞和截断,现场分为三个层次:简单,中等,困难。7481年的数据集包括训练图像,7518个测试图像,和相应的点云数据,总共有80256标记对象。7481个训练样本分为训练集和验证集,每个都包含3712和3769样品。本文的实验平台配置如表所示1。

3.2.2。培训和设置参数

培训过程中生成三维锚架,9日,10日和11日车辆参数注释信息在所有训练数据(即高(h)、宽度(w),和长度(l)的三维对象)作为聚类提取的数据点,和k - means + +方法用于聚类,和欧氏距离作为聚类距离公式。弯头的方法用于评估集群效应,和最好的价值是由观察聚类误差的变化曲线所有的样品与集群的数量 。的计算公式是

的变化曲线价值与值如图11。当 ,减少的范围很大的增加 。当 ,的减少将急剧减少。因此,3是最好的k - means价值+ +集群,车辆可以集群分成三组注释信息在培训的高度,宽度,长度的数据,这是(1.495,1.563,3.343),(1.526,1.614,3.856),(分别为1.565、1.671和4.392)。图11显示了锚箱三维图像生成的聚类结果。

3.2.3。实验结果分析

从改进AVOD算法的实验结果,我们可以看到,对于这样一个复杂的场景有许多汽车和阻塞,所有的车辆都可以准确地确定。使用改进的k - means算法AVOD + +和googleNet,平均精度检测简单,中等,困难的任务已得到改进。BEV的平均精度检测已经提高了2.08%,0.34%,和1.56%,分别和3 d的平均精度检测已经提高了9.26%,2.43%,和9%,分别;基于上述改进,引入注意力机制特征融合后,平均精度检测简单,中等,困难的任务是进一步改善。与原AVOD算法相比,平均贝福检测精度提高了2.75%,1.23%,和2%,分别和3 d的平均精度检测是提高了9.08%,7.7%,和9.14%,分别。

4所示。结论

摘要AVOD多传感器融合的目标检测算法改进。针对的问题不准确的3 d锚架,大量的特征提取,特征融合不足,本文提出了一种优化AVOD算法使用k - means + +算法生成3 d锚框架,提高了集群效应和学习能力模型的数据集,使用googleNet《盗梦空间》的网络特征提取模型,融合和引用的注意机制。主要成果如下:(我)AVOD算法的基本概念。认为AVOD算法是目前被广泛使用,但仍有不足,尤其是聚类效率低的问题,特征提取网络的深度不足,占用很多内存。因此,必须引入其他方法来改善现有AVOD算法(2)基于AVOD算法,使用k - means算法优化AVOD googleNet网络+ + k - means和引入初始模型提出了。该算法比AVOD算法更有优势。介绍了两个动画设计例使用AVOD优化算法

数据可用性

本文中使用的数据集可以从相应的作者。

的利益冲突

作者宣称,关于这项工作他们没有利益冲突。

确认

这项工作是支持的人文和社会科学的主要研究项目在安徽大学,”Yu艺术表达和沟通研究安徽省文化”(SK2020A0036)。