许多著名的CNN模型架构存在的各种应用程序。2016年,微软研究院提出的问题解决方案与快捷连接建立深度模型( 7]。Zoph和勒还提出了一个方法来自动发现一个新的优化模型体系结构基于政策梯度称为神经结构搜索ICLR 2017 8]。Szegedy等人于2014年赢得了ILSVRC前5的测试误差6.7%的模型建立在“网络在网络的概念。“这个模型的想法是减少使用降维计算成本,构建网络通过叠加卷积操作,使用不同大小的过滤器,然后结合后( 9]。Inception-ResNet Szegedy等人创造的另一个模型,将剩余的连接由微软研究院( 10]。

许多相关研究存在保护物种的多样性。这些研究获得所需的数据,无人cameraswere安装获取图像的生物。然而,人力资源浪费在处理获得的数据。因为人类的判断是主观的,精度是不可避免地恶化。因此,有必要创建一个系统自动处理和分类的动物图片。Norouzzadeh et al .,在“项目快照塞伦盖蒂,”说,人类从动物图像数据集的信息处理耗时;因此,数据仍未处理。他们提出了一个系统,一台机器可以确定图像属于并检查实体的数量和他们的行为在图像 3]。阮等人也创建了一个CNN模型分类三个最常观察到的动物物种在维多利亚,澳大利亚,和显示真正的测试结果 11]。壮族等人介绍了一个深度学习模型,自动注释海洋生物图像数据不依赖人类的专家。他们尝试了从SeaCLEF2017模型与数据 12]。在这项研究中,我们还提出一个系统分类图像数据实时获取使用相机的移动设备。

转移在深度学习学习是一种先进的技术研究。在这种技术的出现之前,人们不得不从头创建和火车模型。很难发明了一种模型的性能在一个特定的任务,因为计算基础设施的缺乏。此外,它是不可能需要收集足够的有意义的数据训练模型,虽然许多研究人员试图聚集他们。然而,各种转移学习方法的上下文中已经提出了知识转移功能,即时权重参数,或关系数据样本之间的信息在一个域( 13- - - - - - 16]。

图 1显示了创建一个完整的模型使用转移的四个步骤学习。首先,我们建立模型的体系结构和训练它在大代表数据集。第二,我们删除最后一层(称为“输出”)。第三,我们把它换成另一层来完成特定的任务。第四,我们与一个相对较小的数据集训练新模式适合的目的。转移学习就是从数据中提取特征的工作转移到pretrained模型。例如,模型pretrained ImageNet数据集可以检测低级特征在一只鸟图像(如曲线、轮廓和线条),因为这些低级特征几乎是相同的其他动物图片。剩下的任务是优化特征提取器的高级层和最后一层分类鸟(过程称为微调)。一些研究已经应用转移学习( 17, 18]。转移学习有望弥补缺乏数据,时间,和计算。

系统分为四个部分,如图 2。首先,我们进行预处理的数据准备深度学习。第二,我们创建和使用预处理数据训练分类器。第三,我们将生成的模型转换成一个文件,可以在移动设备上部署。最后,我们部署模型。在本节中,我们描述数据预处理和创造的过程和培训学习模型。

在我们的研究中,我们使用Python(蟒蛇)第三步和Android工作室的最后一步。数据预处理使用Python库称为“imgaug”[ 19]提供了图像预处理方法(“ImageTransformation”,“AdditiveGaussianNoise”,“CoarseDropout”,“BilateralBlur”等等)。我们“imgaug”库导入到我们的项目在蟒蛇Jupyter笔记本环境和执行数据增强原始图像。获得的图像与原图像保存在文件夹在一起。

开发一个应用程序,TensorFlow Lite提供了一个方法,将生成的模型转换成一个TensorFlow Lite FlatBuffer格式文件(.tflite),可以在移动设备上部署。根据TensorFlow Lite官方网站,FlatBuffer是一个开源跨平台序列化库,有效地序列化数据。TensorFlow Lite TensorFlow创建的支持文件的转换,具体功能,和Keras [ 20.]。我们这个转换文件插入TensorFlow Lite提供的演示项目,然后建立了项目。这一步后,我们创建了一个Android包文件(上年)和安装在设备上的应用程序。图 3显示了整个过程。李等人开发了一个优化的建模技术在移动设备上使用他们的模块,减少组卷积和self-attention模块。他们声称这个模型是有效的移动应用程序与其他模型相比 21]。随后,我们将解释如何部署一个CNN模型由TensorFlow Lite在移动设备上。

我们使用Keras库创建和训练深度学习模型。Keras神经网络是一个高级开源API编写的Python。这是作为一个开放式的一部分开发Neuro-Electronic智能机器人操作系统(ONEIROS)项目。模型由Keras构建基于TensorFlow使用快速和直观的界面,CNTK, Theano [ 22]。在计算机视觉领域,一些模型体系结构,可以有效地分类图像之前,和Keras提供他们作为开源的代码 23]。在这项研究中,我们提出一个方法来定制这些模型,训练他们,并验证其性能。

深度学习模型开发最大的局限性之一是,它需要一个大的数据集。千,百万甚至更多的数据样本被要求创建一个可靠的深度学习模型。这些限制可以克服通过操纵和改变少量的数据。这称为数据增大。数据增强技术已经被使用在许多研究[ 24, 25]。技术包括随机裁剪,水平翻转,亮度修改和对比修改。如图 4,我们扩展了数据集的水平和垂直翻转。图 4显示了扩展数据集的四只鹦鹉物种的数据扩充。对于这个任务,我们进口“imgaug”Python库(如部分中解释 3.1)。它包含了“顺序”的方法,和操纵技术可以设置为该方法的参数 19]。在这项研究中,因为我们只是想增加图像的水平和垂直翻转,检查模型是否可以分类的准种鹦鹉相似度高的颜色,我们插入“Fliplr”和“Flipud”对象。最后,14000张图片,包括原始数据聚集(见细节部分 3.5)。

阮等人设置两个实验场景的模型架构Lite AlexNet, VGG-16, ResNet50分类野生动物图片( 11]。第一个场景是从头开始训练模型,第二个是使用一种叫做“特征提取”的技术进口重量,pretrained ImageNet大图像。监视和巨大的动物图像数据进行分类,需要模型熟悉pretraining一些技术提取新形象的局部特性。特征提取解决问题。自定义模型的顶层(完全连接层)并让pretrained CNN提取图像的特征。在我们的研究中,我们使用了特征提取技术;我们验证其性能通过比较它与模型与随机初始化权重。第一个模型生成ImageNet pretrained权重。我们的目的是验证模型可以捕捉当地的差异非常相似的两个物种,如“ Cacatua galerita”和“Cacatua goffiniana。”

根据林et al .,完全连接层常用的传统的CNN模型可能overfit尽管使用辍学。他们提出了一个全球平均池(GAP)技术,插入每个特性映射到一个向量的平均值和链接到的输入将SoftMax层直接而不是一个完全连接层( 26]: (1) 差距 我 = 1 米 x n ∑ 一个 米 ∑ b n x 。

公式( 1)提出了他们的研究中提出的方法。差距是一个向量的平均值从最后卷积层特征图。差距 _我表示一个元素的向量。在这里, 米的行数在功能和地图吗 n特征映射的列数。左边的项是加法的意义特征地图中所有的值,然后他们除以 米乘以 n。目的是获得的平均价值特征映射。差距计算平均值的结果的特征图卷积的过程(图 5)。接下来,它会创建一个向量的平均值。

根据他们的建议,差距有以下优势完全连接层。第一,可以减少计算成本减少参数的数量是由一个人(hyperparameters)。第二,一些模型参数可以被消除,以减少过度拟合。因此,不需要依靠辍学。在这项研究中,我们将使用差距,而不是传统的完全连接层利用这种技术。

我们进口ResNet50 NASNetMobile、InceptionResNetV2 InceptionV3 Keras图书馆的特征提取模型。导入的模型使用卷积层初始化权重,pretrained ImageNet。全球平均池层和致密层SoftMax卷积后添加层(图 6)。实验比较两种类型的初始化:ImageNet和随机的权重值。此外,我们使用hyperparameter搜索库称为“Hyperas”优化hyperparameters(如优化和学习速率)没有研究者的努力。

在解释 第二节,我们可以应用卷积层pretrained模型的另一个分类器。因为一个图像由像素,图像的局部特性在其他图像几乎是一样的。卷积层可以捕获这些模式使用pretrained权重。在这一点上,执行的抽象模型的能力影响当地部分模型的性能。根据Krizhesky et al .,模型的测试结果与转移学习显示前5精度高于在其他情况下( 27]。转移学习没有火车卷积层只有让他们提取特征,然后将提取的特征传递给分类层。此外,是一种先进的技术来提高模型(称为微调),列车的高级层卷积层和分类层在一起。在我们的研究中,我们尝试了部分中描述的模型 3.3(NASNetMobile ResNet50 InceptionResNetV2和InceptionV3)由转移训练学习使用ImageNet的权重(图 7)。

鹦鹉是最常见的濒危物种在韩国,因为走私等社会问题。此外,鹦鹉都包含在列表中最濒危物种的濒危物种国际贸易公约的野生动植物(CITES)(表 1)。我们之前研究过鹦鹉截然不同的颜色和形状与传统CNN模型( 28]。然而,在这项研究中,我们假设CNN模型与转移学好可以分类准种尽管相似的颜色和图案。这个实验使用了14420只鹦鹉图像。鹦鹉的4个品种的,我们使用3605图像/物种。如表所示 1,四只鹦鹉物种 Cacatua goffiniana, Cacatua galerita, Ara chloroptera, Psittacus erithacus。在这些物种中, Cacatua goffiniana和 Cacatua galerita有很高的颜色相似。形态信息是非常重要的分类使用CNN鹦鹉的照片。每个物种的形态特征如表所示 1( 29日]。鹦鹉图像被分成三个子集:培训,验证集和测试集。他们爬从谷歌和YouTube。每物种最初有980图片,但是我们将其分为两组,只使用875培训因为信息的泄漏。3500图像增大所产生的数据。2800图像进行训练和700图像进行验证。测试组有420张图片,包括100爬图像和图像所提供的首尔大公园每个物种。因为我们专注于两个物种的颜色相似,我们不做任何数据增大影响图像的颜色。因此,2800年的图片700图像训练集和验证集被提供给每个物种的模型。测试集没有经历的过程数据增加,因为它不是有效的使用增强的颜色不会影响实际的测试数据。 The testing is divided into two steps. After the training, we carried out the test of each model’s performance by comparing the confusion matrix and F1-score values for 420 test samples. Next, we converted the file into a FlatBuffer format, deployed it on a mobile device, and then verified the results by using the video data obtained from the Seoul Grand Park.

图 8描述了整个实验过程。原始数据是增强使用“imgaug”库,如部分所述 3.2。图像分类器在TensorFlow使用Keras API创建的,一个强大的工具来构建一个深度学习模型。我们专注于一个pretrained模型转移学习;因此,我们进口模型如图 7。例如,“tensorflow.keras.applications.resnet。ResNet50”可以设置权值初始化类型( 30.]。我们可以获得期望的结果通过设置关键字参数“权重”到“imagenet。“叠加的模型完成了一个缺口层和致密层。一旦模型的训练完成,我们评价他们的性能测试数据使用 t”scikit-learn“Python库( 31日, 32]。接下来,我们将它转换成“FlatBuffer”文件部署在移动设备上( 33]。最后,我们可以看到结果在设备上,如图 9。

图 10显示了八款车型的学习曲线的训练精度:ResNet50, NASNetMobile, InceptionResNetV2,并与两种类型的初始化:InceptionV3 pretrained ImageNet权重或随机数字(如前一节所述)。横轴表示训练的迭代的数量完整的训练数据集。纵轴显示的是训练精度(0.5意味着模型正确分类的一半数据,和1意味着一个完美的分类)。如图 10后,模型的性能很差第一个时代,但其他迭代改进的准确性。大约二十世纪后,每个模型的准确性聚集在1,之后并没有明显改善。值得注意的是,初始化的模型ImageNet权重,nontrainable卷积层表现优于其他的(我们可以检查曲线位于更高)。除此之外,其准确性聚合速度更快。图 11说明了学习曲线的验证模型的准确性。验证数据的模型进行评估后每个时代。因此,预测的准确性措施质量验证数据。曲线看起来与之前相比相对不均匀的。这是因为从未见过这些数据模型。鹦鹉的模型学习一些特性使用训练图像,我们使用验证数据测试他们学到的东西。模型经历了一些失败多次。然而,其准确性聚集的最小误差。同样,ImageNet-initialized模型的精度通常比其他人更好。这两个图表没有显示任何明显下降随着时间的流逝在二十世纪后(看图表)。 Thus, overfitting did not occur. Overfitting refers to the models that perform well on the training set but not on the validation set.

时代数字是30的原因是因为我们检查超过三十是徒劳无益。我们设置一些回调函数称为“model.fit()在我们的实验中,“EarlyStopping()”和“ReduceLROnPlateau ()。“就停止如果验证准确性没有改善在五个时期。我们发现培训时代从来没有超过25,我们时代的数量设置为30。学习速率从0.001开始,逐渐降低了0.03如果验证准确性没有改善在三个时期,直到终止训练。当我们称为“model.compile(),“我们将损失=“categorical_crossentory”指标=“acc和优化器等于“亚当”。

表 2显示了所有的混淆矩阵模型。混淆矩阵是一种评价方法,检查所有标签的分类器的性能。每一个模型包括在这项研究中,每一行显示了模型的性能取决于标签。例如,100/92在第一行的数量意味着正确的预测是100年和92年的模型初始化ImageNet重量和随机权重,分别。测试图片为每个物种的数量是105,如前所述。因此,ResNet50 ImageNet重量正确分类100 105个样本。真正的混淆矩阵是一个重要的衡量每个模型的性能。因为以前看不见的数据模型进行评估,我们可以验证他们是否可以识别物种的一般特征。结果表明,该模型可以在训练集和验证集的图像进行分类,有超过90%的准确性(学习曲线的训练和验证),但它似乎并不适用于random-number-initialized模型的混淆矩阵(混淆矩阵的右值)。因此,一些验证的信息被泄露培训; hence, the models memorized the features of validation instead of general features of species. According to our results, the models with ImageNet weights classify the images better than the other methods, even though the images are completely new. For example, the results are 98/66 and 88/55 for ResNet50 in Table 2。这一发现是不仅对ResNet50还有其它模型。正确的数量为每个模型的预测是100 105,98 105,94 105 Cacatua galerita;105年88,105年89,105年95,105年和97年 Cacatua goffiniana,分别。

数据 12- - - - - - 15显示F1-scores的模型。F1-score是一种量化的结果混淆矩阵。F1-score计算使用精度和召回 (2) F 1 = 2 ∗ 精度 ∗ 回忆 精度 + 回忆 。

预测精度反映了多少项目是正确的。记得反映预测有多少正确的物品。精度可以计算真阳性的数量除以积极预测的数量。例如,ResNet50 ImageNet 105图像分类 Ara chloroptera在测试集。真阳性的数量是100。因此,ResNet50的精度是100的105。回忆可以计算真阳性的数量除以真实病例的数量。ResNet50,真实病例的总数是105;因此,模型的召回是100的105。我们可以计算F1-score替换的结果: (3) 2 ∗ One hundred. / 105年 ∗ One hundred. / 105年 One hundred. / 105年 + One hundred. / 105年 ≈ 0.95。

图 12显示的F1-score Ara chloroptera。F1-score是更有效的比简单的准确性当我们测量模型的性能,因为它考虑了数据分布(与准确性)。让我们假设我们有90图像与第一标签和十图像与第二个标签。我们可以获得90%的准确性,如果我们把所有图片分类为“第一个标签. .F1-score避免这个问题。总的来说,我们认为ImageNet-based模型优于random-number-initialized模型的准种鹦鹉。

实时移动应用程序的图形用户界面开发的这项研究显示在图 9。NASNetMobile模型与ImageNet重量转换成FlatBuffer文件(.tflite)和添加到应用程序中。随后,我们使用Android工作室编辑和添加视觉元素的代码。首先,我们检查了Android工作室,SDK版本,和依赖性与TensorFlow Lite兼容。后的模型在FlatBuffer文件位于一个项目,我们建立了它,然后APK创建。最后,应用程序安装在一个设备上。

鹦鹉是通过移动设备的摄像头捕捉图像。接下来,训练模型分类的图像。最后,应用程序显示的结果模型。我们可以检查结果在屏幕的底部,见图 9。第一个图的形象 9显示了一只鹦鹉的预览图片:一个文本行了,这只鹦鹉是“ Ara chloroptera“百分之一百。“345 ms”是在最低的部分图片:这意味着花了345 ms对这幅图像进行分类。平均周转时间是460 ms,最低的时间是229 ms,最长时间是671 ms 50迭代。根据我们的调查结果,应用程序处理工作在1秒。