文摘

随着机器学习的发展,作为机器学习的一个分支,深度学习已经应用在许多领域,如图像识别,图像分割,视频分割,等等。近年来,深度学习也被逐渐应用于食品的认可。然而,食品领域的识别,复杂程度高,情况复杂,识别的精度和速度是令人担忧的。本文试图解决上述问题,提出了一种基于神经网络的图像识别方法。结合Tiny-YOLO和双网络,该方法提出了一种两阶段学习YOLO-SIMM和设计模式的两个版本YOLO-SiamV1 YOLO-SiamV2。通过实验,该方法有一个一般的识别精度。然而,不需要手动标记,它实际推广应用中具有良好的发展前景。此外,食品中异物检测和识别方法。该方法可以有效地分离异物从食物通过阈值分割技术。实验结果表明,该方法能有效区分干燥剂和杂质,达到预期的效果。

1。介绍

在新时期,中国餐饮行业的发展显示了关注健康的时代特征。近年来,全国各地的人民健康意识觉醒,和健康的体型已经成为公众的需要。体管理和体型管理也被公认。计算机技术的快速发展是新时期中国饮食的驱动力。另一方面,人工智能技术已经融入了社会生活的方方面面,也是移动互联网的发展,饮食的支柱。另一方面,新格式在餐饮领域的需求产生了更多的应用场景,需要更精确的技术要求(1]。在技术支持和社会需求的联合行动,饮食领域与新时代的特点,具有较高的研究价值在其特定的应用场景和提供了一个新想法的发展移动互联网饮食领域(2]。

近年来,图像检测和分类的领域发展迅速,和许多提案的图像检测和基于机器学习的分类方法大大提高了精度和效率的图像检测和分类(3]。因此,图像检测和分类技术可以更好地应用于许多实际的领域和行业。等移动应用程序菜单图像识别和分类和食品卫生管理带来了极大的方便人们的健康生活和有一个广泛的应用场景。领域的餐饮、订购服务的智能化和餐馆推荐领域的快速发展和应用。在实际的生产环境中,不同的食品和饮料系统积累了大量的烹饪图像数据资源(4]。

菜单图像识别和分类是一个重要的研究方向结合应用实践和目标探测技术,利用的可能性和实际需求的技术必须考虑全面5]。虽然识别美食领域突破某一范围内,仍有改进的空间图像识别和分类的基本问题的菜。尤其是,作为目标检测技术由神经网络变得越来越成熟,它可以更好地解决新技术。美食类型之间有很大的差距,摄影照明等干扰因素将影响菜的识别精度6]。为了提高检测精度,菜单图像识别和分类是一个重要的细分的研究方向在未来。

中国的食品工业取得了巨大成就,但存在许多不容忽视的问题。食品质量是最重要的问题之一,也是瓶颈限制中国食品工业的发展7]。与国外产品相比,中国异物检测设备的精度和速度有一定的差距。异物的种类中发现异物检测设备开发的许多企业是有限的。测量速度慢,只有用常规的形状可以被探测到。这将影响设备的普及和使用8]。整体技术力量薄弱,设备落后。因此,研究具有重要意义的异物检测系统食品质量管理(9]。

2。食物识别基于卷积神经网络

2.1。卷积神经网络结构

CNN是最受欢迎的和广泛使用的神经网络在计算机视觉领域(10]。图1说明了一个模范CNN的工作流模型,输入图像首先遍历序列卷积和池过程获得特征图和分类在整个连接层。

CNN可以分享稀疏连接的两个特点和体重,显著降低模型参数的数量,而且可以提高网络的大小没有增加训练数据,以培养更多复杂的模型。一些学者使用两个线性参数规模数据获得卷层的特点,以满足分散的1和0的平均值,然后输入到下层通过激活函数。BN层的过程如下:

2.2。Semisupervised标签和粗增强食物的图片

2.2.1。Semisupervised标签的食物图片

很难获得食品检验数据集,每个样品需要手动标记,这将导致大量的浪费人力资源。为了减少标记工作量,本节研究的自动图像标注方法成功地应用于cnfood - 252数据集(11)如图2。

如图3手动,52岁的食物图像样本验证了一个小的阈值,自动标记cnfood - 252数据集造成一个错误框出现12,13]。

这种方法也需要手动标记检查,但其效率相比大大提高了手动标记。因此,在实际应用中,该方法可以作为早期数据集的施工方法。

2.2.2。粗增强食物的形象

在现实环境中,食物图像的位置和空间结构不完全固定。为了提高模型的泛化能力,扩展数据集的检测精度旋转图像。最后,原始图像和翻转图像旋转同时扩大样本每12°。具体步骤如下:(1)确定食品类别是增强和提取原始图像,如图4(以狮子兔粉丝为例)。(2)提取的图像水平翻转获得图像翻转,如图5。(3)原始图像和翻转图像旋转12°同时生成放大图像。(4)为了减少黑色边缘检测结果的影响,填充黑色边缘与中心的颜色托盘,如图6,并填充结果如图7。(5)最后,扩大100像素中心的托盘和随机放置图片在这个领域产生扩大样本,如图8。

该方法可以自动生成的同时扩大标记文件。虽然它可以减少手工标记的工作,该方法适用于扩大原油样品。性能测试是进行模型生成的测试样本。

2.3。食物图像的位置和分类

无论是单程检测方法或两级检测方法,其实质是位置的组合任务和分类任务(12]。另一方面,回归目标位置的准确性高,但分类能力弱。目前,分类模型是非常成熟的,具有优良的性能,提出了许多模型,结合双方的优势(14]。cnfood - 252数据集用于显示实验结果,如图9。

2.4。食物图像匹配

目标检测是监督学习,不能检查没有训练。在实际应用程序中,食品种类的新陈代谢频繁。食品检验的最大问题是,当添加一个新的食品类别,该模型需要重新训练,因为整个更新过程很长,它不能立即使用。第二个问题是,食品检验需要收集训练样本。当前数据方法可以减少训练样本的数量扩张,但它需要收集一定数量的原始样本。

图像匹配是CBR中的的一个重要实现方法(15]。在本节中,学习和测量的思想引入少量的样本来解决的主要问题在上面的目标检测通过图像匹配。

2.4.1。小样本学习

小样本学习的目的是提取重要特征从一个小数量的有限样本和获得更好的鲁棒性。它的本质是研究人类的快速学习能力。学习了大量数据之后,只有少量的样品为新物种可以实现更好的性能(16]。学习用更少的样品可分为单一样本学习和K样例学习根据模型训练样本的数量。K是训练样本的数量,一般不超过20的价值。

2.4.2。测量学

量化学习也被称为相似的学习。两个样本之间的关系是由测量它们之间的相似性。通常,欧几里得距离和距离是用来表达相似。资讯等传统测量方法实现通过简单的非参数估计,但基于深度学习的测量方法也被称为深度测量,利用CNN的特征表征能力强度量高维空间(17,18]。参数标准学习,目前常用的分类任务较少的样本,适用于网络,网络原型,相关网络和双网络。在这里,双网络需要输入两个样品,比较损失函数来计算它们之间的相似之处。

如图10,双网络的结构是两个样本一个接一个地结合,形成样本,训练他们在输入网络,应用相似函数来计算样本的相似性对。具体过程如下:(1)特征图f(x1)、f(x2)获得样本对和x₂CNN特征提取,扩展到向量方程所示(2)和(3)。 (2)向量之间的距离一个和向量ß利用距离公式计算,标准如图所示,例如,在下面方程:

输入样本和x₂,D(一个β)是小的,如果他们是同一类的,和D(一个β)是更大的,如果他们是不同的类;然后,模型的损失函数可以定义如下: 在哪里N是样品的数量对,Y样本对的标签,用于指示是否样品对吗和相同的类别,米是判断阈值。

2.4.3。模型设计

为了实现多个目标的图像检索,双网络使用FewFood-50数据集训练来衡量样本之间的相似性对(19],YOLO-SiamV1模型如图11。

实验表明,该模型的性能不是很好。双网络改进,YOLO-SiamV2模型,提出了CNN延伸至15层,包括10个榻榻米层,4池层,1层完整连接。YOLO-SIMAMV1的双网络结构和YOLO-SiamV2模型显示,例如,在桌子上1。

3所示。食品异物检测方法

3.1。图像分割

为了分析和识别的图像,使用一些数学形态学结构元素作为一种工具来测量和提取相应的图像的形状特征。

3.1.1。扩张

两组的扩展使用向量加法合成。以下所示的定义是方程。

膨胀操作的功能是将周围的背景点对象图像的对象。

3.1.2。腐蚀

侵蚀是集元素的向量减法,腐蚀是一种双重操作的扩张。Errosion以下所示的定义方程。

3.1.3。打开操作

开放手术操作使用相同的结构元素腐蚀,然后扩大图像(20.]。打开操作的定义下列方程所示。

开放手术可以考虑一些尖角扩展背景为背景和过程中的图像打开操作。删除细节,光滑的边界,峰值、法兰和狭窄的连接。

3.1.4。关闭操作

关闭操作的操作使用相同的结构元素,扩大图像,然后削弱它(21]。关闭操作关闭定义如下。

关闭操作可以填几个小洞,连接两个相邻对象、过滤外部形象,使光反映图像内的尖角,和光滑的边缘对象。

使用数学形态学的目的是填补漏洞和消除毛刺图像。例如,为了获得相对正确的图像和更多的细节图12(一个)、首先分割图像和侵蚀,然后扩张。如图12,消除外部毛边,不改变整体形状。

分割阈值是扩张的结果和侵蚀分割图像。如图13,执行形态学处理可以有效地填补图像中的空腔,形成连接区域包括分段区域包括毛刺附近地区的利益的一部分。

实验表明,在二进制图像,所有四个基本操作在一定程度上可以执行噪声过滤。特别是的双重操作启闭操作可以消除细形象和保持整体形状不变的一部分也被广泛用于去除图像的噪声(22]。

3.2。异物识别方法

3.2.1之上。基于特征识别

图像预处理后图像进行特征提取和分割23]。因为它是基于预处理和分割,很容易提取更好的特性,根据图像特征差异和独立变得更强大。(1)区域特征。区域特性的基本参数包括地区区域,区域重心,和区域形状特征,通常是计算所有属于功能区域的像素的集合。(一)区域。的面积特征区域的基本特征区域和代表区域的大小。一个区域的面积的计算公式R所示如下方程: 从公式可以看出,计算面积的面积区域像素数量的统计特性。(b)区域重心。的重心地区是全球的描述特征区域,点坐标的计算区域的重心从属于所有地区,在该地区和通常有很多点。(c)形状参数。该地区的形状参数通常用于描述目标的形状,和形状参数计算是基于该地区的外围轮廓和区域的面积。形状参数的变化不敏感区域的大小。(2)轮廓特征。轮廓的基本参数包括轮廓长度,线径,倾向,曲率,角落里,等等。(一)线的长度。伸直长度是一个简单的区域特征,在特征区域。(b)的直径。轮廓的直径是指最远的两个点之间的距离,也就是说,直线段的长度在这两点之间,而在解释中扮演一定的角色的特点。(c)倾向,曲率,和角落的轮廓。轮廓的倾向可以显示轮廓上每一点的方向。曲率变化率的倾向,这表明改变外形轮廓上每一点的方向。(3)灰度特征。功能区域的灰色特征非常重要和容易获得,和他们也最容易区分特征直观地通过人类的眼睛。(4)基于特征识别。图14展示了一个不同的x光照片,包装花生含有干燥剂。HALCON的骨架函数是各领域用于构造骨架,骨骼的长度,计算区域,每个区域的中心。结果如表所示2。

从表可以看出2,图中干燥剂的面积是6223年和6447年之间。在实际的食品生产过程中,只有一个相同的包装食品干燥剂,和相同类型的干燥剂的特点是基本稳定。因此,根据该地区的区域特点,干燥剂区域可以有效区别异物,和干燥剂可以迅速排除杂质。

3.2.2。基于模板匹配的识别

我们使用模板图像找到对象24]。为了找到模板在图像的位置,有必要计算相似性所有相关位置的模板和图像的不同位置。在高相似度的情况下,发现这个模板的一个例子。

假设对象的位置,它可以被翻译。类似的指标得到每一点,结果可以被视为一个图片所示以下方程:

计算相似度在整个图像是一个非常耗时的任务。为了提高算法的速度,有必要减少一些手势的数量研究和点模板的数量。可以构造一个图像金字塔,金字塔模型如图15。

类似上述测量方法只允许小对象的旋转和缩放图像。如果图像中对象的定位和扩展不同的模板,无法找到对象。在实际的包装食品,干燥剂有巨大的旋转偏差,但比例情况非常小。为了找到旋转物体的图像,我们创建一个模板有多个方向和空间离散化实现搜索旋转物体的目的。

基于HALCON的形状匹配算法主要构造模板小感兴趣的领域。的步骤如下:(1)确定模板的ROI区域,该地区的形象从图像中获得。(2)创建一个模板使用shape1()的清洁。这个函数有许多争论。这个系列的金字塔是由Numlevels指定。值越大,时间越少找到对象。AngleStart和Angledent确定的范围可能的旋转。角步骤指定步骤角范围检索。(3)在创建一个模板,您可以打开其他图像模板匹配。这个过程是寻找图像的新图像与模板一致。如果你需要更精确,在“最后的设置。“既然模板匹配增加了额外的时间,这实际上需要一个时间和准确性之间的权衡。更重要的两个参数是MinSocre贪吃,它被用来分析旋转对称的模板和上次相似。值越大,越相似。后者是为贪婪搜索。这个值有很大的影响在检索速度。在大多数情况下,尽可能地增加价值,当一个匹配。(4)如果找到一个匹配的模板实例,函数向量_ _ _ _刚性()和仿射角反式_轮廓_ xld()被转换和显示。

利用形状模板匹配技术,可以找到一个映像部件与模板图的图片一致16。图中的矩形区域16干燥剂形状模板匹配的模板,模板中心位置(213.5,434.5),角是0.14061 rad,宽度是47.0744,高度是63.1916。

干燥剂的图17(b)不匹配。食物的结果以一定角度放置在图17(b)进行了分析。在设计系统时,努力克服失配引起的图像捕获。

模板匹配的结果数据如表所示3。使用模板匹配技术,干燥剂包装食品的位置可以有效地获得。

4所示。实验

在本节中,通过前面的实验和分析方法、Faster-SRCNN和YOLO模型首先用于训练和测试意思cnfood - 252数据集。快R-CNN VG16, ResNet V1-50, resnetv1 - 152和MobileNetV1特性的提取网络地图和选择YOLO提取网络意思。

本节中的所有实验进行PC机与Windows 10。CPU是国米corei9 - 9900 k, GPU使用RTX2080ti 11 G的加速模型的训练和测试,和模型使用Python 3.6上运行,Tensorflow 1.8.0, CUDA 9.0。

30000件随机选择从cnfood - 252数据集作为训练小组,剩下的2190件验证组作为测试组。各种各样的食物保存在分类和均匀分布。我们保证某些类别不会泄漏时随机抽样。实验结果表明,检测速度Faster-CNN YOLO系列比这更快的意思,但精度较低。从正确的角度来看,它证明食品的可行性目标检查表4。

原油样品的增强方法上面的食物图像样本来验证其性能,和12种食物选择的数据cnfood - 252。示例如图18。

Tiny-YOLOV2模型被用于训练,12个物种被随机选中cnfood - 252,和1522个样本进行测试。我们计算的对象是否检测到每一种食物。1522个样本包含6011年食品对象。表5显示正确的分布检验,错过了检查和各种食物的错误检查。

从表可以看出5,只有一个样本可以采取各种食物。加强图像的方法后,正确性可以达到91.8%。在这个实验中,只有12种食物图片收集了实验,还有很大的差异在各种食物,但是实验结果证明该方法有效的提高原油样品。

因为训练样本只包含一种食物在一个图片,测试样本包含许多种类的食物。因此,有一个泄漏箱重复部分的食物,和测试结果图如图19。

提出了检测任务应该重新分类为定位和分类任务,和食物图像识别应该由两级培训模式。统计结果如表所示6,实验结果如图19。

正确的速度表所示6的比例是正确的速度,检测时间单位秒。

YOLO-SIMAMV1和YOLO-SiamV2没有训练转移学习。每一层的参数需要再次培训确定最佳superparameters在以下范围内。模型的性能如表所示7。

从表可以看出7YOLO-SiamV1低的准确性,改善YOLO-SiamV2的准确性,这是小数量的相关网络层,达到45.75%。虽然测量精度和分类远低于之前的方法,双晶体网络证明了食品中扮演一定的角色形象匹配,和未来的研究主要是提高精度。

5。结论

本文对餐厅的实际应用,检测任务划分为位置和分类任务,和卷积神经网络用于解决每个任务,这证明cnfood - 252数据集的实验结果中发挥一定作用提高了识别精度。然后,由于测量方法需要收集大量的训练样本显示,很难在实际应用中,图像匹配方法用于识别,用更少的样本构造和数据集。FewFood-50结合Tiny-YOLO和双网络提出一个两阶段学习YOLO-SIMM和设计模式的两个版本YOLO-SiamV1 YOLO-SiamV2。FewFood-50数据集的实验结果表明,该方法的精度最高仅为45.75%,但不需要手动标签样本,这证明它具有良好的发展前景在实际推广或应用程序。

与此同时,通过修正原始图像,可以获得更高质量的x光照片。大多数包装食品产品使用阈值分割技术,可以有效地分离铁丝异物从食物的背景,但它是不可能有效区分干燥剂和异物只有阈值分割。数学形态学,图像的特征提取和模板匹配进行了研究和试验。实验表明,干燥剂和异物可以有效区分,导致安全的食品和可以得到期望的结果。

数据可用性

使用的实验数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由湖南省教育部门的科学研究基金会(18 b422)。