文摘

图像识别和图像处理通常包含图像分割技术。优秀的分割结果可以直接影响到图像识别和处理的准确性。图像分割的本质是段一定的图像或视频的每一帧分成多个特定对象或区域,代表不同的标签。本文在图像分割图像分割结果用于智能监控的普通话考试通常是图像分析的可视化。在本文中,我们首先研究语义分割的性能改进技术的智能监控图像分割任务普通话考试,通过执行语义迁移,提高像素分类能力,第一次,大大扩展了数据集的风格转换,提高模型的识别高级功能。此外,为了进一步解决数据集的缺点,本文改进了图像分割的性能使用合成数据集通过调查合成数据集图像分割的改进技术,减少依赖手动标注数据集。图像分割技术继续发展,甚至还有成千上万的常用分割方法图像分割的发展。其中,他们可以大致归类为提出的分割方法,基于阈值的分割方法、edge-based分割方法,特定的基于理论的分割方法和基于深度学习分割方法。然而,本文中使用的方法都是通过实验证明了改进的有效性技术和被证明比其他现有方法在同一领域公开数据集LSUN,城市风光,和GTA5数据集,分别。

1。介绍

图像分割是一项基本技术,许多计算机视觉应用,如场景的理解,人类的决议,和自主驾驶,它的广泛应用已经受到国内外研究者的高度重视。的快速卷积神经网络的技术更新,特别是全卷积网络,大量的优秀工作推动了图像分割技术的发展(1]。近年来,图像分割技术已经应用于越来越多的领域和子任务,如室内场景重建和其他任务,可以极大地提高最终的精度估算室内房间的布局分割技术。然而,由于进行像素级细分标签会导致成本非常昂贵的注释,现有的数据集通常缺乏足够丰富的样品与注释,导致一些研究人员致力于研究更现实的弱监督和非监督学习方法。和计算机图形学的发展,神经网络已经被训练能够更新的模型合成数据集更新他们。合成数据集的使用节省了大量的劳动力,但是完全没有真实图像的图像(2]。

模型的性能与合成数据集训练难以实现预期的结果标记时,和领域适应技术技术有重大研究价值在现实和合成图像求解域之间的不匹配。图像识别和图像处理通常包含图像分割技术。优秀的分割结果可以直接影响到图像识别和处理的准确性。图像分割的本质是段每一帧的图像或视频为多个特定对象或特定区域,代表不同的标签。分割结果通常直观的图像分析。研究者的不断努力,图像分割技术不断进步,甚至有成千上万的常用分割方法在图像分割的发展到目前为止。其中,他们可以大致归类为提出的分割方法,基于阈值的分割方法、edge-based分割方法,特定的基于理论的分割方法和基于深度学习分割方法。还有一个观点,即图像分割技术标签图像的像素属于同一特定对象相同的数字或符号(3]。

计算机看起来聪明和聪明,也有一个不断增长的期望,他们将有类似人类的感知和理解。这使得计算机科学与技术,尤其是人工智能,今天最热门的、发展最快的领域之一。对电脑了解世界和人类一样,适应不同的任务,研究人员设计的算法给计算机类似的感知和理解能力基于人类感知外部世界。其中,该算法允许计算机获得“愿景”是非常重要的为计算机能够有效地感知外部世界。计算机视觉是各种应用领域的一个组成部分。图像的视觉和计算机视觉的第一步是对图像的理解。如果计算机无法理解有效的图像,它不能处理图像。要理解一个图像,图像分割(4]。

它是在最关键的位置。图像分割技术已经广泛应用领域的场景理解、人工解析、自主驾驶,医疗诊断,军事工程,等。此外,图像分割技术发挥重要作用在其他场景重建和目标识别等关键技术。近年来,卷积神经网络的技术,特别是全卷积网络,一直在快速更新和大量的优秀工作推动了图像分割技术的发展。图像分割技术也逐渐作为pre-step为大量使用先进技术,应用于越来越多的领域和子任务,如图像分割任务智能监控普通话考试,提供一个更好地了解室内场景,这是至关重要的为其他任务,比如室内导航、目标检测和深度恢复。此外,应用高级室内场景表示智能机器人和增强现实也是可行的。室内空间布局估算任务具有十分重要的研究价值作为图像分割的子任务。在深度学习,数据集的大小直接影响模型训练的有效性。数据集越大,性能越强,模型可以显示。然而,对标签进行像素级分割导致成本非常昂贵的注释,和现有的数据集通常缺乏足够丰富的样品与注释,导致一些研究人员致力于研究更现实的弱监督和非监督学习方法,如领域适应气候变化,这是无监督学习的常用方法之一。在图像分割领域适应气候变化的研究是非常必要的,因为手册像素标签是一个相当昂贵的行动,而与计算机图形学的发展,神经网络已经被训练能够更新的模型合成数据集更新他们。 This process saves a lot of labor, but it also suffers from the problem of domain mismatch between real and synthetic images, and model performance is usually not comparable to supervised learning directly on real image datasets. The most difficult case, i.e., when the data labels of the real picture are completely absent, the performance of the model trained with the synthetic dataset is hardly desirable, and the domain adaptation technique is the technique to solve the domain mismatch between the real and synthetic images, which has significant research value.

本文的主要贡献和创新如下:我们调查的性能改进技术的语义分割图像分割任务的智能监控普通话考试;我们大幅扩展数据集的风格转换,提高模型的高级特性的识别;本文改进了图像分割的性能使用合成数据集通过调查合成数据集图像分割的改进技术,减少依赖手动标注数据集。

本文的其余部分组织如下:在部分2我们致力于讨论相关工作;部分3介绍了图像分割技术的智能监控的普通话考试;部分4给出了实验结果和分析;节5,我们总结全文。

2。相关工作

图像分割已收到大量的注意力从研究人员自成立以来。早期的描述的相关技术将传统的图像分割算法和深度学习分割算法在使用卷积神经网络在图像分割研究的当前状态,最后(5),图像分割将未来的发展趋势进行了分析。文献等人开创的客观评价分割算法之后才提出相应的评价方法和指标首次为二进制图像分割。文献提出的方法和指导方针为传统的图像分割算法的性能评价(包括彩色图像、深度图像和医学图像)。本文进行了一次重要的分割算法的评价研究,提出了“最后的精度标准,”的客观评价方法,进一步认识到系统的研究的重要性分割评价方法和评价标准,并成为第一个研究分割算法的性能评估,分割评价研究奠定了基础,极大地促进了分割算法评估的研究进展。评估主体的研究进展;此外,文学的发展也导致了主题,提出见解和关于分割评估,但不幸的是仍然没有深入研究。一般来说,分割算法的评价方法在这个阶段还没有完全摆脱了依赖主观参与,和研究人员很高兴工作在单帧或少量的样本图片集分割评价,展示他们的研究成果,但这些研究结果缺乏统计学意义和评价结论无法轻易广义样本外图像或其他应用程序的情况下(6]。

已经清楚地指出在文献中,只使用小样本图像不利于全面、准确,算法的客观评价,提出令人信服的评价结果只能通过分段和评价图像库的所有图像包含大量数据。正因为如此,一些学者甚至认为,客观的绩效评估只能通过将任务上下文的算法,称为系统级评价方法(7]。直到21世纪初分割评价的学术地位和意义进行研究公认的紧迫性和充分肯定,并一个接一个,该领域的专家和学者从大学和商业组织开始研究分割算法的评价方法。文献提出了非常系统和新颖的评价方法;文献甚至还开设了一个主题网页图像分割评价的框架,使评价方法为完成软件产品在其公共主页,也促进了图像分割的发展和进步做出重要贡献的评价和图像分割的评价。必须指出,然而,研究单位和个人在图像分割评价主要集中在大学等机构或个人的商业公司在欧美国家和地区。总结,而图像分割算法研究的杰出的成就在过去的几十年里,研究评价分割算法的研究远远落后于分割算法本身,和一些学者和科研机构正在研究评价方法对图像分割技术目标的方式,这是一个令人担忧的情况。到目前为止,只有少数现有的分割评价方法,以及现有的分割评价的研究是远远不够的当前图像分割技术,很容易可以在成千上万的;此外,所有这些方法都可怜的普遍性的问题。新文献的数量分割评估每年只有在个位数甚至零(8),其中大多数是传统的图像分割算法的评价,而且几乎没有人参与的评价分割算法的性能和非常规图像分割结果的质量,如SAR图像。至于评价方法的系统研究,只有少数,这叫做“学术差距。”

一般来说,尽管有很少的初步评估的讨论图像分割技术到目前为止,国内外研究结果通常是分散的和无组织的,特别是研究评价方法由成熟的理论背景是完全空白的。因此,本文将致力于整理,总结,和总结现有的研究成果对分割评估,改善当前宽松的研究现状,并提出新颖的分割评价方法提供了理论支持和应用实例更好的利用,开发和改进的图像分割技术9]。图像分割技术是发展的一个瓶颈等科学研究领域的形象工程和计算机视觉和图像分割技术的研究将产生有意义的影响图像分析、图像理解,语义描述的图片(10]。因此,对图像分割的研究,仍然是,将一个紧迫的问题。因此,开展应用研究图像分割算法的性能分析和评价不仅是伟大的理论重要性也是不小的实践应用价值(11]。

3所示。对图像分割技术的研究对智能监控的普通话考试

3.1。研究图像分割技术

图像分割的过程是标记像素的过程在一个图像按照一定的属性(12]。然而,提供一个通用的定义图像分割多年来一直存在争议,有稍微不同的图像分割问题的正式定义在主流计算机视觉和图像处理的教科书。图像分割,缺乏一个普遍的定义,到目前为止,从文学和图像分割的定义是用在这里。图像分割技术在传统的数字图像分析和处理以及计算机模式识别领域的。图像分割技术是最广泛应用于计算机视觉算法,基于像素特征的原则,为类似的功能属性不同的像素类型出现在一个单一的图像,图像被分成多个相互non-intersecting像素集的子集,每个独立的子集都有一致的特定特性。换句话说,有些图像中感兴趣的区域是分开的无趣的背景,以促进进一步的图像分析。在这里,我们可以定义一个原始图像 ,的元素( ),满足条件(13]。

第一个公式是本文的核心内容,和它的主要目的是准确地分割图像,然后处理图像,以便更好地监测普通话测试。是否自动智能领域的开车,增强现实技术,智能安全设备、生物识别、医学图像分析(14),图像分割技术大致可分为实例分类和语义分割基于分离目的的要求。语义分割:类似于标签的过程目标像素在图像,形状像一个分类操作,目标在图像标记的类标识统一语义像素级。对图像的语义分割的一个例子,同样的颜色分割结果与对象相同的类别标签,使用不同的颜色表示不同类别,不同的颜色代表不同的类别相同的形象。实例细分:可以看作是一个组合的语义分割和对象检测,只需要标记的具体类别的当前图像的每个像素,分别从分割结果中感兴趣的区域为一个独立的个体。有许多的图像分割方法;有边缘检测方法,在早期当计算机技术不是很先进,大多数人最早的分割方法,基于边缘检测的研究。的变化图像中物体的边缘像素大,像素特征内部和外部的优势更明显,所以这种敏感的特性和不同的微分算子的不连续的边界灰度值变换是用来最后确定边缘点通过计算一阶导数极值点或二阶导数过零点。几种常用的边缘检测算子Sobel算子,精明的经营者,拉普拉斯算子,罗伯茨运营商(15]。之前推导的算子对噪声的影响十分敏感,大部分时间用高斯平滑滤波器卷积与原图像降噪。在处理灰度图像由于强烈的目标边缘灰度的变化,因此,边缘检测方法被广泛使用。该方法的流程图如图1。

提出分割方法使用相同的内部连接属性目标图像中的对象和不同目标之间的分离特性。最常用的区域分割方法是阈值分割、区域增长,和区域分割和合并方法,常用的阈值分割方法将原始图像转换成一个二进制图像,图像中的像素值在0和1之间,指示,前景和背景之间的像素值邻近的目标基本上是相同的,不同目标的像素值有很大的不同,目标价值T被选中时,那么T是统一固定的图像分割为整个图像阈值(16]。这只是打分类的任务,这个简单的阈值选择不适用时分裂为多个目标任务,因此,提出了应用最大entropy-based自动阈值选择的原则。该地区split-merge方法可以被视为区域增长的逆过程,从宏观的角度来看,整个图像分割,切成重叠分区,和两个相邻区域合并当满足一定的合并条件,直到最终达到该地区被分割。介绍基于区域的分割方法如图2。

对图像分割技术的研究基于普通话考试只能监控,深度学习被广泛使用之前,相当数量的图像分割方法开发完成的任务形象的理解,在此期间,数字图像处理等学科或知识拓扑,和数学作为图像分割的原则或工具,生许多原始分割方法和不同的想法。尽管深度学习的不断发展结合计算机硬件的不断增强了人造胶原。之后,伟大的创新领域,基于图像分割的方法不再是足够的竞争力。先进的硬件和卷积神经网络的高速逐渐出现了深度学习的主流研究领域。其公式如下(17]。

卷积神经网络是一种功能强大的可视化模型和领域的伟大业绩形象分类、结构化输出,目标检测,重点预测了图像分割领域的尝试与深度学习框架,以便更好地执行图像分割任务(18]。卷积神经网络积极的池层丢弃大量的信息来减少计算的工作量,减少冗余信息。然而,这样一个过程是不可逆的,会导致大量的信息损失和不可逆性,在某些情况下,例如当网络太深,可能会有太多的信息损失和严重缺乏可操作的信息。公式如下所示。

为了解决这个问题,解决上述问题的基本思想是通过up-sampling这个操作可以编造一些缺失的信息在一定程度上,提高图像的分辨率。图像显示在图3。

GGNet的优势主要是最后三个完全连接层使用的大多数参数的完整的网络,这使得模型的参数不爆炸随着网络日益加深。此外,基于卷积神经网络的基本性质19),多层的知觉场卷积层由多个小回旋的内核相当于一个卷积层组成的一个大回旋的内核;例如,一个两层的卷积层组成的两个3×3回旋的内核都是一样的知觉场作为卷积层由一个7×7卷积内核。方程如下所示。

18远小于49,即。,the number of parameters using small convolutional kernels is much less than using large convolutional kernels, and the computation is simpler and the learning capability is more scalable. The excessive number of fully connected layers of VGGNet also makes it use more parameters and occupy more memory compared to a fully convolutional network. As deep learning networks become deeper and deeper, a very important difficulty that exists is that the deeper the deep learning network is, the smaller the gradient will be in the transfer process, and when the network is deeper to a certain degree, the gradient will even disappear, and the error elevation effect becomes worse is a side effect of all deep networks after deepening continuously, and the reason why deep networks cannot deepen infinitely to increase complexity. In this process, the disappearance of the gradient will make the training impossible. The formula is as follows [20.]。

ResNet作出了实质性的贡献的研究进行深入学习网络越来越成为另一个基准在深入学习网络框架的开发工作。目前,ResNet多达152层深,远远超过VGGNet 19层,并在深度学习被认为是一个转折点。ResNet的神秘在于其剩余模块设计、深化学习网络的残差ever-stacking方式。其结构如图4。

此外,区别的功能网络(DFN)侧重于宏观层面,试图解决内部类不一致和类的不一致问题,难以区分进行像素级分割。DFN地址的内部类不一致和类的不一致问题很难由常规分割网络和处理内部类不一致问题,提出了两个网络单独类的不一致问题。提高分割精度。上下文编码模型是一个简化的图像分割问题。模块捕获的语义上下文场景和执行更有效的标签选择通过上下文依赖性。简单地说,这类模型经过图像领域。进行像素级细分标签成本非常昂贵的注释,和现有的数据集通常缺乏注释的例子和一个对象类的多样性。分割算法的通用性和可扩展性是极其有限的。公式如下所示。

为了应对上述问题,弱监督方法进入了研究者的注意使语义分割模型更加可伸缩的和相关的。弱监督方法的共同点是使用低成本的注释,如边界框和涂鸦。这些注释是弱于进行像素级标签,容易由于注释的成本较低,并能显著增加与注释的数据量。在各种类型的注释疲弱语义分割,映像级别类标签已经被研究者广泛使用。

3.2。智能监控系统的设计为普通话考试

智能监控系统的设计的普通话考试,我们分析了系统的需求和被认为是优点和缺点两层C / S模式的体系结构和三层B / S模式的体系结构。使用三层B / S模式的体系结构。第一层是表示层,也称系统中的业务外观层,即客户端浏览器。用户通过该层连接到整个系统。客户端应用程序是流线型的常见的浏览器软件,如微软IE。浏览器将使用JSP技术来生成一个web页面文件的用户的要求,有一定的互动功能,允许用户输入信息在网页上提供的申请表,提交给后端和请求处理。公式如下。

第二层是功能层,也称为系统中的业务逻辑层,实现业务规则和调用数据访问层和网络服务器。后端客户端web服务器,和Tomcat服务器中使用这个系统的设计。它调用相应的应用程序处理响应客户机的请求,生成请求的页面使用JSP技术动态,JavaBean组件封装请求信息并将其传递到数据库,然后将数据库的结果返回给客户端浏览器。第三层是数据层,也称为系统中数据库访问层,主要是指底层数据库平台。访问数据库中使用这个系统。其公式如下。

JSP技术和Java Bean组件用于访问数据库,并请求结果反馈到功能层提供一个透明的数据库访问过程。基于B / s架构的普通话测试管理系统旨在实现考试的功能和管理员管理的,所以系统在系统层次结构分为三层:核心部分是数据层,用于存储管理数据的所有信息,考生可以通过浏览器访问数据库服务器透明地在网络上的普通话测试。管理员还可以更新和维护的内容存储在数据库服务器通过网络浏览器从任何地方,检查候选人的基本信息,测试结果,和所有候选人发出指令。公式如下。

数据库设计是开发一个数据库或工作需要当一个数据库应用系统。一般来说,没有纯粹的数据库独立存在,但数据库设计依赖一个特定的应用系统。因此,数据库设计是指对于一个给定的应用环境,构造最优数据库存储模型,建立了数据库,应用系统可以快速高效地访问数据,以满足不同用户的各种应用需求。公式如下。

通常,一个训练有素的数据库设计可以分为六个不同的阶段;(1)需求分析,(2)概念性架构设计,(3)逻辑架构设计、数据库物理设计(4),(5)数据库实现,(6)数据库操作和维护。

4所示。实验结果和分析

4.1。实验结果

演示图像分割的效率和准确性在合成数据集分割框架下提出本文本文的性能比较与先前的工作使用GTA5作为源域数据集和城市作为目标域数据集通过定量实验。其中,self-supervised学习(SSL)广泛用于semi-supervised学习不足等情况下的数据集标签或嘈杂的数据集。流的F M在本文中,大量的图像可能翻译错误,而伴随着情况self-supervised学习地址存在的噪音数据集。因此,对图像分割的网络,有一个很好的理由和动机使用self-supervised改进学习方法。两种算法的效率比较图5。如下。

通过比较实验与MultiResNet U-Net网络和网络,U-Net的最新升级,我们得出这样的结论:multi-bridge网络和MultiResNet网络展览性能超出原来的U-Net。MultiBridge和MultiResNet网络引入残余连接性和区域的连接通道,因此,假定这两个方面可以使网络在处理边缘信息更清晰。然而,MultiResNet网络落后MultiBridge网络在处理更模糊的边缘和不完美的空洞。实验证明,MultiBridge倒u型结构网络和卷积模块用于不同级别可以解决网络中的欠分割现象。同时,独立的连接路径设计不同的层在很大程度上促进融合前后层的特性。图像表示如图6。

直方图是一种统计工具,计算像素的灰度值之间的关系在一个图像和灰度级的像素的统计值。通常,柱状图的纵坐标是用来表示像素的数量相同的灰度图像,和横向坐标是用来表示图像的灰度。由于直方图可以大致描述图像的灰度范围,灰色的分布水平,和一个图像的平均亮度,所以在这一节中包含不同大小的图像的直方图椒盐卷饼噪音,和图像的直方图可以用来理解图像的像素点的信息在一个简单的方法。为了更好的观察,图像的直方图包含0.01,0.10,和0.50椒盐卷饼噪声在这一节中给出两个不同类型的直方图,如图7。

点积运算的原理是使黑暗部分图像的黑暗和光明部分亮的点乘以一个常数。常常从外部资源获得的图像含有噪声,高斯噪声是最常见的一种类型的噪声。在这种情况下,点乘法原理能使黑暗部分黑暗和光明光明的部分,这使得更多的目标信息和背景信息,易于区分和识别的图像,并有利于图像分割区域的划分(或使图像分割区域分工的更加详细的和明显的),因此,图像分割方法基于内积操作将达到一个非常明显的图像分割效果,促进图像的处理。图像分割的效率图所示8。

5。结论

介绍了本研究的价值,通过分析图像分割的研究背景和意义的分支技术用于智能监控普通话考试,介绍了图像分割技术的研究现状和国内外,并导致目前最快速发展的深度学习的技术。图像分割技术的概念和分类简要整理,进一步证明了在深度学习与卷积神经网络。等问题的不同形态的每个组织细胞核图片和有限的数据,提出了一系列图像预处理的方法来扩展数据增强之后,首次提出一种新型卷积神经网络,这是确认一个增强的影响最终的预测模型结合残留的连接和跳过连接,通过分析这个网络与传统网络,一种multi-bridge卷积神经网络是基于最后提出基于智能图像分割方法,普通话考试。这个网络的总体设计是通过比较实验证明网络的性能更有效的图像分割。

对于图像分割技术,我认为在未来的开发中,视频也可以开发。段视频的截图,和联系方式,以便更好地处理事情需要分析。这是技术的一部分,在未来将开发。总结了本文的主要创新工作如下:传统的分割技术问题敏感的外部照片采集环境和需要大量的人工干预,基于深度学习方向为细胞核分割提出了卷积神经网络,将残留在U-Net链接和跳过链接重新设计一个卷积块使用Keras和TensorFlow框架系统,执行排序。最终,与其他网络进行比较,结果表明,卷积块设计这种结构执行比其他两个网络在执行细胞核分割。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称他没有竞争的经济利益或个人关系可能出现影响工作报告。