SKETRACK: Stroke-Based在线手绘草图识别Arrow-Connected图和数字逻辑电路图

文摘

数字化的手写文件创建了一个更大的需要准确的在线识别手绘草图。然而,手绘图的在线识别在人机交互是一个持久的挑战的复杂性从连续可靠地提取和识别的视觉对象中风流。本文侧重于设计和开发的一个新的、高效的stroke-based在线手绘草图识别方案命名SKETRACK手绘箭头图和数字逻辑电路图。这个模型是文本的基本部分分离,符号分割,特征提取,分类和结构分析。该方案利用归一化的概念和分割孤立的文本草图。然后,提取的特征模型不同的结构性变化的中风分为箭头/线和符号进行有效处理。中风是集群使用谱聚类算法基于p-distance和欧氏距离计算功能和最小化之间的相似性特征维数的分组相似的特征。然后,执行符号识别,使用改进后的支持向量机(MSVM)分类器与狮子优化混合核函数的调优参数的支持向量机是利用。结构分析与lion-based执行任务优化识别符号候选人以形成最终的图表示。这提出了识别模型适用于简单的结构,如流程图、有限自动机,逻辑电路图。 Through the experiments, the performance of the proposed SKETRACK scheme is evaluated on three domains of databases and the results are compared with the state-of-the-art methods to validate its superior efficiency.

1。介绍

人类之间的交流已经完成了许多代模式。草图是沟通的基本形式,普遍从古代人类文明自史前时期。许多仍然在山洞中发现的这种通信仍艺术和象形图广泛视为基准研究文明的发展。近年来许多工作启动捕获和识别手写文档包括手绘草图(1- - - - - -3]。这些手写文档的数字化历史文档应用程序获得了巨大的研究兴趣。这些应用程序仅仅是关注处理这样的手写文档的图像或照片和草图。然而,主要的挑战在于自动识别这些徒手画的内容等机器的电脑。这一挑战形成的基本过程数字化(4]。除了历史徒手草图和著作,今天的数字时代为开发应用程序遵循铺平了道路徒手草图及写作经验的用户。移动触屏设备和智能手机的迅速崛起也在很大程度上造成了用户在手机屏幕上绘制手绘草图使用他们的手指。识别这些徒手草图仍具有挑战性由于非均匀草图模式和不遵守规则书。这大大增加了复杂性认识徒手草图,但也增加了研究手写文档数字化建设(5]。在这个现代社会,草图、在线和离线绘制图,发挥更大的作用在游戏,动画,建筑师、设计师和程序员设计他们的参考模型。在这种情况下,需要认识到这些草图是高效和节省时间的工作环境所必需的。这增加了在学习徒手草图近年来,更多的关注对绘图识别目的,sketch-based数据检索,素描抽象为其他应用程序。徒手草图的虚拟媒介可以存储在图像或web文档和可以被有效地通过合适的工具(6,7]。然而,有更多的挑战在获取最好的结果,当输入数据的质量下降。

自动识别徒手草图的任务是一个重要的问题相比,自动识别正常图像和传统素描处理模型,如计算机辅助设计(CAD)。主要的区别是相对较大的组内差异和年级之间的自动识别过程的不确定性(8]。复杂结构的草图是由代表在抽象形式和自由式画完整的过程是不受限制。这些徒手草图是完全不同的传统图像识别是进行基于图像特征或视觉线索,如颜色和质地(9]。同样,徒手草图没有类似的属性文本绘制的草图是由均匀和约束结构。徒手草图的这些独特的特性使它不恰当使用传统的轮廓匹配方案识别(10,11]。

徒手草图的离线识别是研究图像扫描的扫描设备或相机拍摄的照片。时间或顺序的痕迹或信息不包括点痕迹。

徒手草图的在线识别图像是由设备如智能手机或平板电脑12,14]。在线手写数据可以检查基于中风。的顺序或时间信息中风和中风的点。我们的工作是一个在线徒手画的草图识别的例子。这样,我们有时间和使用的数据库的订购信息跟踪和点。

有很多研究工作关注的一些sketch-related字段,如sketch-based图像检索(15),视频检索(16)、动作分析(17],分割[7),和认可(18]。建模和开发准确的绘图识别模型的兴趣一直在增加大量特别是在最近的软计算技术的进步。简单的徒手草图组成的中风包括arrow-based图和基于行的图高度用于评估这些模型由于这些图在更广泛领域的应用。即使这些草图正在挑战识别由于其不同表示的用户(18]。这项工作是致力于解决这种复杂性通过开发一个模式,可以识别arrow-based在线草图和简单逻辑电路草图。这项工作利用中风认识到,箭头,和符号的草图,然后检测到它们之间的关系。这些结果合并由结构分析组件重新创建草图识别与准确。

在这工作有三个贡献。首先,特征提取是制定存储和编码的不同结构变化不同的形状中风在输入徒手草图。其次,p-distance和欧几里得距离是用来降低中风的尺寸特性和集中使用谱聚类算法。第三,主要贡献是发展改进的支持向量机(MSVM)分类器的识别过程。SVM是改良利用的分类概念再邻国(资讯)分配算法的边界限制并在此基础上提出了一种混合的内核和任务是使用狮子优化算法优化。这一修改的SVM算法提高了整体性能在线识别的徒手草图。本文的其余部分组织如下:部分2提供了一个讨论最近的相关工作。部分3描述了素描结构和支持的格式。部分4解释了SKETRACK提出识别方案。实验和分析结果给出了部分5而讨论的结论部分6。

2。相关的工作

识别的手写文档和徒手草图一直是一个热门的研究领域近年来。许多研究人员试图开发高效、准确的识别模型的一些重要的作品。李等人。19)建议利用明星的概念基于整体匹配和统一的整体匹配multi-SVM基于分类分类的结构草图识别特性。这些集合的方法利用局部和全局特征表示和提供准确的绘图识别通过克服SVM的局限性。李等人。20.]也开发了一种徒手画的草图识别方法使用multikernel特性学习概念草图识别它们的融合几种常见特征。然而,这种方法有质量的局限性在匹配某些共同特征由于用户的错画不同形状以类似的方式。这种限制要求统一的应用属性supercategorize并形成子类创建分支处理,成为无效。李等人。21]给出了另一种徒手画的草图合成方法使用变形中风模型由标准图格式和不同格式的每个形状和符号。基于这些中风的知识,生成数据驱动模型检测不同的草图对象没有任何培训或额外的校准。然而,这种特征提取模型检测许多类似草图的草图使用感知分组结果,但当为单一的草图识别,结果可能是不会有前途的。同样,这个模型的无监督性质很难认识到复杂结构草图。黄等。22)开发了一个数据驱动的细分方法和标签徒手草图的准确识别。这种方法最初使用混合整数规划模型草图分割问题优化的局部特性和全局特征连接结构示意图。然而,如果语义功能仍然可以提高准确率。施耐德和Tuytelaars23)采用Fisher向量使徒手草图的草图高度准确的识别分类。这个数据驱动的方法也修改了标准匹配的语义相似性的草图不管人画了草图。然而,整体表现并不完美,由于贪婪的性质的识别。

Bresler et al。24)提供了一个方法来检测在线勾勒出图中的箭头使用箭头相对行程定位分类的概念。这种方法是非常有效的箭头在流程图和有限自动机识别的草图。然而,这种方法提供了略微糟糕结果的相对定位的模糊定位原则是不习惯。Bresler et al。25]给出了一个在线识别模型概述arrow-connected流程图和有限自动机图。这种方法使用的概念符号候选人选择基于评估他们使用知识域之间的关系。这个系统在识别arrow-based图准确有效,但识别时间高识别过程利用了所有过去的知识之前提供结果。同样,有一个常见的错误当输入草图的可能性比过去的知识不同的风格。郑et al。26)提出了一个方法发现歧视补丁徒手草图的改进分析结果。提出的方法属于弱监督学习方法和利用面向金字塔的柱状图的梯度来表示进一步的区别的补丁使用迭代检测过程进行准确的分析发现。然而,这种方法只支持定性分析,不支持高效的草图识别。

Kleffmann et al。27)开发了一个可追溯性的方法认识到非正式的手绘草图创建草图元素之间的关系。这是通过增强互动的房间(AugIR),结合模型的模糊搜索和信息检索的向量空间模型(VSM)技术。这种可追溯性的方法达到92.74%的精度和召回的90.04%。然而,草图的元素之间的关系有时可能会产生错误,从而导致召回跟踪链接恢复和减少值。王等人。28)设计和开发SketchPointNet小说积分深层网络具有结构紧凑,高度健壮的草图识别。这种方法大大减少了模型空间和计算复杂性,并确保以最小的网络参数精度高74.22%。DeepSketch Seddati等人提出了三种模式(29日- - - - - -31日),一个深基于卷积神经网络(CNN)的方法绘图识别与相似性搜索使用资讯。DeepSketch [29日)方法提供了识别精度足够高的75.42%有效的相似图片搜索应用程序。DeepSketch 2 (30.)是一个增强的DeepSketch模型部分草图识别的准确性达77.69%而DeepSketch 3 (31日)也使用不同的分层开发的特点深CNN sketch-based图像检索应用程序的草图识别精度为79.18%。

Sarvadevabhatla和茶室32)提出了使用深度递归神经网络的识别框架草图通过控制深特性和加权时间戳的损失。这种方法提供了令人满意的结果,但深特征提取的准确性还不完美。Jahani-Fariman et al。33]提出了一种块稀疏贝叶斯学习方法称为MATRACK绘图识别,平均精度为96.6%。这种方法具有较高的准确性和健壮,但唯一的限制是识别时间越慢,由于扩展学习的过程。他等。34)提出了使用深visual-sequential绘图识别融合模型。这个模型捕获中间中风州使用时空特性使用层残余长时序网络的短期记忆(R-LSTM)单位。融合的视觉和时序特性增加绘图识别的准确性。但这种方法的问题是,semiconstrained草图只是粗略的检测而不准确的草图被过滤,以免在识别精度下降。

Boyaci和泽特35)开发了一个CNN的草图识别的特性融合智能手机。这种方法采用多层CNN提取使用Alex-Net草图和VGG19 CNN架构的特点与融合算子。捕获到抽象的草图,和最好的融合方案是用于客户机-服务器应用程序,平均精度为69.175%。然而,这些结果是第二个最好的Sketch-a-Net计划于et al。(36]。Sketch-a-Net使用草图的深层神经网络有效识别利用顺序排序信息和设计一个变形模型合成新的草图。这种方法具有更好的识别性能的考虑的独特属性草图。为了超越Sketch-a-Net,泽特和Boyacı37)提出了一个有效的徒手画的草图识别方法使用转移学习模型基于CNN连同CNN-SVM管道的特性融合的体系结构。主成分分析(PCA)是用来减少熔深功能维度和整体识别精度提高到73.1% TU-Berlin数据集(1智能手机应用程序)。Zhang et al。38)提出了一个混合CNN绘图识别方法。这个混合CNN包含两个CNN,即Alex-Net两者考虑外观和形状的特点,分别。与其他模型相比,该混合CNN中高效提取有识别力的形状特性从而增加绘图识别的准确性和sketch-based图像检索过程。这种方法识别精度提高了2 - 5%,但这种监督混合CNN的缺点是昂贵的标签数据的要求和semisupervised CNN模型可以减少这种限制。

从文学,可以推断,深度学习模型,尤其是CNN,被剥削大多数徒手画的草图识别。然而,这些模型有局限性和发展的空间。另一个方面化的概念是利用机器学习算法的识别已在提供基于图像处理绘图识别更加重要。SVM是一个这样的算法,但由于其训练时间长和无法选择一个完美的内核,支持向量机模型提供了表现不佳。在这个工作中,提出了一种改进支持向量机来克服这些限制。混合内核开发为此连同狮子优化算法减少训练时间。这个模型的改进支持向量机被认为超过了SVM的性能和纳入拟议的SKETRACK识别方案。

3所示。草图结构和格式

SKETRACK草图识别系统开发支持多个域,实现这一目标,需要小的修改重新训练分类器。从事研究的领域的评价提出SKETRACK和在线数据库使用。基于行的图和arrow-based图是利用线条和箭头的符号连接。选择这些草图的主要原因是由于他们统一结构的箭头和符号。草图包含任意中风和统一的符号和文本标签领域的语法。三个图域,即流程图(FC),有限自动机(FA)和数字逻辑电路(DLC),利用工作。FC、FA和DLC草图SKETRACK指定特性的利用这些草图派生的评估。这些草图作为在线识别系统的输入。

3.1。流程图

流程图arrow-based草图组成的五个统一符号类,即数据,决定,过程中,连接,和终结者。FC数据库是广泛使用在不同的格式为研究目的。作为注释主要是提取所需FC的重要属性,选择数据库基于注释和时间信息。FC数据库用于评价可在[25]。数据库包含672样本28草图的草图模式由24的用户。这些草图分为训练和测试的子集。数据库包含注释的符号和它们之间的关系而箭头连接分,头也提供。还提供了每个文本块的意义。

3.2。有限自动机

有限自动机也arrow-based草图包含三个统一的符号类,即状态用一个圆,最终状态,表示为两个同心圆,箭头。英足总数据库还包含文本块的单字符的名称。英足总数据库可以在[24]。数据库包含300样本12草图的草图模式由25个用户分类分别进行训练和测试。

3.3。数字逻辑电路

数字逻辑电路是基于行的草图包含三个统一的符号类,即泡沫或者一个圆,正常的盖茨,盖茨和集中曲线(如x或)。象征考虑评价泡沫,或者,,,而且,NAND和x或。这个数据库中的文本块只是单一的字母命名的输入,B和C和输出y图1DLC的符号显示例子考虑这项工作和x和复杂的电路板图避免复杂性。

可用的DLC数据库是最低限度的草图用人的基本逻辑运算非常少。x和和其他复杂结构草图在这工作,因为它避免了混淆SKETRACK方案的描述。数据1 (c)和1 (d)这些复杂的草图。类似于x或者x和门,但它包含额外的符号可视化与非财产和这个结构混淆SKETRACK的识别。同样,在图的复杂结构1 (d)包括完整的电路板结构与逻辑符号。连接器线增加的复杂性,正确地识别逻辑符号。这些结构需要大量的分析是复杂和耗时比其他符号。这些符号是计划在未来被使用非常先进的技术,因此刻意避免在当前研究工作。这项研究的DLC草图从IAMonDo数据库中提取(39]。共有150个样本收集基于10个不同的素描草图模式由15个用户分别归类为培训和测试。

4所示。SKETRACK徒手画的草图识别方案

拟议中的stroke-based在线徒手画的草图识别方案(SKETRACK)雇佣了文本分类的概念,特征提取,象征候选人使用MSVM分类器识别。SKETRACK,最初输入的正常化墨水FC的文件,FA, DLC域执行正确的边缘和噪声。然后,执行文本分割过程将从草图符号文本块。文本中风和符号分别是公认的。这个过程大大减少计算复杂度。然后,象征中风是模仿的特征提取的不同存储结构和新的中风而形成各自的图结构。然后,象征中风是集群利用谱聚类组类似的连续中风与降维模型指定图表部分使用p-distance和欧氏距离。最后,使用MSVM分类器中风是公认的象征。这些公认的符号分析的图结构,和中风的文本替换原来的位置重新创建原始草图。的完整识别管道SKETRACK图给出2。

4.1。归一化和文字识别

墨水文件包含的输入草图速写符号,注释,以及它们之间的关系。这些文件正常化是有效地减少最不准确的图。输入文件可能并不准确的中风可能不完整或损坏从用户或在油墨的创建文件。这可以纠正正常化墨水文件正确的边缘和噪声。正常化,文本以及执行这一步改善文本分类过程。文本可能不在经典里的常用语言或语音转录视为非标准形式。因此,标准化流程标准化文本标准规范形式等提出了全球公认的字典和词典牛津。标准化完成后,文本中风分离处理孤立的图处理的中风。图3显示了文本分离过程规范化和文本分类器。

正常化的过程包括输入图映射到一个标准化的屏在预定义的广场的形状。它控制文本的长宽比图中通过14个基本规范化步骤的形式线性和时刻与长宽比的不同流程规范化。这导致填充和中心化的水平和垂直的维度。然后,文本功能是使用文本提取器提取和分离过程孤立的文本文本分别和形状。执行文本分离使用深度学习递归神经网络(DLRNN) [40)已被发现是最有效的在文本数据分类。DLRNN利用内存用于处理输入中风。它有更大的应用程序在识别过程的笔迹,演讲,和对象。它形成一个循环周期的信息,并使用短期记忆作出决定。这个概念介绍了为了提供更高的专注于识别标志。DLRNN有更高的准确性为99.05%形状类98.94%,文本类。这个过程是适用于所有三个领域的数据库。DLRNN在形状精度/文本类的99.56/97.7,98.8/99.76,和99.12 / 94.88% FC, FA,分别和DLC数据库。图4显示输入FC示意图及其文本分割结果。可以看出,有一个符号和一个箭头发现随着文本。这个错误是由于输入图像的低质量和分类器将最小化在统一的象征。

完成后进行文字识别的符号识别和结构分析。孤立的中风的文本在文本处理分离过程与相应的草图结构分析。处理文本块的两种类型:箭头文本标签和标签统一的符号。第一,统一的符号检测到标签箭头标签紧随其后。最后,文本块被分配到最近的箭头和符号基于匹配。

4.2。特征提取

中风的特征提取模型包含类似的结构有不同的变化。语义中风最初是固定的符号为每个FC、FA和DLC数据库基于训练数据。然后,不同的可能的变化类似于每个符号都聚集在一起形成一个集群。等符号或在DLC似乎也类似,因此,发生有作品点出的可能性。图5显示了符号的特征提取过程中风。

草图包含所有必要的符号,一些符号将一直使用不止一次在同一草图。在这种情况下,系统可能会认识到重复和集群只考虑一个符号象征。这将创建一个不同的草图在最终的分类器。因此,聚类方法是优化选择的符号和集团一起,这样草图完成重组。首先,中风的图转换成二进制形式和去噪应用于消除干扰噪声像素。然后,中风是由他们的颜色和中风变得极瘦应用于检索功能。匹配的概念是用来组织这些中风当有更多实例相同的符号。对于高效分组,高维度特征必须减少和有效的聚类算法已经应用。共有29960个训练样本使用,其中,只有选择最优特征是基于这个概念。更多的特性变量将耗时以及无能的大多数特性几乎没有关于符号的信息。 Hence, the number of features must be reduced and this process is called dimensionality reduction. For the purpose of reducing the feature dimension, the p-distance [41和欧氏距离42)是利用。p-distance中风的比例在两个序列的符号相比是不同的。它是计算如下:

类似地,两个特性之间的欧几里得距离测量长度连接这两个特性和计算来评估特征的维数。两个特性之间的欧氏距离p和问与我数量的变化可以计算如下:

基于这些参数,是最小的尺寸特性。然后,象征中风的聚类/分类是利用谱聚类来执行的。

4.3。符号使用谱聚类分割

中风是映射图,和集群形成在特征提取模型。符号定义中风四树的加权无向图G t .这个图的拓扑定义为导航和辅助中风结构轨迹生成。向量 是所有四树的叶节点的集合,然后呢 是集所有连接的叶节点。的关联矩阵我估计之间的相似性中风和用于连接图模型的程度。图6说明了符号分割所涉及的步骤过程使用谱聚类算法。

的分割图G,它必须修改成使用一个阈值定义为稀疏图 在哪里相似矩阵的阈值”我“两点之间图G , 映射的位置,和1.05的系数增加,以避免浮点计算错误。

现在中风的四棵树分割问题建模成加权单向图分割问题。谱聚类(43使用广义拉普拉斯矩阵的形成)段这个图表。拉普拉斯矩阵被定义为以下功能:

当数量的子映射,那么最小的特征向量的必须确定使用辅助矩阵 :

这个辅助矩阵的每一行P被认为是象征中风的相应的样本。的k样本聚类提供了谱聚类结果:

确定的价值 ,得分函数估计使用任何距离函数。在特征提取模型,使用欧氏距离来确定的价值k。欧几里得距离两个集群计算使用以下方程:

因此,的价值可以设置,可以有效地分割图G。这个图直接提供了中风的符号。这些集群将被使用的分类进行最终的结构分析。

4.4。符号识别过程

符号识别分类中风的子集执行集群生成的分割过程。主要过程是将符号类分配给每个集群。箭头符号识别过程包括两个步骤:检测分类器和统一的象征。箭头检测是由认识到它们是统一的符号之间的连接器的候选人。统一的符号被使用MSVM分类器。箭头探测器和统一的象征识别器提供的列表选择候选人的实际象征符号的结构分析过程。

4.1.1。符号标识符使用MSVM

分配一个符号的分类器的功能类的每个集群。传统的多类支持向量机已经利用这一目标的一些最近的研究。然而,支持向量机分类器有一些缺点当用于识别目的。主要的限制是较长的训练时间和低效率的核函数的选择。为了克服这些挑战,MSVM模型提出了利用基于高斯混合核函数内核和一个多项式的内核。混合内核概念已经利用许多作者(44),但这个工作是小说功能的混合内核。然后,通过使用狮子优化算法优化支持向量机参数。狮子SKETRACK方案优化算法具有双重目的。首先,它是用来优化支持向量机参数,然后,它将用于优化max-sum结构分析的问题。图7显示的过程提出MSVM使用狮子优化算法的参数优化。

描述符正常化基于动态特性是利用MSVM分类器。MSVM分类器模型与混合内核和更合适的DLC数据库和任何类型的arrow-connected图。MSVM作品寻找最优超平面,把中风集群。推导两个超平面图形的集群在哪里x图点表示一个集群被认为是吗 在哪里和标量参数而学习吗和是p-dimensional权重向量垂直于分离超平面。的值 , , ,和选择,训练时间较短。

选择一个合适的核函数有必要提高识别性能。通常利用内核是线性内核,多项式内核,径向基函数和乙状结肠双曲正切内核。然而,这些内核函数不提供最好的支持向量机学习能力。因此,在这部作品中,MSVM利用混合内核结合高斯内核和多项式的内核。内核开发的基于高斯径向基函数,因此,构造混合内核给药 在哪里是一个多项式内核制定集群随着距离的 ,和随机值作为

类似地,是径向基函数和高斯参数可以制定吗作为

然而,径向基函数是一个本地内核和不提供全球性的解决方案。为了提供一个全球性的解决方案最优超平面的选择与更快的收敛,混合内核使用的调优参数也曲调影响两个人内核和在混合函数 。

进一步加强MSVM的性能,使用狮子优化参数优化(45]。调优参数优化传统的造型是狮子狮子优化算法。狮子的狩猎行为制定了这项工作。解决方案的搜索操作MSVM必须改进,因此,一个参数介绍了调整的速度移动的狮子的猎物的位置。狮子的位置基于位置的改变也更新的猎物。如果猎狮是奇数,的价值设置为“−1”使猎物的狮子在相反的方向移动。类似地,如果猎杀狮子是偶数,值设置为“1”和狮子继续朝着同一个方向。运动的速度和位置的狮子可以制定 在哪里d是两个集群点问题空间的距离,前面的位置基于位置的狮子的猎物是狮子的先前的速度,是权重向量,是[0,1]之间的随机值,然后呢c是标量学习的因素。健身在这工作的分类精度。基于这些概念,MSVM克服了支持向量机方法的限制,并提供统一的符号识别精度更高。

的主要修改提出MSVM从传统支持向量机的混合核函数优化的调优参数 。狮子优化选择的范围在我们的实验。在实际情况下,这些值可以设置在0.25和1.99之间,最优分类。更大的价值在更好的分类结果,但它不是相同的所有数据库,并基于数据库特性,不同的值。在某些情况下,更大的价值将小于1根据图实例,因此,狮子优化选择适应值适合每个实例。通过选择不同的最优值获得的分类精度图中给出了三个领域的实验部分。

10/24/11。箭头/线探测器

大多数现有的模型/箭线检测使用箭头子类来检测,但结果并不令人满意。如箭头很难识别基于外观的特殊属性箭利用这项工作来区分它们。最特别的属性是它连接两个符号,一旦检测到统一的符号MSVM分类器,连接元素进行了分析。图8说明的步骤中执行该箭头/线探测器。

箭头检测执行两个步骤。第一步是发现箭的轴(线)连接两个符号序列的中风从第一到第二个符号象征。这一概念的检测是足够的DLC也行连接两个符号。双符号使用MSVM分类器检测到,并检测到箭头轴连接。为此,中风在附近一个符号被发现通过增加边界框的大小。这将增加对搜索空间和提供了许多象征。然后,它必须决定是否象征中风在搜索空间和更正确地适应轴长度和打开连接器的长度,以及两个符号之间的最小距离计算,并与一般距离阈值 。

一旦确认了连接器,它们必须形成箭。然而,对于检测箭头,第二步是非常重要的。轴/线没有方向,只有箭头定义了方向。第二步是检测第二箭头的符号。没有头的轴被认为是一个简单的线条而轴头定义为箭头。轴检测是通过添加迭代执行的中风序列。箭头标识的空间接近中风前一步然后分析找到任何干扰其他中风。检测到箭头中风必须干扰其他符号中风。验证箭头,箭头候选人列表生成和信心是选为最高的箭头(24]。象征的信心值被定义为一个草图显示分配给每个符号数量多少,素描是信任与当前的象征。计算一个箭头的信心信心正面的边界框的产品形状和距离头质心的终点。据估计, 在哪里表示宽度和表示头部的边界框的高度;边界框的距离的端点的连接器和重心是一般的距离阈值。

可以由箭头的箭头方向与连接器的终点。箭的信心可以估计的连接器产品的信心和自信的信心。连接器的信心是建立在距离连接器连接器之间的距离的端点和连接器的符号和连续连接器中风之间的距离。这可以作为制定 在哪里是连接器距离。基于这些信心值,确定了箭头的方向。

4.5。结构分析

结构分析是认识到草图SKETRACK的最后一步。符号统一符号分类器检测到的候选人MSVM和箭探测器美联储作为输入到结构分析模块。结构分析的任务是识别符号和箭头/条线的子集的候选人,可以分组,形成一个有效的FC的草图,足总或数据链路控制。连接这些集合的候选人,象征符号的关系必须由分数值。分数计算在三个基本类型的关系。第一类型的冲突关系,当两个象征候选人共享一个或多个中风或箭头相同的连接。第二个关系是重叠的两个符号重叠边界。第三个关系是终点的箭头在结束点/线有两个符号。第一和第二选择候选人关系是有效的,象征而第三关系是有效的,如果箭头选择结构的解决方案。冲突和终点关系可以通过评估来确定属性而得分计算重叠关系是必要的。 The confidence score function is modelled for the first two relations of conflict and overlap [25]。图9显示了最终的输出方法草图被提议的SKETRACK。

冲突的关系,分数是负无穷,也就是说,而对于作为重叠关系 在哪里和是第一和第二的边界框的象征 ,和是表面的 , ,和 ,分别。

一旦成绩计算为象征的候选人之间的关系,图表示。表示的图是基于信心成绩计算。首先,象征候选人被映射为节点的无向图 和标签K= 0和K= 1来选择候选人的象征。图成本函数可以由模型制定成对max-sum标签问题使用一元多项式和二元成本最大化的功能: 在哪里K是有限的设置标签,是一元的成本, 是二进制成本, 是优势。通过简化这个函数,最后图结构表示。然而,这种max-sum问题是np难的,因此需要使用任何优化算法来解决。正如之前提到的,狮子优化算法是用来解决这个问题。首先,在方程(max-sum问题16)是模仿到优化问题和狮子优化应用。狮子的狩猎和游牧民族运动行为探索最佳选择在多项式时间内解决这一问题。因此,图中可以识别和表示为原始输入草图。的性能提出SKETRACK将评估在实验部分。

5。实验和结果

使用MATLAB实验执行在线草图从FC, FA, DLC数据库。该系统已经实现在电脑英特尔i3处理器的最低要求,4 GB RAM 10与Windows操作系统。的性能MSVM-based SKETRACK评估并与现有的方法相比。混合核函数的影响,也说明了估计MSVM的符号分类精度的最优值对FC、FA和DLC草图。

5.1。评价SKETRACK分类精度对

的符号分类精度估算MSVM当使用最佳选择值不是固定的调优参数,参数必须设置。支持向量机的参数包括标量和重量参数和运动参数的狮子。狮子的数量设置为N= 50,100年,设置最大迭代目标位置的最大价值 ,目标位置的最小值 ,和运动的速度 。标量学习参数 ,选择和权重向量和 。最初的随机最优值将被选择为每个数据库,和最好的价值时,才会返回分类精度保持不变至少20迭代。表1显示最优狮子获得的价值优化FC和相应的分类精度,FA, DLC数据库。

当选择最优值 ,手动设置过程优化的支持向量机分类器是避免和分类精度也增加由于最优以及自适应的选择值为每个数据库关系图。

5.2。SKETRACK识别结果与其他方法的比较

在线评估的性能MSVM-based SKETRACK图数据库。FC和FA图实例的结果与三个最先进的方法:多类支持向量机(24,25],CNN [31日],CNN-SVM [37),而支持向量机(46,47)只与该MSVM结果DLC图由于缺乏更多的现有方法。越少的两个主要原因研究DLC草图和他们有限的能力如下:(1)DLC草图的复杂性和(2)不能适应输入工作的质量。比较结果中给出的三个网络图数据库表2- - - - - -4。

从表2,可以看出该MSVM分类器已相对比其他方法更好的识别性能FC实例。MSVM的准确性为95.87%,增加了1.11%比CNN-SVM同时优于SVM和CNN的方法。MSVM还提供更高精度的94.96%,但略少的回忆和值F比CNN-SVM测量;然而,总的来说,它提供了比其他模型相对更好的结果。

从表3显示精度,精确,回忆,F测量的MSVM分类器明显高于FA图的其他方法。MSVM FA数据库的精度值是94.99%,比CNN-SVM增加了1.77%。MSVM的精确值是94.31%,增加了0.36%。同样,召回值是94.13%,比CNN-SVM和增加了1.97%F测量比CNN-SVM FA值增加1.4%。也指出,MSVM优于SVM和CNN模型可以说明MSVM是相对更好的分类器。

表4说明的准确性,回忆和F测量的MSVM分类器对DLC明显高于其他方法。IAMonDo数据库(39)包含大量的手绘草图,但质量的-75%和50%左右这质量指标会影响性能。的准确性、召回和F测量值增加了5.8%、1.6%和1.29%,分别,而精度比SVM-1 DLC值减少了0.3%。认识到DLC草图的困难的处理是通过这些结果反映出来。这些结果的重要的一点是,DLC草图被公认的性能比现有的研究模型。

的识别精度提出SKETRACK评估基于两个指标,即中风标签(SL)和符号分割和分类测量(SR1)。这两个指标帮助在评估每一个独特的符号的识别的正确性和箭头/线有效。三个数据库分别评估结果。表5- - - - - -7显示在线FC的识别结果,FA, DLC数据库。

可以看出SKETRACK MSVM-based提出方法的显著性能良好。的性能在某些类不同于其他关键类由于噪声的引入和时间信息的丢失。DLC数据库的结果大约是5 - 10%不到足协和俱乐部数据库。然而,结果是充满希望地更好,因为DLC的其他现有的基于svm模型提供了太多的最差表现。性能改进的在线和离线FC, FA, DLC数据库高效因为SKETRACK改善分类的。

表8列出了最小、最大、平均和中值所需的时间解决max-sum问题使用狮子优化选择的λ值表时混合的内核9显示最小、最大、平均和中位数的总时间。这个表可以帮助识别另外执行优化任务的成本。可以看出,时间是最优的,因此,额外的开销最小化。

从表8和9可以看出,解决优化问题的时间是只有一小部分的总时间,执行,因此,快速处理。优化过程不会产生额外的成本或拟议的系统开销。

分析系统性能时,作品点出也是一个重要的标准。在这个工作,虽然最好的技术是利用,系统无法检测的一些草图由于低质量的输入。在某些情况下,文本块被误解为符号。在其他情况下,画图表的用户已经使用快技巧不能辨认。一些文本不识别由于冲突的字体风格。

数据10- - - - - -12展示作品点出结果的例子。足协和FC草图识别和结果是彩色区分misrecognized符号。颜色绿色指示正确的识别标志,红色表示文本,和蓝色表示错误的识别。在图10除了三个正确,所有的符号都是公认的。包含开始的椭圆形misrecognized;结束结束词部分识别和椭圆形被公认为文本将在识别冲突。同样,DLC素描图12颜色表示的符号,即棕色或紫色的,还是绿色的,黄色的NAND闪存,x或蓝色,粉红色的泡沫,和黑色的连接器。但最终结果作品点出泡沫在NAND和符号。也不是门口泡沫完全认为是泡沫。除了这些做,可以看出草图已经认出了平均80%的精度在几乎所有的数据库。还必须指出的是,草图识别数据10和11misrecognized符号。作品点出是由于不正确的中风的单笔画识别正确的合并这些符号在图中表示的结构分析并不准确。中风具有更广泛意义的影响总体性能。DLC的作品点出草图是由于相似类符号,例如,相似或也和x或。同样的,第二个x或弯曲的结构是相当复杂的检测从二维草图时或three-dimesnional结构。表10显示了所有的作品点出结果三个在线数据库推理相结合。

从表10可以看出,未能认识到符号主要是由于无效的分割过程适应低质量的草图。下一个原因是分类器的性能。因此,需要改进可以归因于分割过程避免作品点出的速度。然而,必须指出这些做SKETRACK只是整个系统的一小部分,只有为不到10%的总输入草图。因此,提出可以得出高效SKETRACK FC和FA草图识别虽然需要一些调整识别DLC草图。

6。结论

高效的在线徒手画的草图识别FC、FA和DLC草图已经开发和评估。提出SKETRACK方案包括文本分割,特征提取,谱聚类的符号分割,使用MSVM分类器识别标志,和结构分析。比较实验结果与最先进的方法来验证的性能效率绘图识别方法。提出系统表现得比最先进的方法。在线识别的准确性FC、FA和DLC图使用提出高SKETRACK方案。尽管一些草图识别性能并不完美,它主要是由于噪声和低质量的数据库实例。

虽然有效,但作品点出的一小部分是主要归因于符号分割的过程。这将是在未来利用更先进的技术,进一步减少识别错误。同时DLC数据库只包含简单符号等复杂的符号转换器和处理器是困难和被忽视;包含这些符号的识别将会检查。此外,该方案将在其他领域,如电子电路和利用光学图。最后,使用即时反馈系统的迭代识别草图也计划在未来进行测试。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

引用

1. m . Eitz r·里克特t . Boubekeur k .希尔德布兰德和m . Alexa“人类素描对象如何?”ACM交易图片没有,卷。31日。4、1 - 10,2012页。视图:出版商的网站|谷歌学术搜索
2. Yu, f·刘,y z的歌,t, t . m .,世界卫生组织和c c .阿来“草图我,鞋”《IEEE计算机视觉与模式识别会议拉斯维加斯,页799 - 807年,NV,美国,2016年6月。视图:出版商的网站|谷歌学术搜索
3. c·p·Sangkloy: Burnell火腿,j·海斯,“粗略的数据库:学习检索严重画小兔子,“ACM交易图形(衣服),35卷,不。4、1 - 12,2016页。视图:出版商的网站|谷歌学术搜索
4. y曹、张l, c . Wang和l .张“大规模sketch-based图片搜索,Edgel指数”2011年CVPR学报》上IEEE,页761 - 768年,科罗拉多斯普林斯,有限公司,美国,美国,2011年6月。视图:出版商的网站|谷歌学术搜索
5. x曹、张h, s . Liu郭x,和l .林”SYM-FISH: symmetry-aware翻转不变的素描直方图形状描述符,”《IEEE计算机视觉国际会议,页313 - 320年,悉尼,澳大利亚,2013年12月。视图:出版商的网站|谷歌学术搜索
6. c . l . y . j . Lee Zitnick m·f·科恩,“Shadowdraw:实时用户指导徒手画。”ACM交易图形(衣服),30卷,不。4,p。2011。视图:出版商的网站|谷歌学术搜索
7. z太阳、l, c . Wang和l .张“自由手绘草图分割”欧洲计算机视觉的诉讼施普林格,页626 - 639年,佛罗伦萨,意大利,2012年10月。视图:谷歌学术搜索
8. j . Pu和d .电流的自动徒手画的草图分割使用径向基函数,”计算机辅助设计第41卷。。12日,第864 - 857页,2009年。视图:出版商的网站|谷歌学术搜索
9. z太阳、l, c . Wang和l .张“Query-adaptive主题挖掘手绘草图识别形状,”20 ACM国际会议的程序Multimedia-MM”12ACM,页519 - 528年,奈良,日本,2012年10月。视图:出版商的网站|谷歌学术搜索
10. h·l . Li傅,c·l·泰”与深度学习快速草图分割和标签”,IEEE计算机图形学和应用程序,39卷,不。12日,38-51,2018页。视图:出版商的网站|谷歌学术搜索
11. j .郭c . Wang和h .曹国伟,“建筑草图识别的有效表征,”美国29日AAAI会议上人工智能2015年1月美国奥斯汀,TX。视图:谷歌学术搜索
12. 布拉格杰维克·c·史蒂文斯r、b .膨胀”分组素描图中风,监督机器学习”《国际研讨会Sketch-Based接口和建模页43-50 ACM,阿纳海姆,美国,2013年7月。视图:谷歌学术搜索
13. c .田、m . Masry和h·利普森”物理草图:重建和分析徒手草图的3 d对象,“计算机辅助设计第41卷。。3、147 - 158年,2009页。视图:出版商的网站|谷歌学术搜索
14. S.-U。郑,公元前金,d .妈妈,汉族,“程序性方法交换可编辑从徒手2 d草图3 d数据建模系统3 d机械CAD系统,”计算机辅助设计,44卷,不。2、123 - 131年,2012页。视图:出版商的网站|谷歌学术搜索
15. m . Eitz k·希尔德布兰德、t . Boubekeur和m . Alexa”Sketch-based图像检索:基准和bag-of-features描述符”,IEEE可视化和计算机图形学,17卷,不。11日,第1636 - 1624页,2011年。视图:出版商的网站|谷歌学术搜索
16. rosseto l . i Giangreco, h . Schuldt”Cineast:多功能sketch-based视频检索引擎,”《2014年IEEE国际研讨会上多媒体,18 - 23页,IEEE,台中,台湾,2014年12月。视图:出版商的网站|谷歌学术搜索
17. b t·A·哈蒙德d·洛格斯登。保尔森et al .,“草图识别系统识别自由行动图”《第二十二IAAI会议2010年7月,亚特兰大,乔治亚州,美国。视图:谷歌学术搜索
18. w . Szwoch和m .穆夏,“承认手绘流程图,”先进的智能系统和计算卷,184年,页65 - 72,施普林格,柏林,德国,2013年。视图:出版商的网站|谷歌学术搜索
19. y, y z歌,s .锣”绘图识别通过整体匹配的结构化特性,”《英国机器视觉会议,卷1,p。2、2013年9月,英国布里斯托尔。视图:出版商的网站|谷歌学术搜索
20. t . m . y . Li,世界卫生组织Y.-Z。歌,锣,“徒手草图识别通过multi-kernel特性学习。”计算机视觉和图像理解卷,137年,页1 - 11,2015。视图:出版商的网站|谷歌学术搜索
21. y . Li Y.-Z。歌,t . m .,世界卫生组织和美国锣,“徒手草图合成与变形中风模型”,国际计算机视觉杂志》上,卷122,不。1,第190 - 169页,2017。视图:出版商的网站|谷歌学术搜索
22. 黄z h .傅,r·w·刘“数据驱动的细分和徒手草图的标签,”ACM交易图形(衣服),33卷,不。6、1 - 10,2014页。视图:出版商的网站|谷歌学术搜索
23. r·g·施奈德和t . Tuytelaars素描使用费舍尔分类和classification-driven分析向量,”ACM交易图形(衣服),33卷,不。6、1 - 9,2014页。视图:出版商的网站|谷歌学术搜索
24. m . Bresler t . Van表象,d . Prusa m .中川诉Hlavac,“在线勾勒出图,识别系统”学报》2014年第14届国际会议在手写识别领域IEEE,页563 - 568年,伊拉克里翁,希腊,2014年12月。视图:出版商的网站|谷歌学术搜索
25. m . Bresler d Průša,诉Hlavač”在线识别勾勒arrow-connected图”,国际期刊文档分析和识别(IJDAR),19卷,不。3、253 - 267年,2016页。视图:出版商的网站|谷歌学术搜索
26. y郑,h .姚明、s .赵和y . Wang“徒手草图分析,发现有识别力的补丁”多媒体系统,23卷,不。6,691 - 701年,2017页。视图:出版商的网站|谷歌学术搜索
27. m . Kleffmann s Rohl m .书,诉Gruhn“非正式徒手草图的跟踪方法,评价”自动化软件工程,25卷,不。1页1 - 2018。视图:出版商的网站|谷歌学术搜索
28. 陈x, x, z咋”Sketchpointnet:一个紧凑的健壮的草图识别网络”学报2018年25日IEEE国际会议上图像处理(ICIP)IEEE,页2994 - 2998年,2018年。视图:出版商的网站|谷歌学术搜索
29. o . Seddati、美国杜邦和s . Mahmoudi”Deepsketch:深卷积神经网络用于绘图识别和相似性搜索,”学报2015年第13次国际研讨会在基于内容的多媒体检索(CBMI)IEEE,页1 - 6,雅典,希腊,2015年9月。视图:出版商的网站|谷歌学术搜索
30. o . Seddati、美国杜邦和s . Mahmoudi”DeepSketch 2:深卷积神经网络部分的草图识别,”学报》2016年第14届国际研讨会在基于内容的多媒体检索(CBMI),页1 - 6,IEEE,布加勒斯特,罗马尼亚,2016年6月。视图:出版商的网站|谷歌学术搜索
31. o . Seddati、美国杜邦和s . Mahmoudi“DeepSketch 3”多媒体工具和应用程序,卷76,不。21日,第22359 - 22333页,2017年。视图:出版商的网站|谷歌学术搜索
32. r·k·Sarvadevabhatla和j .茶室”,让我的机器人玩看图说词:复发性神经网络绘图识别,”24日ACM国际会议多媒体学报》上ACM,页247 - 251年,阿姆斯特丹,荷兰,2016年10月。视图:出版商的网站|谷歌学术搜索
33. h . Jahani-Fariman m . Kavakli, a . Boyali”MATRACK:块稀疏贝叶斯学习绘图识别方法,”多媒体工具和应用程序,卷77,不。2、1997 - 2012年,2018页。视图:出版商的网站|谷歌学术搜索
34. j.y.他,吴x, y . g .江b .赵和彭问:“草图识别与深visual-sequential融合模型,”美国25日ACM国际多媒体会议ACM,页448 - 456年,山景城,美国,2017年10月。视图:出版商的网站|谷歌学术搜索
35. 大肠Boyaci和m·泽特”级的深卷积神经网络融合绘图识别在智能手机上,“学报2017年IEEE国际会议消费电子产品(ICCE)IEEE,页466 - 467年,拉斯维加斯,NV,美国,2017年3月。视图:出版商的网站|谷歌学术搜索
36. 问:Yu, y, f . Liu Y.-Z。歌,t,和t . m .,世界卫生组织“Sketch-a-net:深层神经网络比人类,”国际计算机视觉杂志》上,卷122,不。3、411 - 425年,2017页。视图:出版商的网站|谷歌学术搜索
37. m·泽特和大肠Boyacı草图识别使用转移学习。”多媒体工具和应用程序,卷78,不。12日,第17112 - 17095页,2019年。视图:出版商的网站|谷歌学术搜索
38. 黄张x, y,问:邹,y裴,r·张,王,“混合卷积神经网络绘图识别,”模式识别的字母2019年出版社。视图:出版商的网站|谷歌学术搜索
39. e . Indermuhle m . Liwicki h .煤仓,“IAMonDo-database:在线手写文档数据库与非均匀内容”第九届IAPR学报》国际研讨会记录分析系统ACM,页97 - 104年,波士顿,马萨诸塞州,美国,2010年6月。视图:谷歌学术搜索
40. 坟墓,a·r·穆罕默德·g·辛顿,”与深复发性神经网络语音识别,”学报2013年IEEE国际会议音响、演讲和信号处理IEEE,页6645 - 6649年,温哥华,加拿大,2013年10月。视图:出版商的网站|谷歌学术搜索
41. p . Beerli“两两距离方法”,在计算进化生物学课堂讲稿美国佛罗里达州,塔拉哈西佛罗里达州立大学,2005年,http://people.sc.fsu.edu/∼pbeerli / BSC-5936/10-26-05 / lecture_15.pdf。视图:谷歌学术搜索
42. 张y l . Wang, j .冯“欧几里得距离的图像,”IEEE模式分析与机器智能,27卷,不。8,1334 - 1339年,2005页。视图:谷歌学术搜索
43. y, k . Wang r·李和l .赵”快速增量地图基于谱聚类的分割算法和四叉树,”机械工程的发展,10卷,不。2,文章ID 1687814018761296, 2018。视图:出版商的网站|谷歌学术搜索
44. a . Jayachandran和r . Dhanasekaran脑瘤严重性分析使用修改multi-texton直方图和混合核支持向量机,”国际期刊的成像系统和技术,24卷,不。1,第82 - 72页,2014。视图:出版商的网站|谷歌学术搜索
45. m . Yazdani和f . Jolai狮子优化算法(贷款):自然metaheuristic算法”计算设计和工程杂志》上,3卷,不。1,24-36,2016页。视图:出版商的网站|谷歌学术搜索
46. d . Mayuri美国玛杜丽,“手绘数字逻辑电路元件使用svm识别,”国际期刊的计算机应用程序,卷143,不。3 - 28,2016页。视图:出版商的网站|谷歌学术搜索
47. d·约翰斯顿和c·阿尔瓦拉多”,草图识别的数字逻辑电路,”加州大学,奥克兰,美国,2013年,博士论文,论文女士。视图:谷歌学术搜索
48. 中情局Kakadiaris, g . Passalis g . Toderici et al .,“三维人脸识别面部表情的存在:一个带注释的形变模型方法,”IEEE模式分析与机器智能卷,29号4、640 - 649年,2007页。视图:出版商的网站|谷歌学术搜索

版权

版权©2019 Oğuz阿尔金和Orhan Nooruldeen。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。