文摘

自然语言处理(NLP)是数字转换的一个重要部分。NLP允许用户友好的机器和人类之间的相互作用,使计算机理解人类的语言。NLP的智能聊天机器人是一个重要的应用程序允许用户的话语的理解和响应在可以理解的句子为特定应用程序模拟人与人之间对话和互动解决问题或问答。这对于NLP-enabled智能聊天机器人研究新兴技术开发使用系统的专利分析方法。一些聪明的文本挖掘技术应用,包括文档项关键术语提取频率分析,聚类方法确定子域,寻找潜在狄利克雷分配的关键主题专利。本研究利用德文特河创新数据库作为全球智能聊天机器人专利检索的主要来源。

1。介绍

尽管全球COVID-19的影响,全球近80%的人工智能(AI)项目保持相同或甚至增加研发的投资从一开始的大流行。基于ai系统现在广泛采用的决策素质,这对个人和社会产生深远的影响。所谓的智能系统大多是由机器学习(毫升)或深度学习(DL)算法与模型训练和测试的大数据(1]。作为人工智能的一个重要应用技术,智能聊天机器人(或称为智能聊天机器人)帮助回答大量的问题相关的大流行(2]。统计数据提供可靠的见解智能聊天机器人发展的趋势。商业内幕报道,聊天机器人的市场规模预计将从2021年的26亿美元增长到94亿美元,2024年的复合年增长率(CAGR)的近30% (3]。研究表明,超过50%的客户,在各种各样的业务领域,期望企业开放24/7。聊天机器人,或虚拟代理,使公司组织回答和处理简单的问题和请求的任务从呼叫中心,帮助部门,和服务代理,同时通过更复杂的问题真正的人员和人员,从而控制人力资源成本。聊天机器人可以节省多达30%的客户支持成本和缩短响应时间和回答80%的常规问题[4]。

智能聊天机器人的应用近年来迅速增加。大量的研究探讨人工智能聊天机器人解决方案和DL算法的细节,在追求高效、智能的应用程序。即使聊天机器人的发展似乎是蓬勃发展,彻底的聊天机器人的发展和关键技术的生命周期的需求。此外,随着互联网的普及和社会平台,一个数字转换智能聊天机器人的使用环境(如人机通信接口)已成为主要流行。越来越多的应用程序被安装voice-interactive助理提供“生命”服务;智能聊天机器人,定期举行对话,提供在线服务与用户交互,是成为一种趋势5]。技术先锋和市场领导者,在全面评估的基础上,人们可以识别创新技术或应用程序保持领先。作为一个公司想要遵循数字化的趋势,进入聊天机器人应用程序、资源押注最有价值的开发和寻找合适的突破是最好的策略,了解先进的技术和应用程序通过评论文章。研究桥梁,本研究的目的是利用智能提取本体和patent-mining方法回顾全面chatbot-related专利和创新技术和应用程序。

聊天机器人是一个计算机程序,让计算机来模拟人类的沟通和对话。起初,聊天机器人只能回答标准问题,问题和答案并保存在系统中。随着技术的进步,计算机可以逐步回答一个沉默的问题像人类通过图灵测试,也就是接近人类智能(6]。近年来人工智能的快速发展,智能聊天机器人已经进入了一个新时代,已被广泛应用于许多行业。例如,语音客户查询接口的大型购物中心,银行每月帐户余额查询聊天机器人,甚至著名的Siri反映chatbot技术如何通过智能接口逐渐进入人们的日常生活。NLP是成为获取信息的规范,允许公司容易获得关键信息从文本文件,从而提高运作效率或改善服务水平。NLP在其他领域也有很多应用程序。以医疗行业为例,NLP技术检测认知障碍的迹象,通过分析老年人之间的对话和老年痴呆症患者7]。在银行业,光学字符识别(OCR)和NLP技术用于自动捕获关键文档文本和执行文档内容审查加快贷款过程(8]。对于餐饮服务,NLP是用于分析客户的意见和情绪改善服务或执行精确营销(9]。

NLP-enabled聊天机器人是一个复杂的系统。从前端用户输入话语,自然语言理解(NLU)模块的chatbot法官用户的意图从用户的自然语言表达。接下来,对话管理模块发现的内容能回答用户的请求。在这个过程中,不同类型的数据库可能会访问寻找答案。最后,自然语言生成(NLG)模块将收集到的内容转换成人类可读的表达式作为应对用户(10]。NLP-enabled chatbot也是一个智能系统,集成了许多人工智能技术。聊天机器人技术,使用人工智能来模仿人类的对话已经开始成熟,并提供准确的解决方案或复杂问题的答案。因为自然language-enabled聊天机器人可以口头或书面的输入映射到意图,他们成为流行在许多应用程序中,如在制造业或服务业。之前有聊天机器人,当员工想从公司的信息系统获取数据,他们需要登录到系统,选择相应的功能,通过复杂的文件夹,找到相应的文件搜索最后访问所需的信息。聊天机器人,一个口头请求可以完成这个任务。在企业级应用中,很少有支持语音聊天机器人,但对这类功能的需求正在增加。此外,在满足基本服务功能的前提下,软功能聊天机器人的成功至关重要。聊天机器人,结合特性,比如语气,情感,和个性是可取的。此外,智能聊天机器人容忍人为错误或允许模糊请求,仍然生成准确的回答,是很有吸引力的11]。

NLP技术是人工智能的一个重要分支。它研究电脑软件的使用,如机器学习(ML),智能地处理自然语言。NLP技术基础主要是开发大约7水平的语言,包括音素(语言发音模式)、形态(话说,怎么字母组成单词,词的形态变化),词汇(词)之间的关系,语法(语言形式的句子),语义(相应的语言表达的意义),语用学(语义解释在不同的上下文中),和章(如何组合成句子段落)。

作为人工智能驱动器数字经济的转型,企业也应该更加重视知识产权(IP)创新和管理。因此,预计可以找到聊天机器人发展的最新趋势从集体专利信息。通过专利布局(或景观),可以评估重要的技术发展趋势,和重要的国际制造商的发展方向可以发现,与国际技术标准可以用作参考后续的研发投资决策(12]。

根据世界知识产权组织(WIPO)的统计数据,超过80%的新兴技术专利与商业值,这表明,专利数据库包含全面的领域知识。专利数据库的目的不仅是提供一个寻找艺术之前,但也为未来研发获取丰富的信息。例如,当找到关键专利,技术发展趋势可以推断,可以分析领域专利的技术内容,核心国家,本人和发明家可以被识别的关键技术。充分利用这样的专利信息,公司可以开发各种业务和管理策略13]。

为了了解最新的聊天机器人的新兴技术,本研究以“自然language-enabled聊天机器人”为域相关专利技术探索。因此,整个聊天机器人技术发展趋势可以发现可以建议和未来研究方向。

前调查自然language-enabled聊天机器人,本体构建良好的知识是必要的。后来,全球专利管理景观图和技术提出了函数矩阵。之后,讨论分析结果将显示有趣的技术趋势与匹配的文献我们发现和验证。在这项研究中,使用一些文本挖掘工具,如聚类和主题建模。01 [14]总结11数据科学分析方法的类型(DS)在数字营销和提供了良好的支持patent-mining分析方法用于这项研究。

2。文献综述

2.1。专利审查流程

过去的专利审查通常由专家分析。然而,随着越来越多的专利和信息技术的发展15),大多数专利审查现在是通过文本挖掘技术来完成的。即使文本挖掘技术的帮助,如果没有系统的专利审查工作流程,它可能会导致偏离的主题专利分析。阿巴斯et al。16]目前研究工作流程和工具的概述专利分析。他们将专利审查工作流程分为三个部分,包括预处理、处理和后处理。检索专利和转换为结构化数据预处理。提取结构进行处理,包括关键术语提取和特定的统计数据。专利分析的后处理方法分为两类,text-mining-based方法和可视化方法(17]。金姆和英国宇航系统公司(18]目前卫生保健的方法预测新兴技术专利分析。他们定义的专利审查工作流程可分为四个阶段,领域专利收购,技术集群,集群技术定义,评估专利。他们也提到技术聚类结果可能取决于分析师。为了避免缺乏客观性,他们关注合作专利分类(CPC)预测新兴技术。nonpatent文学而言,这也是一个充足的来源分析新兴技术。Thilakaratne et al。19)提出一个以研究工作流。他们定义本文详细检索过程避免错过任何相关文章,包括检索规则和标准的选择。本文检索过程,定义主要研究目的,关键字和搜索策略三个参数来确定专利数据库。构建专利数据库之后,他们使用系统的标准来确定文献是否相关。为筛选文献有三个阶段:第一阶段是分析题目和摘要,第二阶段是分析介绍和结论,最后阶段是一个完整的阅读和使用质量检查表。之后,使用可视化技术来展示他们的研究成果。总之,整个专利审查工作流程可以概括为三个主要部分,专利搜索确定数据库、专利中提取关键信息的分析,结果显示在一个容易理解的方式呈现结果。

戈文达拉扬et al。20.)提出了一个系统的研究流程工业身临其境的技术。首先识别域定义和确认研究的范围,然后主域技术审查后,关键字进行识别和本体的一代。方法交叉引用大量技术文章和必要的专利,确保高覆盖率的技术在特定领域的信息。最后,文本挖掘技术,LDA主题建模方法,和解冻,流结构形成一个完整的研究。

2.2。专利数据库

在以知识为基础的经济中,一个国家的经济地位取决于生产、分配和使用的知识和信息。不同国家的经济增长的最新趋势主要取决于个人的创新的技术知识,是知识产权的一个重要原因吸引了注意力。知识资产的相关信息,如技术洞察力和法律地位,不能从其他文献检索获得除了专利数据库。因此,专利数据库的重要性可以显示21]。Krejcar et al。22)比较几种常见大型专利数据库,包括AcclaimIP交响乐创新,Inteum, IPzen, FoundationIP,汤姆森IP经理,和德文特河创新(DI),指出DI的力量。DI数据库使用科学文献,全球专利数据,和商业数据,所以它可以在IP更有信心做决定。强大的分析功能和简单的工作流工具使DI是最好的解决方案。

德温特世界专利索引数据库(DWPI)和智能搜索功能DI的两个主要特征。DWPI是一个翻译的过程,重写的关键抽象,内容调试,和归一化后的专利持有者专家读过整个官方专利信息披露材料,这被认为是专利的实质内容。DWPI重写项目包括新颖、使用优势,技术重点、详细描述、图描述,活动,和机制。DI的每个操作同时搜索官方专利出版物和DWPI专利增值数据库获得更完整的结果。这也是DI的独特特征。智能搜索这个词将分析字符串语义和自动扩展关键词,然后经过多个步骤的计算,包括引用分类数据的权重,权重,找到输入相关的专利技术描述。语法不是那么重要,因为智能搜索将删除连词,介词等的描述,只保留技术关键字描述。因此,技术描述中使用的词是否准确或是否混有太多不必要的技术条件已经比语法对搜索结果的影响。如果留下的关键词智能搜索字符串进行分析后并不像预期的那样,或首次发现的智能搜索结果不符合要求,手动调整,包括添加新的关键字在搜索窗格中,或删除可能噪音让智能搜索重新计算新的结果。经过几次调整,智能搜索的结果会更接近的需求。 Smart search is an iterative process, the purpose is to quickly find potential targets, and if you want to search all related patents without omission, it is suitable to use general patent search technique [23]。

2.3。本体建设

本体映射为一个特定的域连接相关的主题和关键词,提供了一个域knowledge-rich结构,可以作为分析的基础技术深度。翁et al。24)提出了一个lexicon-based本体建设方法,利用词频率和加权系数来识别关键术语之间的关系。如果一个词有显著的体重,那么它将被导入到词汇数据库。构建本体的关键字选择从词法数据库。Trappey et al。25)提出了一种信息提取方法和基于知识的本体建设方法智能零售技术开采,在无人监督的ML方法应用,包括集群和潜在狄利克雷分配(LDA),构建一个完整的本体通过不断细化。Tsatsou et al。26)提出了一个自动构建本体的方法,该方法利用术语frequency-inverse文档频率(TF-IDF)技术来确定关键术语本体的分支或节点。Subhashini和Akilandeswari27]提到构建本体必须遵循的六个关键步骤,确定本体的范围,获取相关数据,这些有用的数据编码machine-usable,积分结果,评估结果,并记录本体。总之,构建本体主要可以分成三个部分,数据来源,确定条件之间的关系,和有效性的评估。

2.4。专利挖掘

专利文档包含重要的研究成果。然而,他们是漫长而丰富的技术术语,所以分析需要大量的人力,迫切需要进行自动工具来协助专利工程师或决策者在专利分析。专利挖掘的重要性因此观察。Patent-mining技术包括文本分类、抽象提取,特征选择,协会,集群生成、话题识别和信息映射(28]。除了LDA主题建模方法的广泛使用本体建设、专利挖掘中也很受欢迎。

在专利分析无人机的应用,通过LDA,三个最活跃的科技发展主题,如通信技术、电源、和导航系统被发现29日]。基于LDA, Korobkin et al。30.)提出了一种新的patent-mining方法,包括统计和语义分析的专利文件,机器翻译的专利申请,专利和应用程序之间的语义相似度的计算。术语方面的协会,胡锦涛et al。(31日)利用skip-gram-based模型从专利中提取关键术语和比较该方法与TF-IDF方法。集群的一代,k - means仍然是强大的。Shanie et al。32]使用k - means方法集群相关专利文件绿茶,集群数量的自适应确定方法采用基于轮廓的分数。最近,毫升专利分析方法也开始出现。李等人。33)提出了一个DeepPatent相结合的卷积神经网络(CNN)模型嵌入模型分类专利。李和香34调整一个双向编码器陈述变压器(BERT)模型分类专利和调整模型与前面提到的模型相比,DeepPatent,结果表明精度高9%。小君(35)提出了技术集成和分析使用一个方法增加(ML算法,可用于减少偏见在监督学习)和整体学习。这种方法使用回归树,随机森林,极端的梯度增强,和整体模型在分析集成的专利数据,它可以扩展到技术集成和分析以上三个技术领域。

2.5。技术功能矩阵(TFM)

进一步关注特定技术领域的专利开发环境和找到一个技术雷区或技术蓝色海洋区域,有必要分析每个专利的技术定位和功能通过一个更详细的解冻,并进一步深入探索策略,如技术创新或避免发展冲突(36]。cyber-physical的专利分析系统(独立主办)和行业4.0,Trappey et al。37)采用了领域本体,国际专利分类(IPC)作为TFM的基础。然而,IPC和合作专利分类(CPC)一般分类。当探索技术在一个特定的领域,大量的专利文件可能有相同或相似的分类代码,这使得技术分类的识别不够,最后手工解释由专业人士仍然是必需的。一项调查显示,欧洲专利局审查员(EPO), 84.7%的专利审查员认为,共产党是非常重要的搜索。尽管70%的审查员认为AI和ML技术可以提供宝贵的支持在未来,大约45%的专利审查员们仍然相信搜索从根本上依赖于人类的努力。和52%的专利审查员不认为一个完全自动化的搜索可以在2035年之前完成(38]。

实践的行业,大部分的专利收集由研究人员一个接一个地读,分类根据他们的专业的技术领域和影响人类的判断。手动分类方法消耗大量的时间,而且很难获得一个全面审查通过大量的专利文件的解释。最近许多研究都试图找到更有效的方式来构建解冻。杨和任39)提出了一个半自动TFM施工方法通过提取技术词汇和计算机辅助算法来减少劳动力成本和时间。Ki和金40)提出了一个可编程自动化方法基于NLP技术快速构建一个信息关系矩阵(IRM),描述了专利技术信息之间的关系,类似于解冻。Trappey et al。41)使用合成专利文本和数据挖掘技术建立基于本体的专利TFM加法制造牙科行业分析。丰富的文献表明,本体,文本挖掘,NLP,话题建模和解冻技术可以被看作是今天专利分析的主要过程。

2.6。比较

表1显示了17的比较相关的研究技术,特别是patent-mining技术从研究目的,任务预处理,处理和后处理16]。第二列的表1在每个部分列出了任务,第三列列出了更具体的方法。每一列对应于每一篇文章,其中部分,列出任务和方法。

预处理部分,使用自然语言处理文本预处理是大多数文章中提到的,和相应的算法,工具或套件非常成熟。尽管一些文章并没有特别提到这部分,相信这一部分,作为一个相对成熟的一部分,应该被实施。两个主要的任务,关键术语提取和专利管理地图,包括在处理部分。TF-IDF方法广泛应用于任务的关键术语抽取和几乎可以被视为一个标准的配置。Skip-gram是一个重要的方法来研究上下文关系,常用于研究,使用上下文关系作为向量化方法。专利管理地图,或者专利地图分析,是一种statistically-based数据分析方法,已广泛应用与数据库和业务智能工具来可视化专利组合。专利管理地图只涉及数据排序和表示,它不符合当前文本挖掘的一般定义。因此,几乎没有提到的研究近年来专利文本挖掘的分析。其中,只有专利分类代码会被引用作为基准来验证的结果是否text-mining-based方法是有效的和一致的。后处理部分包含两个部分:text-mining-based方法和可视化方法。 The main methods of the former are clustering, topic modeling, and classification; the latter is mostly based on the expression of node-relation graph. Although TFM is less common, it is still one of the good visualization tools for exploring emerging technologies.

这些研究的主要目的是集中在分类、本体构建和新兴技术。分类是非常基本的,专利数据本身已经分类编码,如IPC或共产党。研究人员使用的分类方法在分类后处理部分有一个明确的目标。本体建设旨在澄清技术细节和范围的一个特定领域,聚类和主题建模方法可以实现这个目标。分类和本体建设只有获得和分析现有的数据,但为了探索新兴技术,有必要找到规则或发现从数据的变化趋势。

在这项研究中提出的框架完全预处理包括三个部分,处理和后处理。此外,本研究亦进行专利管理地图分析和比较结果与文本挖掘探索新兴技术并验证提出研究的思路和结论。

3所示。基于专利本体建设

图1说明了本体施工过程,包括四个层次和两个方面。

四个水平专利检索、专利聚类和目标域选择、主题建模和关键字的一代。研究过程和本体建设两个方面。在一级,一些关键术语对自然language-enabled chatbot指出,智能搜索DI是用来做专利检索。然后,最相关的50项专利正在迅速瞥了一眼来检查它们是否符合本研究的主题。如果不是,调整搜索查询,检索记录,直到更符合主题。在2级,DWPI标题、DWPI抽象和独立声称用于k - means聚类,经济和轮廓评分是用来评估合适数量的集群。聚类后,规范化TF-IDF (NTF-IDF)是用来确定关键词和关键短语。再一次,我们将检查如果关键词匹配。如果没有,回到1级,调整搜索查询。重复这个过程,直到找到理想的目标域。 At level 3, topics for domain are found in 2 different ways. The LDA model is used in domain of NLP, model, and system, while manual induction is used in domain of applied scenarios. In order to discover deeper topics or concepts at this level, each domain resets patent search conditions for applying the LDA method. After each execution, it is determined whether the subject of each domain is clearly identified according to the results. If not, the patent search conditions must be adjusted again. The topics of each domain are determined in this iterative process. Finally, by sorting out the key words and key phrases from level 2 and level 3, the construction of level 4 can be completed.

3.1。专利检索

智能搜索迪提供了语义搜索工具,它提供了一个快速路径从简单的搜索词来捕获相关的专利。复制使用的策略背后的强大的算法专家搜索提供一个可管理的结果集匹配用户的意图。通过使用智能搜索,没有必要列出所有可能的相关术语之前搜索。相反,记录发现总是与所描述的技术输入条件但可能不是完全包含。智能搜索自动排序根据相关性得分显示结果集的内容最好与搜索词匹配。

为了获得一个良好的本体,主要目的是为了发现尽可能广泛的一系列技术领域,而不是专注于特定的技术,将导致少量的新兴技术,无法找到。智能搜索的优势智能,但1000条记录对应的极限大约450到550 DWPI家庭平均,这是没有多少的NLP聊天机器人相关的专利数量。专利搜索的结果将被用作数据源为集群任务级别2。为集群使用更多的专利,传统的专利搜索也试过了,直接搜索专利形成最初的用户列表。虽然传统搜索可以找到更多的专利,如果有新兴技术或应用程序不被广泛讨论,甚至未被发现,他们将不会被发现。经过几轮的试验研究最终选定508年DWPI家庭智能搜索探测到1级的结果,和其搜索表所示2。

3.2。专利聚类和目标域的选择

在2级水平上,从以前的水平集群和获得专利的一些目标域被发现的结果。这个过程始于提取专利文件中的词和使用NTF-IDF向量化,这样数值向量是获得并可以应用于执行k - means聚类。之后,每个集群的高级词汇和语法短语可以计算,选择目标域。

3.2.1之上。专利列集群

本研究选择DWPI标题、DWPI抽象和独立的源属性聚类。专利文件可能来自不同的国家,用不同的语言编写,涵盖了大量的属性。专利是保护发明者的智能金融或考虑布局企业的知识。与学术文章、专利的写作目的不是让用户容易理解,有些信息甚至可能故意隐藏在标题,这是不利于专利挖掘。DWPI标题和DWPI抽象,迪提供的数据库,解决上述问题。DI雇佣discipline-professional手动编辑具有科学和工程背景阅读所有专利,重写与易于理解的文本标题和摘要,DWPI标题和DWPI抽象,分别。他们把法律术语,使用美式拼法,智力选择画画而不是选择的头版。此外,许多研究表明,专利的价值是很大影响的独立主张,也包括集群作为源的属性。

3.2.2。聚类

检索和vectorizing专利文件后,可以显示执行k - means聚类向量空间分布现象。适当数量的集群可以通过计算轮廓得分:我们的目标是最大化集群之间的距离,减少集群内的距离。在这项研究中,从508项专利13集群是集群,排名前十的单词和2克短语在每个集群通过NTF-IDF提取(见表3)。

3.2.3。域的选择

前十个字13和2克短语集群,共有260项,其中的技术细节是单独检查,被列为13子域,这是形成4个域相结合,也就是说,NLP,模型,系统和应用场景(见表4)。子域可以显示相关的话题和协助主题选择当执行三级主题建模。“NLP”域分布式集群3,4,5,6,8,9,11,12日和13;“模型”域集中在集群6;“系统”域集群7,9日和10日,和“应用场景”域是在集群1和2。一些集群相关的多个域在同一时间。自聚类分析的目的是找出目标域,它不是如此重要是否必须清楚地分配给每组只有一个特定的领域。

本研究以自然language-enabled chatbot作为主题。大量的单词与NLP在每个集群的大量出现,这并不有助于找出域,如“NLP,”“自然语言”和“处理。“此外,许多chatbot-related话说用途广泛,也增加的困难领域探索,如“处理器”“请求,”“输入”和“模块。“上面的词汇是在域选择跳过。一步在聚类前专利文档的预处理是专利文件进行向量化。尽管这些跳过术语表4可以设置为停止词在预处理阶段,不跳过他们的原因是为了避免影响一些短语的完整性。采取“识别”为例。也包括在“识别意图识别,“”命名实体识别,语音识别,和图像识别。”,设置“识别”停止词,上述相关短语不会被发现。然而,未能消除“识别”一再导致它出现在每个集群和没有域识别。

“NLP”域包含认知、命名实体识别(尼珥)、语言学(包括语法、语义和形态),自然语言理解(NLU),响应和语音识别。九个集群,集群3,4,5,6,8,9,11,12日和13日,分布在NLP域。集群3,两个子域,认知和反应。认知子域名,代表专利US9361884B2(受让人:细微通信Inc .)提出了一种人机对话系统,将与一个NLU引擎提供NLP和对话管理器应用程序来识别并解决重复法。为响应子域名,专利US10417266B2(受让人:苹果(aapl . o:行情))提出了操作系统和流程智能自动化助理提供一套预测反应。集群4和5关注语言学。专利US20200327284A1(受让人:ServiceNow Inc .)在集群4自动化系统提出了一个代理,该处理器配置节点和分配各自的词向量编码语义的词或短语表示为节点。系统生成一个带注释的话语树通过使用一个基于规则和ML-based组件的组合,其中一个带注释的话语树代表了话语的语法结构,和注释的话语树的节点包括词向量表示的语义含义。使用带注释的话语树为基础的意图或实体提取。专利EP3111338A1集群5还自动文本注释用于建设NLU语法。 Patent US10789426B2 in cluster 5 described a device for processing natural language text with the context-specific linguistic model. Patent US10304444B2 (assignee: Amazon Tech Inc.) applies NLU to the music field, which uses a hierarchical organization of intents and entity types, and trained models associated with those hierarchies, so that commands and entity types may be determined for incoming text queries without necessarily determining a domain for the incoming text. Although cluster 6 is mainly concentrated in the “model” domain, there are also many terms related to “named entity.” A representative patent US10755046B1 (assignee: Narrative Science) describes an NLP system for conversational inferencing with four-step parsing process.

集群8着重于语音识别。专利US10446147B1和US20200118564A1(受让人:亚马逊科技有限公司)描述一个语音识别系统提供一个上下文语音用户界面。专利US9245525B2、US9741347B2 US10049676B2描述交互式反应系统和高铁与ASR子系统子系统,以方便用户界面的整体能力。专利US9245525B2、US9741347B2 US10049676B2描述交互式反应系统和高铁与ASR子系统子系统,以方便用户界面的整体能力。

集群9提到关于NLU,专利US9761225B2(受让人:细微通讯公司)是代表。US9761225B2,识别和解决重复法的一种方法,在多通道应用程序会话对话提出了智能手机,在多个NLU解释选择模型可以生成。NLU解释选择模型可能包括一个通用模型和一个或多个专业NLU解释选择模型,和每个可能是特定于一个特定组NLU解释类型。语义reranking机制应用于这种方法。集群11还提到关于NLU能力和更侧重于后续行动,更与“系统”领域。集群12 NLU关注知识提取。代表专利US10762113B2使用会话知识图在虚拟助理来处理自然语言输入,包括接收来自用户的自然语言查询的虚拟助手NLU系统。集群13也属于认知子域名。专利US9965461B2 US9594745B2、US9569425B2 US20140249801A1集群13(受让人:软件商店Inc .)描述句法和语义分析的方法来提高效率。

“模型”领域,集中在集群6,没有子域名,关键字的数量相对较低。可能的原因是,由于神经网络主要数学算法和计算机仅仅是数学运算的运营商,他们不能导致技术本身。在这种情况下,哪个领域技术和功能紧密结合的学术判断的一个重要基础。如果AI只是用于分析业务数据,和技术问题没有解决,它可能会被认为是没有技术的想法,和很难克服nonpatent原因申请重复或修正案(42]。Algorithm-related专利必须结合算法的硬件相关条款为载体。这也解释了为什么集群9包含大量的词汇“nontransitory计算机可读的设备”。集群6中的代表专利US10748526B2, US10747958B2, US10733375B2。

“系统”域包含用户界面、中、和沟通或通道子域,四个集群,集群7,9,10,11,分布。

至于“应用场景,”集中在集群1和2,诸如“虚拟助理,”“医学”和“账单”。在集群1中,三个专利分配给谷歌公司代表在“个人”子域名虚拟助理。专利US20200320136A1提出了一个方法,使用分布式状态机质量与自动化助理对话来保护私有数据。专利US20200050788A1描述了从远程自动化装配系统响应助理。专利KR2020131299A提出一种方法,通过自动生成网络什么通知助理客户端设备。在集群2中,三个专利分配到细微的通信公司代表医疗账单和编码“医疗”子域名。医疗账单和编码是两个密切相关的方面的现代医疗保健行业。实践都参与非常重要的还款周期,确保支付卫生保健提供者的服务执行(43]。专利US20170323060A1描述一个系统,一个图形用户界面(GUI)和一个NLU引擎自动获得一个或多个engine-suggested医疗计费代码。专利US10319004B2提出技术处理重叠码NLU派生的引擎,和专利US10754925B2培训NLU引擎提出了一个方法,包括提供培训数据的形式自由的文本形式,修正,最终确定的医疗帐单代码序列。

三个领域被发现的聚类结果。特别重要的强调自然的构成language-enabled chatbot主要依赖于三个领域,NLP模型和系统。因为大多数相关的专利同时包含这三部分,很难确定准确的归属感域为每一个专利,也毫无意义。

3.3。主题建模

根据本体施工过程(见图1),搜索查询相应的结果,和主题成立于每个域表中所示5。域NLP和系统,DI智能搜索,而施(索赔/标题/文摘)策略是申请域模型和应用场景。表6说明了每一个主题的关键词。

3.4。应用场景主题建模

本研究希望能找到NLP聊天机器人的应用领域,但是很多专家称自然言语技术或对话管理的系统框架,并不是在这一节中讨论。本研究主要是将应用程序场景划分为工程应用和电子商务应用程序。从专利搜索结果可以发现,自然language-enabled聊天机器人广泛应用于电子商务领域,而应用程序在工程方面是很难找到的。手动44专利审查和分类对特定主题或场景。这些专利的应用场景表中列出7。

这里有一些专利电子商务的话题。促进专利US20170323060A1描述系统自动化的自然语言理解病人的医疗文件,该处理器提供的医疗帐单代码用户评论在图形用户界面(GUI)定稿之前遇到的编码。专利KR2020000621A描述对话系统抓住用户的注意力在各种情况下车辆通过使用移动设备。该系统具有一个存储单元,用于存储从车辆情况收集的信息。对话管理模块获得行动的价值因素因子用于执行一个操作对应于一个危险的情况输入处理器获得一个动作开始对应存储单元的情况。输入处理器生成一个对话进行相对应的操作危险通过收购行动的因素价值因素而获得相对应的行动的危险情况和生成一个消息对话。结果处理器生成一个响应对应于一个交付起动器消息对话。专利US10223934B2提出了一个方法,监测和分析语言环境,发音,和发展关键的孩子,它提供了指标与关键环境与发展孩子的语言在一个相对快速和有效的方式。该方法用于促进语言环境的改善和关键孩子的语言发展和跟踪孩子的语言技能的发展。关键孩子的语言环境和语言发展是监控没有把人工的关键限制孩子的活动或要求第三方观察者。

这里有一些专利的主题工程。专利JP06792132B2定义了一种信息处理装置,用于机械手控制系统和NLP系统和可以执行高通用性。信息处理装置处理模块组,每个配备几个处理模块与特定的处理能力。这些处理模块有一个层次结构的神经网络。处理的信息发送和接收的信息信号处理模块在几个interhierarchical结构。专利CN111267097A提出了一个基于自然语言的辅助编程方法的工业机器人,包括解析语言指令,匹配的解析结果,并结合坐标输出生成最终的机器人辅助代码。multiattention机制模型所采用的方法提高了识别精度和解决问题,当前的方法不能准确地识别对象在工业环境中。模块化编程技术解决方案简化了工程师编程复杂性和有效地提高开发效率。专利US10843080B2描述了一个从自然语言促进自动化程序合成系统。系统允许用户更舒适和熟悉语法要求形成一个正确的句子在母语而不是背一段潜在的规则或要求构造复杂的编程语言。 The system employs fuzzy grammar matching to reduce complexity, while slightly trading off complexity for accuracy. The system allows the user or developer to examine to express an idea in a different manner to better reflect user an original intent. Patent DE102018212503A1 defines communication and control systems, which has control devices for operating machine based on software communication chatbot, for filling beverage in bottling plants. The chatbot recognizes a voice input and a text input by an operator to output or display information about an operating state of the machine. The systems realize production conversion of energy in an automatic manner and order completion in a rapid manner and improve media efficiency and scheduling efficiency. Patent WO2020181365A1 proposes an apparatus for 360-degree assistance for quality control system scanner with mixed reality (MR) and ML technology. The apparatus has an optical sensor, a display, and a processor to receive diagnostic information from a server related to a field device in an industrial process control and automation system. The processor identifies an issue of the field device based on the diagnostic information, detects, using the optical sensor, the field device corresponding to the identified issue, and guides, using the display, a user to a location and a scanner portion of the field device that is related to the issue. The processor provides, using the display, necessary steps or actions to resolve the issue, and connects, using a cloud server, a user to get modules of installation, commissioning, AMC, and training for a QCS as per the selected person.

3.5。本体

在本节中,NLP聊天机器人的本体映射是基于前面的输出。四级本体包括一个主题域、主题和关键短语在一个自上而下的顺序。NLP chatbot的主题下,域是NLP,模型,系统和应用场景。每个域下的第三个层次的话题。NLP域,有语音识别、语言学、谈话,和知识。域的模型中,主题功能,图形,声音设备,问答,分类,和自动服务。域的系统,主题是基础设施,对话管理和用户界面。应用场景中,电子商务和工程是两个主要的话题。第四层次每个主题下的关键短语。注意到一些关键术语共享由多个主题。 The ontology map of NLP chatbot is shown in Figure2。

4所示。专利宏观趋势分析

通过输入关键字搜索相关的专利相关NLP和聊天机器人DI数据库和专利管理地图进行分析(见表8)。从2011年到2020年,完全21834或12840 DWPI家庭发表个人记录。专利家族是指收集不同专利局的专利申请同样的发明。DWPI有严格的定义。每个专利在同一个DWPI专利家庭必须有相同的优先级和其他专利的家庭。这一部分的分析主要是基于DWPI家庭。下面的“专利”一词是指“DWPI家庭”,除非另有说明。

自2017年以来,10480项专利已经出版,占总数的82%在过去十年中12840项专利。此外,自2019年以来,8099项专利占62%。从的角度的专利数量的年增长率,在2014年高44%,但回到2015年的6%,这是最低的数量在过去的十年里。然而,从2016年开始,年增长率已大幅增加,直到达到2019年的105%的峰值,然后它回落到2020年的66%。减少2020年的数量是否与COVID-19的影响是不可知的,但这可能是一个信号,意味着相关技术自然language-enabled chatbot可能逐渐成熟。

然而,一个单一的减少量不能导致任何结论,除非得到更多的其他数据或证据支持。IPC是一个标准的分类发展和由世界知识产权组织的分类专利和专利申请,涵盖所有的技术领域,目前使用的工业产权世界各地的办事处。从年度的专利数量IPC分析,到2018年,所有的IPC分类已经覆盖。换句话说,在2019年和2020年的8099项专利中,占62%的数量在过去的十年里,没有新的技术生产。

前6的角色ipc,专利数量超过1000,是G06F(电数字数据处理),G06N(基于特定计算机系统计算模型),G06Q(数据处理系统或方法),G10L(演讲分析或合成;语音识别;演讲或语音加工;演讲或音频编码或解码),H04L(传输的数字信息)和G06K(的数据),每个号码8870,3144,2413,2176,1364,和1258项专利(见图3)。应该注意的是,总比例可超过100%;也就是说,这些数字的总和可以大于12840,因为专利可以分为多个IPC代码。

G06F 12480项专利的专利占8870。因此,完整的IPC分类G06F进一步探索。在列出的十大ipc(见图4在G06F 17/27), 2295项专利进行分类(自动分析、解析、正射校正等)。第二大类G06F 17/30(用于信息检索和数据库结构)。值得注意的是,第三和第四的分类(G06N G06N 3/08 3/04)代表了互连拓扑结构和学习方法,分别。G06F侧重于数据处理程序,而G06N强调系统结构。G06F和G06N域分类代表了关键技术的主要模块实现复杂的自然language-enabled聊天机器人系统。此外,G10L 15/22,排名第九,是关于程序用于语音识别的人机对话。

除了专利的数量统计,近年来数量波动也值得关注。基于专利的年增长率,当IPC的增长率高于平均水平,它代表了更大的动力;相反,当IPC的增长率低于平均水平,这可能意味着早期的技术已经进入了成熟阶段。四个角色ipc与最多被选为这个分析(见图5)。

G06F压倒性的专利总数的69%,但其年增长率远低于平均年增长率。2014年,相关的专利总数自然language-enabled chatbot大幅上涨了44.37%。当年G06F的增长率仅为41.40%,略低于平均水平。自2016年以来,期间的专利数量的快速增长,增长率G06F并不突出。即使平均增长率在2019年达到104.49%的峰值,G06F比平均减少了14.92%。相比之下,G06N的年增长率是惊人的。2014年,比平均水平高43.86%,从2016年到2020年,年增长率为73.74%,26.14%,89.49%,52.84%,和比平均水平高出74.29%。G06Q G10L上下波动,平均年增长率和尚未显示出明显的趋势。

一般来说,平均年增长率在2019年达到峰值后开始减缓快速增长后,没有新的IPC出现在2018年之后,所有这些表明,发展自然language-enabled chatbot已进入成熟阶段。值得注意的是,相关的专利只阅读G06N仍在快速增长。

受让人分析有助于找到市场的主要参与者,这些都是科技巨头的结果。1358年IBM专利数量,超过总数从第二到第十。著名的科技巨头苹果(aapl . o:行情)和Facebook Inc .是排名16和17,分别。虽然他们不在前十,表中列出他们也由于他们的影响(见表9)。

IBM的专利在2016年开始快速增长,当IBM的专利是集中在两类G06F 17/30和G06F 17/27,显示IBM专注于信息检索在NLP和语法分析。2019年,微软的专利数量,亚马逊,埃森哲和昆明大学科学和技术开始显著增长。除了G06F 12/27,亚马逊和微软使用语音识别技术基于自然语言模型在人机对话中,主要反映在两个IPCs G10L 15/18和G10L 15/22。2020年,谷歌的专利数量,三星和百度同时迅速增加。除了两类G10L 15/18和15/22 G10L有关语音识别在2019年,谷歌和三星有更多专利出现在G06F 3/16,其重点是演讲和数字信息之间的转换。另一方面,谷歌和百度申请了很多专利G06N 3/08,基于学习方法的计算机系统。此外,百度也有大量的专利G06F 40/30进行语义分析。谷歌和百度都是互联网服务公司开始的搜索引擎,谷歌和三星安卓阵营也是亲密的合作伙伴。高度增加分配给这三家公司的专利数量,相当接近最终用户,可能意味着成熟阶段,在这一技术领域大规模应用。IPC分布的苹果(aapl . o:行情)的专利在2019年和2020年,可以看出其专利是高度集中在演讲recognition-related G10L 15/18, G10L 15/22,和G06F 3/16,类似于谷歌。 Google and Apple coincidentally began to cut into a large number of patents in the field of speech recognition, speech, and digital information conversion in 2019. The clues can also be seen from their products. The Google Nest Mini launched in November 2019 and the Apple HomePod launched in August 2019 show the development path from smart speaker to smart home. With the maturity of natural language technology and IoT, the use of natural language to control objects around life will gradually replace the previous method of operating through buttons or operating with limited system interfaces. When other companies focus on deepening NLP-related technologies or developing speech recognition applications, Facebook Inc. has paid more attention to electric communication technique, including H04L 12/58 and H04 29/08. The two IPC codes represent message switching systems and transmission control procedure in network communication, respectively.

5。技术功能矩阵

技术功能矩阵(TFM),负责调查技术专利数量和功能之间的对应关系,是一个关键的方法专利数据分析。NLP的域模型和系统,之前介绍过的部分3.2。3,用于形成解冻。TFM被描述为以下的施工过程。构建良好的本体定义之前,从技术和功能方面可以定义,可以收集和专利根据本体设置的搜索查询。接下来,访问迭代计算每个专利如果它匹配每个技术和功能。通过这样做,可以构造解冻。

本研究使用TF-IDF-based TFM自动施工方法。定义技术和功能之后,一个非结构化的文本描述,最能代表每个技术或函数都必须做好准备。这些文本描述转换为一组向量通过无监督学习,这对每个代理技术或功能。从每个专利,然后,选择特定字段转换为一个向量,并与每一个技术,通过相似性函数,和一个阈值用于确定是否可以归类为专利技术或功能。因此,文本描述的每种技术或功能是非常重要的。部分5.1和5.2分别解释技术和功能选择在这项研究中,紧随其后的是解冻导致部分5.3。之后,应用场景添加到表单域的三维矩阵,这叫做A-TFM和介绍部分5.4。

5.1。技术的定义

13解冻技术,下面列出的表10根据NLP的域定义,模型和系统。相似的描述与专利文本提取维基百科。语音识别、尼珥、NLU NLG技术在NLP的域。特性工程,RNN, CNN,变压器模型。和speech-generating设备、云计算、语音活动检测、人机交互(HCI)和身临其境的技术系统。

5.2。函数的定义

九解冻功能,信息提取,对话管理、上下文预测,推荐系统,算法效率,自动化控制,通信,用户体验,和虚拟协助,表中列出11。相似的描述与专利文本提取从维基百科和其他web资源。

5.3。TFM结果

寻找新兴趋势的自然language-enabled chatbot, 2020年专利是用作TFM源。13×9 TFM的结果是通过自动化过程描述(见表12)。变压器是一种DL语言模型,发展了2017年,广泛使用的自然语言处理任务。变压器相关的专利技术和预测功能最多,这意味着变压器作为一种成熟的技术,被广泛应用于上下文的预测。的技术(行),变压器和speech-generating设备的主要技术是当前市场和有积极的影响几乎所有的功能。(列)的功能,自动控制功能是比其他人更广泛使用。例如,语音识别和speech-generating设备增加控制系统的管道。此外,NLP域技术主要涉及信息提取,对话管理和预测,如改善NLU NLG可以增强系统的能力来识别用户的意图。最后,系统域技术主要集中在通信、用户体验、虚拟助理。例如,采用浸入式技术可以提高用户体验或云计算的发展使便携式设备处理复杂的任务。因此,很多开发虚拟助手帮助人们方便生活,例如智能驱动助理。 Next, the interaction of technology and function and its related patents are explored to find emerging technologies or applications.

5.3.1。语音识别(T01)

语音识别是信息提取的大多数应用功能(F3)。语音识别精度的关键是确定它是否可以应用于商业领域,和良好的信息提取能力的必要条件。尽管语音识别技术已经逐渐成熟,仍有大量的专利在这个领域获得更好的识别功能和信息提取能力。

谷歌公司的专利US10431206B2 (HRNN)递归神经网络采用分层结构处理multiaccent语音识别的任务。专利CN110033766A提出一个复杂的多个深层神经网络架构,包括单层单向RNN模型,二进制双向RNN模型,和二进制双向LSTM (BiLSTM)模型和其他网络结构,追求更快的速度和更少的能源消耗。专利EP3497630B1使用CNN架构,它允许更好的信号传播和远程依赖学习,从而提高输出质量。

此外,语音识别和自动控制功能(F6)相互结合形成的语音驱动自动控制中的应用。当从客户机接收语音数据,语音识别和NLU模型存储在云被用来与其他设备在云空间,如无人机(uav),机器人,增强现实(AR)和虚拟现实(VR)设备,通过人工智能模块和5 g网络技术。

5.3.2。尼珥(T02)

为了改善尼珥的准确性,预处理是非常重要的。专利CN110990525A提出sentiment-based信息提取方法,达到良好的性能在金融领域的情绪信息提取通过预处理和特征提取模块。数据标签和特性预处理工程是两个主要步骤。专利CN111783466A提出了命名实体识别方法对中国医疗记录,标签使用两层的条件随机场(CRF)分类来确定最终的输出标签从而提高尼珥的准确性和减少所消耗的时间训练。有类似的研究在文学研究。针对潜在的不足表示汉字的特点,汉et al。44)使用BiLSTM网络学习汉字的内部中风和激进的语义信息,结合BiLSTM-CRF模型构造一个自适应multifeature融合嵌入式cn模型。此外,专利WO2020167558A1提出了一个动态命名实体识别的非结构化数据训练模型,它定义了实体特定领域知识本体的标签,并使用这些实体标签识别非结构化文档和领域知识之间的关系。专利CN111737969B提出恢复基于DL模型的分析方法,结合NLP, OCR和命名实体识别技术。该方法首先对恢复执行功能建模。模型训练完成后,关键信息的分类和类别设置映射模型,解析器可以读它像人类,提高整体分析的效果。

5.3.3。变压器模型(T08)

变压器模型被广泛用于改善信息提取的准确性功能(F1)。专利CN110941698A提出一个方法基于双向编码器表示伯特CNN,词向量的生成丰富的上下文语义信息,从而有效地支持服务相似度计算找到最准确的目标服务,并实现准确的检索目标服务。

至于对话管理功能(F2),专利CN111274362A生成方法的基础上,提出了一种对话变压器架构,其中包括获得矢量表示的单词,并生成一个回复基于综合语义向量和一个副本机制,用于解决NLG基于领域知识背景对话。专利US20200372341A1提出一种基于伯特管线式自然语言问答系统模型,其中包括接收一个输入文本的自然语言问题,提供了一个自然语言问题的答案在考虑上下文。

变压器模型中使用上下文(F3)函数来改善NLP的准确性。专利CN110737764A生成个性化的对话内容提出一种方法基于multiround对话模型。变压器模型有效地学习自然语言对话的顺序关系,可以预测生成的内容回复共性的概率降低,并增加对话内容的多样性。专利CN111708882A提出一种方法,补充缺失的中文文本信息基于变压器编码器。这种方法从手动预处理中文文本文档,将文本分成大量的短句子语料,并将其转换为伯特的最小单位向量。以来,目的是找出丢失的单词和句子在文章中,训练方法是随机生成的噪音隐藏完整篇文章中的词创建缺失的影响。相反,为了能够填写缺失的话说,该模型必须有文本生成功能。通过删除重复信息,生成程序,中文自然语言处理任务精度进一步提高。

5.3.4。Speech-Generating设备(T09)

Speech-generating设备高度相关信息提取的三个功能(F1),对话管理(F2)和上下文(F3),与1190年、1141年和1123项专利。T09的语音识别技术和T01也高度相关,但T09在“系统”域的分类意味着这个技术的描述更关注硬件或系统框架,这对于T09, F1, F2, F3。之间的差距是模糊的。从这些大量的专利,它可以发现,互联网技术的成熟和移动设备,过去的信息检索系统已经开始,取而代之的是聊天机器人。然而,当NLP技术还不成熟,基于规则的聊天机器人不能施加影响。然而,随着NLP技术和语音识别技术的成熟,speech-generating设备也发展迅速,加上聊天机器人应用程序。面向任务的检索系统开始,取而代之的是语音查询系统。专利CN110111766A声称multifield多任务系统,它解决的问题多畴的对话系统中多任务切换。这个复杂的多任务对话系统集成了语音识别模块,一个域的信心状态跟踪模块,对话管理模块,NLG模块和语音合成模块实现功能,语义级别每个域之间可以共享的信息。专利JP2020098308A提出一种语音查询系统提供的信息,每一个聊天机器人服务器和智能议长操作服务器使用DL模型,接受一个口语的问题,推断,并输出相应的回答口语演讲。

下一步后进入语音查询系统的语音驱动的远程控制。1006项专利相关自动控制功能也支持这一想法。专利US10748529B1(受让人:苹果(aapl . o:行情))提出了一种基于语音的数字助理使用语音激活的家庭自动化控制设备,如电视、扬声器、摄像头。语音驱动自动控制的应用并不少见,但他们的重点是设备,没有安全隐患,比如家庭有关的设备。这也意味着语音驱动自动控制仍处于辅助的阶段并不能取代现有功能。然而,相信有一天人们会希望许多功能,需要身体接触可以取而代之的是语音控制,首先要克服的是噪音。由于没有指定的声音,设备可能会收到意想不到的声音和触发动作。因此,一个网关可能需要避免意想不到的行动由噪声引起的。专利US20140214414A1提出了一个通信系统用于自动语音识别应用程序,这可以通过无线网络传输命令修改网关的降噪处理状态。

5.3.5。人机交互(病人)

当涉及到智能家居,除了语音控制,通过人机交互有更多的自动控制方法。专利CN110932953A提出智能家居控制方法和装置,可以获得目标的用户控制命令,登录目标开始家庭居住在目标网络,智能地进行控制,并返回结果消息回来。这个解决方案实现multihome不同的制造商和不同通信协议的统一控制。

从TFM观察,人机交互技术被广泛用于提高用户体验(F8),有909项专利位于交互。大多数人使用聊天机器人来满足他们的需求,如信息检索或特定的操作任务。最重要的是能够满足用户的需求更少的对话。许多专利也旨在减少对话,提高对话效率,如CN112015879A CN110990594A CN111488433A, CN110827831A。

5.3.6。身临其境的技术(T13)与虚拟助理(F9)

除了接触和声音的人机交互方法,用目光跟踪帮助虚拟助手更准确地把握用户关注文本或段落对话是一个新兴的应用程序。

5.4。A-TFM TFM和应用场景

就像前面提到的3所示。4,应用场景因素也是一个价值分析部分专利。因此,本研究利用应用场景的三维空间构建一个三维矩阵。如图6,节点的规模意味着专利的数量。X设在意味着13技术,Y设在意味着9功能,Z设在意味着7应用场景。这个三维矩阵的来源是50专利随机收集从上述TFM的来源。“个人”和“电子商务”是当前市场的主要应用场景。“医学”、“工程”和“司机助手”应用场景仍在发展。另外,相关的一些专利“教育”和“社会”聊天机器人。

6。讨论

九个主题,包括医疗数据,智能城市,物联网,数据隐私,可持续策略,CRM、个性化、社交媒体倾听,和ML模型,被认为是潜在的主题为未来的研究基于数据驱动策略(14]。这项研究彻底调查聊天机器人的应用全面patent-mining过程和索赔,本研究的研究结果之间的一致性和上面的结果。因此,提出了分析的有效性是有道理的。

6.1。知识图

人工智能使巨大的进步;算法迅速提高,管理大量的数据;然而,它仍然不是知识技术。背后的知识自然language-enabled聊天机器人与人类对话是很重要的。聊天机器人的早期发展主要是由一个单一的域。它已经观察到更多的研究指向开放域(45- - - - - -49和多畴的50- - - - - -52近年来]。单极聊天机器人是有限的完成特定的任务,而多畴的或开放域聊天机器人可以更好的满足智能助手和进一步的需要提供人民友谊或社交应用。随着5 g和云应用的发展与社交媒体相结合,许多社交媒体,如电报、Cortana,松弛,微信,Facebook Messenger,谷歌助理,和Siri,提供平台,可以很容易地建立聊天机器人(53),转型的技术瓶颈转移从简单的单极chatbot制度建设成复杂的集成的多畴的知识库。这两个现象之间的相关性假设。

语义网的快速发展,大量的结构化数据的形式提供基于网络的知识。使这些数据可访问和有用的最终用户的主要目标之一是聊天机器人基于链接的数据(54]。公斤被认为是一种新的人工智能技术趋势,这源于语义Web的基本原则和知识库的建设55]。这部小说KG-based框架中使用许多聊天机器人应用程序。他们结合资源描述框架的SPARQL查询语言快速整合现有的知识库。

近年来相关的专利也专注于研究的知识框架可以提高NLU的功能和整合公斤chatbot的知识库。专利US10733375B2(受让人:苹果(aapl . o:行情))提供了一个系统和过程操作智能自动化的助手。这个过程是基于一个知识框架,可以改善NLU的有效性,分析域的映射属性和文字从自然语言输入,然后对应于知识库的数据分析结果,并确定输出响应结果根据排名机制。专利EP3362972A1提出了一个系统为自然语言文本文档编写可视化表示。提供用户界面,其中包含一个文档区域从而使交互地生成可视化表示信息,准确地描述了底层的源文本。系统生成一个节点图的至少一个解析树,实体信息,或关系词信息和流程文档来确定关系词信息显示文本的部分包括至少一个主题的关系,句子中动词,或对象,包括文本的一部分。同时,系统生成另一个可视化表示节点和关系的链接。专利WO2020160264A1提议的方法识别相关的数据集使用训练模型相关的感兴趣的话题,包括访问一个或多个来源,每一个都包含信息系统和相关方法用于组织,代表,寻找、发现和访问数据。体现了信息和数据的形式的数据结构称为“特性图。“功能图包括节点和边,边缘是用来““节点连接到一个或多个其他节点。 The nodes in the feature graph can represent variables, that is, measured objects, features, or factors. The edge in the feature graph may represent a measure of the statistical association between a node and one or more other nodes that have been retrieved from one or more sources. The data set that represents or supports statistical correlation or measurement correlation variables is “linked to” form the “feature graph.” Patent US10762113B2 (assignee: Cisco) proposes the use of conversational knowledge graphs in virtual assistants to process natural language input. After receiving the natural language query of the user, the method retrieves the contextual information of the conversational knowledge according to the intention and calls the back-end service accordingly and obtains the response after the service is performed. Finally, the response is translated into natural language and provided to the user. There are similar studies in literature studies. Zhong et al. [56)设计了一个基于知识的认知信息表示模型图,并结合感知信息和工业机器人本体的语义描述信息,形成一个结构化的知识和逻辑推理的认知图,包括感知层和认知层。实现自动机器人感知信息的表示提高通用性,系统性,直觉认知信息表示和机器人可以有效地提高机器人的认知推理能力和知识检索效率的工业网络环境。

专利US20200317093A1提出了查询响应系统对自然语言查询转换成标准查询使用神经网络,与处理器决定文档并返回文档的相关性时,决定有关。这个应用程序描述了一个系统和方法,将自然语言查询转换成标准的查询使用sequence-to-sequence神经网络。如本文所述,当收到一个自然语言查询,自然语言查询转换成一个标准的查询使用sequence-to-sequence模型。在某些情况下,sequence-to-sequence相关模型层的利益。使用标准的查询和执行搜索可以返回各种文档。文件搜索获得的得分至少部分基于条件熵的文件决定的。使用自然语言查询和文档来确定条件熵。

6.2。深度学习

算法与人工智能相关的重要性和深度学习聊天机器人是显而易见的。然而,这种新兴的技术在专利文件不太明显。常用的聊天机器人LSTM,变压器,RNN等等。有趣的是,双向机制应用于几乎所有的架构。Chatbot-related文章使用双向体系结构大量出现了自2019年以来,和他们的人数占了80%以上的年(见表13)。

专利CN111267097A工业机器人协助提出了一个基于自然语言的编程方法,包括解析语言指令,匹配的分析结果,并结合协调符合代码来生成最终的输出。本发明需要辅助编程方法的基于自然语言的工业机器人根据语言指令并生成相应的可执行代码机器人对环境形象。本发明分为三个部分。首先,使用LSTM双向(Bi-RNN)和递归神经网络快速区域卷积神经网络(F-RCNN)提取语言指令和工厂环境的特性。第二,提供的“注意力机制”模型对齐算法,并正确地匹配指令的机器翻译的机器环境,以便识别指定的对象和对象的输出坐标点。第三,使用该模型生成的输出操作匹配CoBlox结果模块化的编程模型。

DL在NLP的技术发展已相当成熟。虽然学术研究是不断追求更好的性能,它已经足够在应用级别。在应用任何框架常用的今天,即使有小的训练数据,聊天机器人是能够感知用户满意的57]。因此,除了被用来处理NLP任务,DL的另一个主要应用是协助对话聊天机器人系统的管理。

专利CN108282587B提出了一种基于状态跟踪移动客服对话管理方法和政策取向对通信行业,包括采用深Q-network-based策略优化方法选择最佳行动策略。方法需要建立一个对话的问题指导策略基于部分可观测马尔可夫决策过程(POMDP)模型,并应用一个动作对话环境的用户通过内部操作POMDP模型,以便谈话环境状态的变化和一定的回报。执行一系列策略的可能性是基于累积获得的回报,问题是变成了一个战略选择问题。deep-enhanced学习problem-guided策略优化算法构建基于对话问题POMDP模型获得的指导策略,和深Q-network (DQN)的策略优化方法采用选择最好的行动策略。

6.3。言语技术

聊天机器人发展对集成的对话系统,在多人对话的背景下,语音分割和说话人识别算法近年来的主要研究主题(58,59]。李等人。60)总结了现代noise-robust ASR技术开发在过去30年里,提出了分类的各种noise-robust技术标准,并使用不同的抗噪音的ASR技术的优点和缺点在实际应用场景。例如,对于稳定声控开车,无人机必须谨慎处理的环境条件,包括环境噪声可以降低识别的准确性。因此,公园和Na (61年]研究多个无人机(UAV)由语音控制和降噪方法。

专利CN111768768A提出的方法处理声音在人工智能领域,DL, NLP和语音交互和降噪处理语音数据发送的外围控制设备。具体实现方案如下:为了应对获得语音识别接口调用请求发送的外围控制装置,启动语音识别过程;获得外围控制装置的类型;确定目标语音降噪模式根据外围控制装置的类型。在噪音模式下,执行降噪外围控制装置发送的语音数据获取语音降噪后的数据;降噪后,执行语音识别语音数据来生成文本数据。通过语音处理方法,因此,其他操作所产生的噪音水平在外围控制装置包括语音数据减少。

6.4。语音驱动自动控制

交互式智能代理(isa),由用户通过自然语言对话,成为生活的一部分,特别是在智能家居场景(62年]。专利WO2020203067A1描述了一种信息处理装置包含一个控制单元由自然语言,这是安排控制移动物体的运动的基础上一个语音识别过程的结果。专利CN110654738A描述了一个基于NLP自动垃圾分类和回收装置。垃圾桶,分别装有红外传感器,和下箱体配备了机械传动机构和自动分类机制。本发明的装置和方法识别效率高,自动化程度高。

6.5。物联网(物联网)

专利KR2020131299A(受让人:谷歌LLC)提出了一种方法,将多个远程自动化助理组件通过物联网设备,结合语音识别模块监控和发送声音数据。专利US10543931B2提出了一个方法,监测过程中接收到的声音和消息提醒飞行的飞机。物联网驾驶舱包括随后标记一个级联信息预警与显示元素。在收到警报的多元化,包括至少一个警报声响警报或消息,第一个NLP的任务是应用于听觉报警转化为一个文本警报,在结构上与聚合的格式一致,或者一个级联信息报警,第二个NLP的任务是应用于识别上下文。

6.6。应用场景

根据A-TFM结果部分5.4,可以发现,相关专利的chatbot应用仍主要集中在个性化服务和电子商务。这两种类型的应用程序的重点是使用聊天机器人作为一个虚拟助手服务于特定的目的,或使用chatbot作为专家在一个特定的领域,实现知识获取的目的。这些应用程序提供工具或生产率进步对教育(63年,64年)、医疗(65年)、情感(66年,67年),和社会服务(68年- - - - - -70年]。在这种情况下,社会情感行为和人格处理的集成设计原则可以带来决定性的竞争优势71年]。聊天机器人的应用趋势从专利分析在这项研究中获得一些研究是一致的(71年,72年),这说明了本研究的有效性。

7所示。结论

这项研究进行一个全面的专利审查自然language-enabled聊天机器人的新兴技术。本研究的贡献是部分解决7.1,描述的管理含义是部分7.2,营销人员的实用/社会影响中所描述的部分7.3、局限性和未来研究建议7.4。

7.1。贡献

本研究从三个方面的贡献。首先,专利分析框架,提出并被证明是有效的。第二,新兴技术。第三,应用趋势是解决。

专利分析框架从再本体建设,其次是专利管理地图和解冻,并进行案例研究的部分。四级构造本体的层次结构和文本挖掘方法如k - means聚类算法和LDA主题建模,减少人工干预过程中。本体映射可以作为战略和可持续的研发规划的基础,研究人员能够快速的理解关键技术的发展趋势和可以识别技术差距。值得注意的是,在过去的一些专利分析的文章,详细的最初设计专利查询条件,以下分析基于[25]。然而,专利分析方法提出了研究使用迭代过程,找出最合适的查询条件和专利信息在构建本体。除了专利分析,它是合理的从学术文章,发现新兴技术和系统文献综述(SLR)是主要的方法。首选项报告系统综述和荟萃分析(棱镜)是由国际卫生合作伙伴网络,提供了一个框架的单反,保证科学性和质量(73年]。单反的行为很大程度上取决于所包含的范围和质量的研究。因此,系统的评论者可能需要修改原来的评估计划在这个过程中,和棱镜声明承认这个迭代过程74年]。这提供了重要支持,本研究中使用的迭代方法,不断调整专利查询本体施工过程的条件。

新兴技术总结如下。的基础知识是自然language-enabled chatbot,其中功能图特性一代框架,最近吸引了注意力。DL是主要的核心方法,大部分的DL算法成熟。近年来,专利主要集中在各种DL算法的结合,通过捕获各自优势,填补彼此的缺点。语音识别技术而言,降噪的焦点是最近的语音识别技术。声音包括声音和噪音操作设备从设备和转化为精制获得文本数据通过DL和NLP技术的集成。此外,发现背景是主要的研究课题,无论是探索知识库或算法的逻辑。先前的研究在NLP一直专注于非结构化文本,但近年来,它显然已经把消息对话。在非结构化的文本中,术语frequency-based方法可以有好的结果,但消息对话依靠大量的代词和上下文的连续性和相关性,并利于更为复杂。甚至能够NLP适用于日常对话,它面临着一个更大的和更广泛的领域和知识基础。 For this reason, the chatbots of various specific domains integrate with each other to become a more complete and powerful system. Communication technology and system integration are also very important.

至于应用趋势,越来越多的专利显示NLP chatbot近年来的快速发展。从宏观专利趋势分析,专利的发展趋势已经被发现。相关的专利自然language-enabled开始于2014年,自2016年以来发展迅速。首先,它主要是基于NLP和知识基础。到2018年,语音识别和通信技术已经开发和完善,然后大量的应用程序在2019年开始出现。这些应用都集中在硅谷的科技巨头,他们也给人们的生活带来了重大改进。自然language-enabled聊天机器人广泛应用于电子商务领域,专注于客户服务和医疗咨询。5 g网络技术的普及,越来越多的语音驱动的应用程序,比如物联网的语音驱动自动控制和系统集成,以及身临其境的人机交互界面提供更好的用户体验。除了电子商务应用,更多的应用在产品生命周期过程已经开始。应用场景自然language-enabled chatbot显然已经开始转变从电子商务到工程应用中,如产品设计、工程资产管理、智能制造、车间管理。 Natural language-enabled chatbot, as an emerging smart system architecture using AI, has become a service integration solution through the integration of devices, algorithms, and network communication technologies. It is also expected to continue to impact the traditional information system architecture in the future.

7.2。管理的含义

目前,聊天机器人的应用仍集中在个人助理和客户服务,而这些应用场景被限制在一个非常有限的知识领域

早期的基于规则的交互系统自然语言交互对话,再加上语音识别技术的成熟度,聊天机器人可以提供良好的聊天对话质量和单轮对话。服务条款已经从系统发展的瓶颈,建立深入的领域知识基础。许多互联网服务提供商能够提供一个方便的应用程序框架建立聊天机器人作为一个自动化的客户服务或个人服务助理。聊天机器人服务的成功取决于它是否准确地解释用户的上下文或态度问题,具有完全支持上下文所需的知识基础并提供准确的回复。

聊天机器人的局限性是专注于一个领域已经开始注意到,这样的实践整合多个域chatbot成chatbot咨询小组已经在最近的专利和研究。聊天机器人系统结构的变化,多个领域知识集成到一个复杂的系统。近年来,专注于数据驱动创新的策略导致了新产品和新商业模式在新兴和发展中数字市场。然而,尽管探索知识的数据,用户隐私是一个需要谨慎对待的问题(75年,76年]。

总之,chatbot转变的特点从简单的信息提供复杂的信息集成和多才多艺的决策支持,这意味着推理和自动对话和界面控件必须加以解决。专利智能房屋或汽车电子设备的控制也支持这一想法。

7.3。对营销人员实用/社会的影响

聊天机器人使用的三个主要动机意味着社交媒体的发展的重要性chatbot,潜在的chatbot,身临其境的技术在娱乐业,聊天机器人实现的问题(72年]

作为一个平台让人们发起对话,社交媒体已经成为主要的chatbot界面应用程序的最终用户。社交媒体的快速集成和chatbot电子商务网站继续增长和发展。

第二个最重要的应用程序动机是娱乐,这是很少在专利文件。chatbot仍不足的现实主义,但它已经可以提供丰富有趣的互动。在工业发展过程中,虚拟现实是在一个类似的阶段。虚拟现实体验本身就是非常有吸引力,就像一个令人兴奋的游戏,所以用户体验当创建一个虚拟环境远比学位更重要的现实主义(77年]。它也可以从解冻的结果发现有一些专利位于chatbot结合身临其境的技术来提高用户体验。对于数字营销人员来说,这意味着结合VR和chatbot营销和娱乐预计将给用户带来更多的沉浸感和创新经验。

第三个动机大多数应用程序是关于社会服务,如社会照顾老人独自生活。3 d-tfm在本研究提出,一些专利聊天机器人应用程序在社会服务和教育场景确实被观察到。图灵测试在1950年提出了一个方法来检查机器如何表现得像一个人78年]。2000年,50年之后,有很多的争议之间的关系图灵测试和人工智能的发展79年]。然而,现在,如今DL技术的成熟发展,带来清晰的效率和效益,这并不是说聊天机器人像一个人是否重要。聊天机器人在医疗保健中的应用的一篇文章还提到,“人工智能需要通过实现游戏,不是模仿游戏”(80年]。服务行业的应用,如娱乐、社会服务和教育,暗示chatbot不应被视为仅仅是一个模拟的人,而是一个系统接口,可以在自然语言交谈,应该更方便人机交互。尽管研究表明,消费者通常喜欢与人聊天机器人相比,给予人类素质仍然可以有效地增强消费者体验(81年]。对于营销人员来说,这将是一个重要的问题主管之间的平衡任务和拟人化的热情响应。

7.4。局限性和未来的研究

第一个限制是数据源选择本研究从DI集体全球专利文献数据库

DI数据库的智能搜索功能使用自然语言处理和深度学习方法来帮助找到匹配用户的域相关的专利描述。与传统的领域搜索相比,这是一个很好的特性,可以帮助识别相关的专利更快和更准确。尽管如此,这限制了使用付费DI数据库综合专利集。第二个限制是,尽管数据驱动的本体建设方法研究了在这项研究中,仍然需要领域专家参与的整个操作框架的两个主要目的,关键术语提取和验证结果。在一个特定的领域,当搜索专利相关的词将出现在大量的专利文件。虽然TD-IDF向量化机制考虑术语的数量和所有文件的唯一性,聚类结果表明,每个集群仍然含有大量的常用术语。在主题建模的结果,这些一般条款相对应的主题聚类的结果,这间接证实了本研究方法的有效性。然而,即使我们构建本体的专利文件通过一个数据驱动的方法,我们仍然需要领域专家来验证其本体的正确性。此外,在解冻的施工过程,本研究还探讨了这些技术的应用和功能。相关条款中提到的这些场景专利数据但占领小数量的单词。这也是一个限制TF-based文本挖掘方法。

未来的研究将解决上面提到的问题。首先是扩大数据的来源。除了专利数据,Ribeiro-Navarrete et al。76年)提出了一个单反的学术文章或nonpatent文献分析方法。预计可能需要提供更全面的观点通过添加单反在未来的研究中,和单反的对比结果,patent-mining可以进一步调查。此外,如何更好地消除重复迭代在非结构化文档或其他方法将有助于使文本挖掘方法更关注在特定领域找到独特的代表条件。因此,从量化和相似性文本挖掘方法应用,达到极限,关键术语识别相关先进技术显然是非常重要的未来的研究。尽管上述局限性,在这项研究中,提出的框架分析的发展自然language-enabled chatbot定量支持数据,发现新兴技术并指出未来可能的发展方向,还全面和有效的。此外,这种方法和框架是普遍存在的,并且可以很容易地应用于发现在其他领域的新兴技术。

专利分析方法提出了研究用于探索自然的新兴技术和趋势language-enabled chatbot,可达到高一致性与学术研究中给出的提示。这项研究的方法论是不受限制的一个特定的领域,所以作者希望这种方法可以用作参考研究人员探索其他领域的新兴技术和趋势,以证明本研究的贡献。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究部分支持的科研补助金由科技部资助(批准号大多数- 108 - 2221 - e - 007 - 075 - my3)。作者也表达他们的感谢Yi-An苏帮助完善论文的插图。