文摘

从深度上优于聊天机器人对知识服务的出现,大量的研究和开发项目已经在各个行业进行的。高对聊天机器人的需求大大增加了全球市场规模;然而,有限的功能可扩展性open-domain聊天机器人产业是一个挑战,他们的应用程序。此外,正如大多数chatbot框架使用英语,有必要创建聊天机器人定义为其他语言。为解决这一问题,本文提出了KoRASA pipeline-optimization方法,它使用一个基于深度学习开源聊天机器人框架来理解韩国语言。KoRASA是一个闭域聊天机器人,适用于范围广泛的行业在韩国。KoRASA的操作由四个阶段组成:标记,featurization,意图分类和实体提取。的准确性和F1-score KoRASA测量基于数据集来自在大多数工业领域常见的任务执行。意图分类和实体提取的算法进行优化。的准确性和F1-score目的分类分别为98.2%和98.4%,97.4%和94.7%为实体提取,分别。此外,这些结果比通过现有的模型。因此,KoRASA可以应用于各种行业,包括移动服务基于闭域使用韩国聊天机器人,机器人过程自动化(战),边缘计算和互联网的能源(埃克斯波特学院)服务。

1。介绍

聊天机器人是通讯工具,可以用来实现一个目标通过自动化的对话而无需人工干预1]。类似于一个私人助理,聊天机器人被用于各种应用程序,如预订餐厅订位,协助购物,进行网络搜索。近年来,世界各地的许多企业增强其竞争力通过聊天机器人,因此,许多行业在韩国也在他们的服务介绍聊天机器人(2]。聊天机器人的全球市场规模快速增加,他们提供了一个很高的效益的需求。因此,大公司诸如Facebook、谷歌、和Naver已经开始提供chatbot服务作为他们的专业服务的一部分3]。例如,2016年4月,乔布斯推出App Store,八年后Facebook的马克•扎克伯格宣布启动Facebook Messenger平台,其中包括聊天机器人。在该平台上的用户数量已经达到了十亿,超过iPhone用户的数量存在启动的应用程序商店。

然而,应用open-domain聊天机器人不是有效的在每一个行业,因为有限的功能这些聊天机器人的可伸缩性。此外,正如大多数chatbot框架使用英语,有必要创建聊天机器人定义为其他语言。为此,本文提出了KoRASA pipeline-optimization方法使用基于深度学习开源聊天机器人框架来理解韩国语言。KoRASA,闭域chatbot,由四个阶段组成:(1)标记的一步,它将语料库为令牌,即。语言元素,不能进一步语法划分;(2)featurization一步,提取每个令牌的特性;(3)一个意图分类的步骤,把每个问题的意图chatbot;(4)一个实体提取的步骤,提取相关的实体问题的句子。在目前的研究中,在每个阶段进行优化实验对朝鲜语言理解。基于数据集反映了行业常见的任务,准确性和F1-score方法分别为98.2%和98.4%的意图分类和实体提取97.4%和94.7%,分别。因此,KoRASA不仅可以用于开发一个闭域chatbot韩国语言,而且对各种工业用途如移动聊天机器人服务、计算服务,和机器人过程自动化(战)服务。

本文的其余部分组织如下。节2,相关工作进行了探讨。我们提出的方法在部分解释工作3我们提供部分的实验结果4。最后,我们得出结论本文未来的研究方向5。

2。相关工作

2.1。聊天机器人框架

许多公司已开始引入和利用聊天机器人近年来,各种研究和开发项目进行改善聊天机器人的功能。Adamopoulou et al。4]介绍了历史、技术和应用的聊天机器人,和卡恩5]提出聊天机器人的体系结构和设计,聊天机器人发展的过程,从而提出聊天机器人研究人员和开发人员遵循的指导方针。图1显示了一个典型的聊天机器人的体系结构。当用户输入信息,目的是机密,一个实体提取的自然语言理解(NLU)组件。跟踪维护对话状态,而意图和实体(分类,提取了NLU)放入槽等待进一步处理。对话管理系统根据以往的行动,然后指定下一个行动行动的结果,和槽的内容。消息生成器将为用户提供了相应的反应。如果有必要从数据库中提取数据或URL,一个应用程序编程接口(API)用于通信、传输和接收。

Gwendal et al。6)建议Xatkit框架开发一个多通道low-code聊天机器人。Xatkit附带了一个运行时引擎,自动聊天机器人应用程序部署和管理定义的对话逻辑的平台选择。另外et al。7)开发了一个聊天机器人基于知识图,导致聊天机器人的出现能够学习不同的数据类型。此外,公园等。8对话框)开发了一个框架来开发系统在智能家居环境中。本体框架提出了面向任务的对话框所需的知识系统的过程中,可以建立一个对话框,系统通过编辑对话框知识。Reshmi和Balakrishnan9)提出一个接口框架提供客服聊天机器人。更具体地说,他们提出了一个集成方法与大数据知识库的聊天机器人可以使一代的动态响应用户的查询和提高分析能力的聊天机器人分布式环境的数据。通过以这种方式聊天机器人,开发人员可以创建定制的服务特定字段和提高公司的生产率。然而,因为这些研究提出的聊天机器人是基于框架被设计为特定的目的,他们的开发和使用范围广泛的行业是有限的。

2.2。自然语言理解(NLU)

NLU聊天机器人中使用的关键技术,涉及自然语言表达式转换成一个机器可读的格式。图2说明了NLU的体系结构。NLU的预处理阶段分为两个子阶段。第一个显微镜台下的标记,一个语料库分为令牌,这是一种语言的语法不可分割的单位。第二个显微镜台下的是featurization,每个令牌被提取的特征。在预处理阶段,目的是机密,确保用户的请求消息足够理解,和一个实体提取提供一个合适的回应。通过这个过程,可以开发一个用户友好的聊天机器人系统。

有两种类型的NLU [10:基于规则和deep-learning-based。基于规则的NLU取决于由人类特征提取,这意味着需要一段时间手动从样本中提取特征用户输入。此外,基于规则的准确性NLUs减少文件体积增加。Deep-learning-based NLU自动从数据中提取和学习特性。与现有的基于规则的NLUs相比,它使更广泛的上下文处理,也可以用于构建多通道模型与模型相结合,学习其他类型的数据,如图像和声音。因此,许多最近的研究积极采用deep-learning-based NLU。

例如,雷德福和纳史木汗11)进行了改进研究自然语言理解使用生成pretraining模型。刘等人。12)设计和开发多任务深层神经网络对自然语言的理解。焦et al。13)发明了一种机器学习方法比起使用流行的基于变压器技术伯特对自然语言的理解。NLU领域的研究,理解自然语言使用变压器的研究越来越受欢迎(14]。

在不同deep-learning-based NLU服务、路易斯·沃森谈话,API。人工智能,拉莎近年来被广泛应用(15- - - - - -18]。布劳恩et al。19评估这些NLU服务会话自动问答系统(见表1)。NLU服务共享相同的基本概念:用户可以训练意图分类和基于示例数据实体提取。绩效评估的NLU服务的聊天机器人,拉莎和路易斯实现了F得分为0.94,而沃森谈话和API。ai只取得了成绩分别为0.74和0.68。特别是,拉莎,一个开源聊天机器人框架,是一个强有力的框架,因为它允许用户轻松地开发machine-learning-based对话框的功能管理和自然语言理解。因此,在本研究中,我们采用了拉莎作为一个开源chatbot深上优于框架(18]。然而,拉莎是优化英语;因此,开发一个聊天机器人用于韩国产业,框架必须通过性能优化实验,检查管道中的不同阶段,使其理解朝鲜的语言。

最近,深度学习一直积极应用于各种工业以及NLU字段。奥谢和Hoydis20.)开发了一种新的考虑作为端到端通信系统设计的基本方法重建的任务。他们证明了卷积神经网络的应用原始IQ调制分类的样本。香等。21,22)提出了一个通用框架,基于深度学习移动和加密流量分类基于严格定义的里程碑。他们克服了以前作品的设计局限性预想的同时使用多通道和多任务技术。黄等。23)提出Gen2Vec搜索engine的操作框架发电厂使用深度学习。Gen2Vec可以知识体系的核心引擎电厂运营商和可用于搜索和电厂的chatbot服务操作程序和新员工培训。王等人。24)提出了一种基于深度学习整体概率风电预测的方法。他们可以有效地提取非线性和随机性质表现出在每个风力发电频率,而后者可以抵消不同的错误。王等人。25]提出的方法检测潜在的药物不良反应(adr)使用深层神经网络模型。他们不仅可以发现潜在的药物不良反应的药物还预测新药的可能的药物不良反应。罗马et al。26)提出了电池健康状况评估、机器学习管道提供见解的设计可伸缩的数据驱动模型电池SOH估计,强调价值的信心在预测范围。

3所示。KoRASA:管道优化开源的基于深度学习韩国的自然语言理解

3.1。管道结构KoRASA

KoRASA是一种优化方法,使用一个基于深度学习开源聊天机器人框架来理解韩国语言。KoRASA开发基于拉莎框架(18),它是一个典型的NLU过程,包括标记,featurization,意图分类、和实体提取,如图2。图3说明了KoRASA的管道架构提出了这项研究。记号赋予器使用Mecab的韩国版,采用数向量featurizer [27,28]。然后,双重目的实体变压器(饮食)用于意图分类和实体提取KoRASA [29日]。饮食能够快速学习使用一个共同的基准模型。然而,随着KoRASA旨在被应用到工业领域;重点不是模型的学习速度,而是其执行意图分类和实体提取的能力。因此,本研究的架构是通过调优参数优化。此外,实体提取的性能最大化,增加了映射函数使用同义词的实体映射器,与变压器嵌入对话(TED)政策应用18,30.]。

3.2。优化饮食结构模型(DIET-Opt)

图4显示了优化饮食模式的架构KoRASA (DIET-Opt)。我们将参数优化的拉莎博客KoRASA [31日]。令牌由韩国记号赋予器提取,然后通过前馈输入变压器层层。序列( ),这是变压器的输出层,成为序列( )实体标签和一个输入值的条件随机场(CRF)算法。如方程所示(1),实体损失( )可以使用CRF的负对数似计算。

CLS令牌( )和意图标签( ),指一个输入句子的句子编码,输入相应的嵌入层( , ,在哪里 )。此外,由于表达方程(2),这里使用的点积损失不仅最大化目标标签( )和相似性度量( )但也减少负样本( )和相似之处( )(27]。

标记包括面具标记,和价值观的输出变压器层前馈后层然后输入嵌入层。有两个嵌入层:一个嵌入层为掩模标记,另一个用于实际揭露的令牌。在实践中,15%的在每个序列输入令牌是随机选择的。总共70%的标记选择,取代它的是一个特殊的面具,面具令牌和10%的人被随机的令牌。剩余的20%,原使用令牌直接作为输入。如方程所示(3),变压器的输出( )对于每个选定的令牌( )提供通过一个类似于意图损失点积的损失。

最后,模型训练最小化总损失( ),可以表达的吗

虽然KoRASA的总体架构类似于饮食(DIET-Base)的基准模型,各种实验研究提高其意图分类的性能和实体提取过程。进行了一个实验来确定最优数量的时代最佳的性能。而不是传统的300时代,500时代采用最优数量。变压器的数量也从2增加到4层,而体重稀疏从0.8下降到0.7。嵌入维数增加20到30,和隐藏层大小从256增加到512,从而优化参数(见表2)。

4所示。实验和结果

4.1。数据集

在这项研究中,进行实验的数据集建立适用于大多数行业基于常见的任务。的意图分类实验中,总共有487数据集生成以下六部分:问候(打招呼),关闭(再见),菜单(Food_Menu),部门联系(Dept_Contact),分工(Pers_Work)和计算器(钙)(见表3)。

实体提取实验,共有3354个数据集生成以下七个实体:日期(日期),部门(部门)工作(工作),姓名(名称)、时间(时间),(Num)数量,缺乏实体(No_Entity)(见表4)。

4.2。预处理

如图2的预处理NLU标记可分为和featurization阶段。标记的,意图分类和实体提取的性能测量通过应用三分词器:空格分词器,转换记号赋予器,和韩国版本的Mecab [18,27,32]。数向量featurizer (CV)、回退分类器,DIET-Base,拉莎的三种基线模型推荐,被用作featurization算法,意图分类、和实体提取18]。分词器比较关于意图分类和实体提取性能。意图分类性能类似于编译器的。然而,对于实体提取空白记号赋予器和转换记号赋予器有一个0.073和精度F1-score 0.050,而Mecab记号赋予器更好的性能表现出了明显的精度0.989和一个F1-score 0.959(见表5)。

featurization,比较实验是由应用三个featurizers Regex Featurizer,词法句法Featurizer (LS)和计算向量Featurizer (CV),而韩国版本的Mecab记号赋予器(Mecab (Ko))被应用(18]。这些featurizers的组合应用,结果绘制的三大性能。的实体提取性能计算向量Featurizer 0.905 (F1-score)至少高出0.3%的Regex + LS +简历Featurizer和Regex Featurizer(见表6)。

4.3。意图分类和实体提取

进行对比实验确定的最优数量的时代构建KoRASA DIET-Opt模型(见图5)。精度和F1-scores意图分类和实体提取分析当模型与100年到900年时期的训练。在实验中,当时代数量设置为500,准确性和F1-score意图分类被发现是0.982和0.984,分别与实体提取被发现是0.974和0.947,分别。

KoRASA提议的意图分类器相比,本研究也与其他意图分类器在其意图分类和实体提取性能。为此,关键字分类器进行了一个实验,回退分类器,DIET-Base分类器模型(见表7)[18,29日]。绩效评估结果显示F1-score KoRASA为19.8%,0.3%,和0.4%更高的意图分类和3.9%,4.2%,和3.7%更高的实体提取比关键字分类器,回退分类器,分别和DIET-Base分类器。

意图的结果的一个例子对实验数据进行了分类混淆矩阵如下所示(见表8)。执行后一共有六种不同类型的意图分类、问候(迎接)和结束(再见)数据集被认为是由类似的话说,这意味着很难意图之间的数据集进行分类。然而,一些其他的数据集的意图,如菜单(Food_Menu),部门联系(Dept_Num)和计算器(钙),完全保密。

此外,KoRASA与其他实体的实体提取器提取器。一个实验进行比较的性能与CRF KoRASA DIET-Base和CRF (DIET-Base + CRF),和DIET-Base(见表9)[29日,33]。实验结果表明F1-score KoRASA为1.5%,1.2%,和0.4%更高的意图分类和4.2%,4.3%,和3.7%更高的实体提取比CRF DIET-Base + CRF, DIET-Base,分别。

模范进行实体提取的实验评估结果混淆矩阵表所示10。七种不同类型的实体提取的结果表明,我们的模型表明高精度等数值数据集的日期(日期)和时间(时间),以及专有名词等部门(部门)和工作(工作)。另外,名字(名字)数据集的性能较低的精度比与其他数据集。

了解每个阶段的优化性能,我们比较实验结果(1)之间的拉莎的基准模型;(2)优化预处理模型,其中包括标记和featurization阶段(KoRASA (PP));(3)模型和优化预处理,目的分类,和实体提取阶段,即。,该模型应用DIET-Opt (KoRASA (PP&IC&EE))(见图6)。与拉莎的基线模型相比,结果KoRASA (PP)模型展示了类似意图分类的性能。相比之下,实体提取性能增加了88.6%(精度)和85.5% (F1-score)。最后,模型KoRASA (PP&IC&EE)应用证明了意图分类相似的结果。相反,实体提取的性能(精度)和89.7%(增加了90.1%F1-score)。

5。结论

提出KoRASA作为深上优于开源chatbot pipeline-optimization方法框架旨在理解韩国语言。KoRASA是一个闭域chatbot适用于大多数行业在韩国。它由四个阶段(标记、featurization意图分类、和实体提取)和理解韩国语言进行了优化。标记阶段使用的韩国版本Mecab记号赋予器,和featurization阶段采用向量featurizer计数。意图分类和实体提取阶段,本研究开发了DIET-Opt模型通过参数调优和优化DIET-Base模型。根据我们的实验结果,我们的模型表明,精度98.2%F1-score 98.4%的意图分类。这些分数分别为19.8%,0.3%,0.4%高于关键字分类器,回退分类器,DIET-Base分类器,分别,这是受欢迎的现有意图分类器算法。关于实体提取,实验结果表明,我们的模型的准确性和一个97.4%F1-score 94.7%。因此,DIET-Opt模型有1.5%,1.2%,和0.4%更好的性能比CRF, DIET-Base + CRF,和DIET-Base模型,分别,这是受欢迎的现有实体提取算法。当意图分类和实体提取的结果绘制使用混淆矩阵,证实了方法的改进的性能在不同的数据集,除了问候(打招呼),关闭(再见),和员工姓名(名称)数据集,这被认为是由类似的单词。因此,我们确认的必要性,构建一个精确的数据集进行有效的chatbot培训。实验结果表明KoRASA不仅开发有用闭域chatbot韩国语言,而且对各种工业等领域移动聊天机器人服务,则互相配合服务,边缘计算,网络的能量(埃克斯波特学院)和智能电网。我们将应用KoRASA战Chatbot和优化其标记方法使用字嵌入对韩国语言。此外,我们将构建一个开放的数据集和开发一个自动优化功能,以适应更多的数据集。

数据可用性

没有数据被用来支持本研究。

的利益冲突

作者宣称没有利益冲突有关这项研究的出版物。

确认

这项工作是由韩国电力公司(KEPCO)。