文摘

为了提高数字档案的关键信息提取的影响,不同类型的关键信息提取算法的数字档案馆的设计。预处理数字档案信息,参与演讲和标志的关键信息。自组织特征映射网络用于数字档案的特点,提取关键信息和语义相似度计算结果获得通过结合特征提取结果。结合互信息集合,带上这个词互信息值集合分最高,遍历所有的关键词,以中心词为关键信息的数字档案完成关键信息的提取。实验表明,算法的召回率从96%到99%不等,关键信息的提取精度的数字档案馆在98%至96之间,平均萃取时间的关键信息的数字档案馆是0.63秒。实际应用效果很好。

1。介绍

一般来说,没有文化的自发阶段生产管理问题。文化生产和商业活动是商品经济的产物1,2]。当物质和文化生产开发在一定程度上,社会分工进一步澄清,和专业人士和专业团体从事文化生产出现,统治阶级和统治阶级试图用文化生产服务自己的阶级的利益,这是文化生产的意识阶段(3]。只有在文化生产的意识阶段文化经营管理可以把提上议事日程。在现代资本主义社会,一切都变成商品文化产品无一例外成为资本家的一部分,以营利为目的的特殊物品。绝大多数的文化活动限制商品生产的价值规则(4]。商业化的倾向的文化生产和文化活动已经成为一种普遍的社会现象领域的资本主义文化。市场经济的法则主导文化运营和管理活动的管理,以及质量管理的关键是特定文化产品的成功或失败的文化市场的自由竞争。尤其是随着社会经济的快速发展,不同类型的数字档案逐渐增加,这些都是社会文化的主要产品,为了更好地管理这些不同类型的数字文件,需要研究一个新的密钥不同类型的数字档案信息提取算法,提高数字方案的管理水平。因此,研究具有重要意义的关键信息提取算法不同类型的数字档案。

在数字档案、信息提取是一个重要的研究课题,文献[5)提出了一种数字图书记录质量数据快速提取算法。基于大规模数据属性的范围特点,数字图书档案数据的分布样本分为多个小区间实现数据分类。通过构造一个神经元模型,确定了错误的输出数据显示隐藏层和输出层的输出,每一层的重量和BP神经网络的调整。该方法构建了一个基于BP神经网络的快速提取模型和实现大规模的快速提取归档数据。文献[6)提出了一个基于TextRank和集群的关键信息提取算法过滤。首先,Word2Vec的关键信息提取和矢量化。TextRank是提高了构造图模型集成词特征值和边的权值,迭代收敛和稳定的图通过合并和集群形成集群。然后,集群质量评价公式为集群设计的过滤和TextRank应用形成最终的聚类。最后,注释集群的信息类型。测试文本,通过比较关键信息集群的心向量和向量距离信息类型,结合信息类型和关键信息文本的关键信息。文献[7)提出了一种隐马尔可夫模型基于一种改进的提取关键信息提取的算法。web文档转换成D0M树和预处理,提取和信息项映射到州和观察项映射到词汇提取。改进的隐马尔可夫模型用于提取关键信息的文本。文献[8)提出了一种基于词的关键信息提取算法向量和位置信息。单词学习向量向量表示模型的目标文档中的每个单词说,将潜在的反映语义关系词和词向量结合位置特征融合的PageRank得分模型,选择一些最热门词汇或短语作为关键目标文档信息,为了完成的数字档案信息提取的关键。文献[9)提出了一个关键的非结构化文本信息提取算法的知识数据库。六元组被用来优化隐马尔可夫模型,概率模型和平滑处理的不完整的训练样本。初始化和终止操作的观察值序列进行了发布在不同的时间来获得最优状态序列。解码后的观察序列,正序和反向序列的获得是通过比较他们过滤掉美国没有解码模棱两可和完全消除歧义。根据最大概率状态序列,定义的文本中提取关键信息和提取关键信息。

然而,上述关键信息提取算法适用于不同类型的数字文件,和效果并不理想,因为关键信息提取的边界是不确定的。因此,本文设计了一种新的密钥信息提取算法对不同类型的数字档案。首先,该算法将关键信息的主要类别,以词类和标志为特征,并介绍了自组织特征映射神经网络遍历的中心词集,从而实现快速、准确地提取关键的信号。通过实验验证了此算法的有效性。

2。材料和方法

2.1。数字档案处理

2.1.1。文本分词

在文化管理的过程中,有许多类型的数字档案。之前提取关键信息的不同类型的数字档案,有必要进行预处理数字档案的关键信息。预处理过程包括分词和标记。分词是指文本中的词进行分类和设置是根据类别,它奠定了基础的关键信息提取数字档案馆在未来10]。

之间的差异的分词过程逆向最大匹配算法和正向最大匹配算法的扫描逆向最大匹配算法从字符串的结束。每一个不成功的比赛直到匹配成功删除前面的词。然后双向最大匹配算法的基本思想是:当细分不同类型的数字档案信息,首先,远期逐字翻译的最大匹配算法应用于处理字符串,然后反向逐字翻译的最大匹配算法的应用,和输出结果是用来完成分词处理。假设双向最大匹配分词 ,算法过程可以描述如下:(1)首先取出第一个单词在 ,和搜索在字典里是否有任何单词作为前缀。如果有,拯救他们的话是11]。(2)把一个词从和匹配字典来确定是否有一个字作为前缀。(3)如果它不存在,分裂从字符串 ,最后一个字。(4)如果有,是否成词,计算数量由单词。(5)如果 ,分词结束一次(12]。(6)如果不是0,那么单词吗从并匹配字典来确定是否有一个单词前缀 。(7)如果是,步骤6。(8)如果它不存在,分裂 从字符串 ,最后一个字。(9)继续分词的字符串的 ,重复以上步骤,直到结束的字符串分割。(10)最后一句话在和匹配它在字典里找到是否有后缀的词 。如果是这样,将其保存为一个词标记(13]。(11)然后拿出一个字从并匹配字典来判断是否有后缀的词 。(12)如果它不存在,它分裂从字符串 ,最后一个字。(13)如果有,然后判断这个词开始计数的字数 ,所表达的 。(14)如果 ,然后分词结束。(15)如果不是0,拿出一个词从和匹配字典来确定是否有一个字 作为后缀。(16)如果是的,去一步(15)。(17)如果它不存在, 将减少从字符串和一个分词会结束。(18)继续从词分词的字符串 ,重复以上步骤,直到年底反向分割的字符串 ,以删除停止词。具体的实现过程如图1。

2.1.2。词性标记

词性的语法属性词汇,通常表明语料库词的类型。词性标注是指的过程和方法标记每个单词的词性。有些字包含多个词性,不同的词类和完全不同的表达方式14,15]。然而,一般来说,当一个词包含一个或多个词性,常用词类的频率远远大于其他词类,所以POS标签的准确性可以保证总体上和POS标记法可以应用于大多数应用场景(16]。条件随机域算法(CRF)在2001年拉弗蒂等人提出的。这是一个无向图模型结合隐马尔可夫模型和最大熵模型的特点。近年来,取得了较好的效果依次标记任务如分词、词性标注和命名实体识别,(17]。最简单的条件随机域之一是链式结构,在这种特殊的条件随机场,链结构是由几个字符标志。CRF模型中只有一个命令链,完全连通子图覆盖当前标记的集合和一个标记,以及任何子集的最大连通图的观察序列。在图所示的链接条件随机域2,顶点的集合可以被视为最大连通子图。

在序列标注任务中,随机变量 代表可观测序列、随机变量 代表相应的标记序列的观察序列18],链接条件概率分布的随机变量是:

在上面的公式中, 是边缘的状态特征函数和捕捉标记转移特性。 为每个节点是一个非负的因素。 是国家的功能函数,捕获的当前标记功能优势。和正在学习模型参数(19)表示,特征函数的重量。只依赖一种规格化因素在观察序列。具体计算公式如下:

条件随机场的推理是指寻找标记序列 对应于最可能的一个给定一个观察序列 。分布函数的条件随机域,规范化的因素是完全独立的标记序列(20.]。因此,考虑到模型参数,最可能的标记序列可以表示为:

当当前序列位置和当前的标签 ,该算法可以用来获得最优的非规范概率值标签序列的当前位置。递归的形式是:

2.2。关键信息特征提取的数字档案

自组织特征映射神经网络是神经网络专家教授提出的自组织特征映射网络的赫尔辛基大学,芬兰在1981年(21]。这个网络模拟大脑的功能的自组织特征映射神经系统。它是一种竞争学习网络,可以进行自组织学习无监督学习(22]。本文使用这种方法来提取关键信息特征不同类型的数字档案。这可以提高从档案中提取关键信息的准确性和效率。

自组织特征映射神经网络的结构如图3。

我们在输入层神经元的个数 ,和在竞争层神经元的数目 。输入层和竞争层组成一个二维平面阵列。两层连接,有时在竞争层神经元之间也有边缘的抑制(23]。有两种类型的网络连接权重,一个是神经元的连接权值响应外部输入,另一个是神经元之间的连接权值,其大小控制神经元之间的相互作用的大小(24,25]。

在竞争层神经元的连接每个输入神经元的自组织特征映射网络结构如图3是提取,如图4。

设置网络的输入模式 和竞争层神经元向量 。在哪里是一个持续的价值和是一个数字量。神经元之间的连接向量竞争层神经元的输入层 。

自组织特征映射网络的自组织学习的过程也可以被描述为:对于每一个输入的网络,只有一部分的重量调整使权向量接近或更偏离输入向量。这个调整过程竞争学习。持续学习,向量空间中向量是所有权分开,形成一个类表示输入空间的模式,分别自动特征识别的聚类功能的自组织特征映射网络。网络的学习和工作规则如下:(1)初始化分配网络连接权重随机值 , 在区间[0,1]。学习速率的初始值 , < 1。确定初始值的社区 。社区本质上是一个地区集中在获胜神经元和包含多个神经元。这个区域通常均匀对称,通常一个正方形或圆形区域。的价值代表神经元在附近的数量 - - - - - -学习。确定研究的总数 。(2)其中的一个学习模式 , 提供网络的输入层和规范化。具体计算公式如下: (3)正常连接权向量 和之间的欧氏距离计算和 。的计算公式如下: 之间的欧氏距离和可以通过以下公式计算: (4)找到最小距离并确定获胜神经元 。 (5)调整连接权值,并修改所有神经元之间的连接权值附近竞争层神经元的输入层。具体公式如下: 在上面的公式中,学习速率的时刻吗 。(6)选择另一个学习模式提供给网络的输入层,回到步骤(3),直到所有学习模式提供给网络。(7)更新的学习速率和邻居 。 在上面的公式中,是最初的学习速率,是学习的数量,然后呢是学习的总数。假设某神经元的协调价值在竞争层的二维数组 ,然后邻居是点的范围 和点 广场的右上角和左下角,和修改的公式如下: 在上面的公式中,是积分函数。(8)让 ,返回到步骤(2),直到 。

2.3。数字档案的关键信息提取算法

关键信息提取的过程中,在数字档案有效地提取关键信息的数字档案,不能单独理解数字档案的单词,和单词或相似的数字档案相关单词组合成一个块,全面了解整个文本内容和每个词的确切含义。因此,单词之间的语义相似度作为聚类的距离。一个单词的所有semanemes将形成一个层次结构类似于树根据他们的上部和下部之间的位置关系,通过遍历树。最后,单词之间的距离可以用来判断词义的相似性。距离的公式计算词如下:

在上面的公式中,和代表两个学期,变量参数。 代表两个词之间的路径的长度的一个字。语义描述概念的起源分为四个部分:第一个基本语义来源、象征性语义来源,关系语义的起源,和其他独立语义来源。整体概念之间的相似性是由下列公式计算:

在上面的公式中,和代表两个概念,代表了特征提取的结果。如果有两个单词和在一组,其中词有概念描述和词有概念描述,最大相似性的概念和可以使用这两个词的语义相似度,计算公式如下:

数字档案的关键信息提取算法过程如下:

预处理:数字档案文本分词,词overconsideration停止。步骤1:计算所有候选词和语义相似性和在数字档案文本 。(1)TF-IDF值计算,词 与词频大于阈值被选中的候选关键字的信息。TF-IDF值的计算公式如下: 在上面的公式中,是这个词出现的次数在当前数字化档案文本,是数字化档案文本的总数,是数字化档案包含这个词的数量吗在数据库中。(2)在初始化期间,每个单词在候选词一个集群 ,总共集群,它们都与unaccessed标记集。(3)在所有集群non-visited词,选择集群 最大的相似性,即最接近的距离,通过计算最大的价值 。如果 小于给定的阈值,转到(6);否则,合并后的集群和新的集群 。设置为当前集群 , 没有访问国旗,和访问标志。(4)计算语义相似度在所有集群unaccessed词,和转让(4)。(5)聚类后,第一个话说每个集群的选择更好的质量作为最后的关键信息,以获取候选词集 。步骤2:把每个单词在文本中作为一组 ,总共集(在文本的字数)。步骤3:选择两组和从最大的相似之处集,并结合两个集合到一个新的集合 。第四步:选择当前设置的中心点:计算互信息和当前集合中的词和句话说外集合,并选择这个词最大的互信息值作为中心点的当前设置。如果单词之间的互信息计算值很大,这表明他们也相对较大,相反,它表明他们是相对较小的。之间的互信息和 ,也就是说,公众之间的信息和 ,计算如下: 在上面的公式中, 常见的频率和 , 是不同频率的 ,和是不同频率的 。根据上面的公式,当 ,值越大,越之间的公共信息和和较强的相关性;当 ,之间有更少的公共信息和和相关性较弱;当 ,没有相关性和 。第五步:在句话说外设置,选择最高的词相似的中心点集。如果相似度值大于阈值,将其添加到当前的设置 ;中心点之间的互信息计算当前的设置和外的词集,并添加这个词的最大互信息值当前设置 。第六步:将步骤4更新当前收集中心点,直到所有访问。如果中心点之间的互信息值的设置和句话说外设置小于0,执行步骤3对剩下的遥不可及的词语,直到所有访问和分裂。第七步:在最后的集群设置,选择第一个中心词作为文本的关键信息。关键信息提取算法的不同类型的数字档案如图5。

3所示。结果与讨论

3.1。实验方案

为了验证本文算法的有效性设计提取档案的信息,我们进行了仿真实验。这个实验是模拟实验,因此有必要设计实验参数,考虑各种因素,比较不同类型的仿真软件和电脑,并完成仿真实验环境参数的设计,如表所示1。

实验期间,500 GB的数字档案被随机选择从学校、企业和有关行政单位作为数据集,450 GB的他们被随机选为训练集训练这个方法。剩下的50 GB作为测试集,测试的关键信息提取不同类型的数字档案馆的性能。为了确保实验的客观性,标题和核心提示将会被过滤掉的过程中提取关键信息。召回率和准确率通常作为指标的关键信息提取的影响不同类型的数字档案。召回率和准确率在这个实验中采用定义如下:

在上面的公式中,代表的数量提取关键信息,表示关键信息的实际数量。

在上面的公式中,代表的关键信息准确提取。

耗时的计算公式中提取关键信息的不同类型的数字档案如下:

在上面的公式中,代表所花费的时间 - - - - - -数字档案馆的关键信息提取步骤。

3.2。实验结果的分析和讨论

召回率的关键信息提取不同类型的数字档案文献[5)算法,文献[6)算法,文献[7)算法,本文的算法进行了比较。结果如图所示6。

通过分析数据在图6,我们可以看到,召回率的算法在文献[5)的变化范围的58% - -85%,召回率的算法在文献[6)的变化范围49% - -79%,召回率的算法在文献[7)变化的范围50% - -87%。与实验比较算法相比,本文的算法变化的召回率在96% - -99%的范围,这始终是高于实验比较算法,结果表明,数字档案馆的关键信息可以通过使用这个算法,提取的综合和完整性较高。

关键信息提取精度的不同类型的数字档案文献[5)算法,文献[6)算法,文献[7)算法,本文的算法进行了比较。结果如图所示7。

通过分析数据在图7,我们可以看到,关键信息的提取精度的数字档案文献[5)算法是49% - -85%,关键信息的提取精度的数字档案文献[6算法是54% - -80%,数字档案馆的关键信息的提取精度的参考(7)算法是56% - -80%。与这些算法相比,数字档案馆的提取关键信息的准确性,本文的算法是96% - -98%。总的来说,这个算法的关键信息提取精度相对稳定,而且没有波动的过高或过低,这表明该算法在提取关键信息的可靠性高。信息提取的精度较高,可实现的终极目标准确地提取关键信息不同的数字档案。

提取关键信息的不同类型的数字档案文献[5)算法,文献[6)算法,文献[7)算法,本文的算法进行了比较。比较结果如表所示2。

通过分析结果表2可以看出,数字档案馆的平均耗时的关键信息提取文献[5)算法是1.41秒,数字档案馆的平均耗时的关键信息提取文献[6)算法是1.39秒,数字档案馆的平均耗时的关键信息提取文献[7)算法是1.49秒,这是最高的在四个算法。与这些算法相比,平均萃取时间的关键信息的数字档案在这个算法是0.63秒,缩短提取时间和更高的效率,并能实现快速提取关键信息的数字档案。

总之,这个算法变化的召回率在96% - -99%的范围,数字档案馆的关键信息提取的精度是96% - -98%,平均耗时的关键信息提取的数字档案馆是0.63秒。它可以实现快速、准确的目标提取关键信息的数字档案,解决传统方法中存在的各种问题,并且可以广泛应用于许多领域。

4所示。结论

与文化的不断优化经营管理策略、文化经营管理水平逐步提高,和数字档案管理是文化的一个重要组成部分的操作和管理。因此,提取关键信息的不同类型的数字档案具有重要意义的文化经营管理水平。因此,本文设计的关键信息提取算法不同类型的数字档案文化经营管理。实验结果表明,算法的召回率在96%至99%之间,数字档案的关键信息提取的精度是96% - -98%,平均耗时的关键信息提取的数字档案馆是0.63秒。它可以实现快速、准确的目标提取关键信息的数字档案,可以广泛用于文化经营管理,以提高文化经营管理质量的最大程度,促进文化产业的进一步发展。然而,这个算法的收敛是没有测试的过程中操作。为了避免陷入局部最优,有必要提高优化算法的未来研究工作以避免太多的迭代或高错误。

数据可用性

数据集可以在访问请求。

的利益冲突

作者宣称没有利益冲突。