文摘
检测综合线索,提供更准确的预测财务危机的早期阶段,除了财务指标,数字化的冗长但不可或缺的文本信息披露,如管理层讨论与分析(命名),强调了研究人员。然而,大多数研究把长文本分为文字和计算单词将文本视为字数向量,将大量的无效信息,但忽略了有意义的上下文。旨在有效地代表大尺寸的文本,一个端到端的神经网络模型提出了基于分层self-attention在这项研究中引入先进的pretrained模型用于文本嵌入包括上下文。该模型有两个显著的特点。第一,分层self-attention只提供高权重的本质内容,也能进行字面意思,自动忽略了大量的信息,没有业务与风险预测,适合大规模的提取有效部分文本。第二,微调后,嵌入适应这个词的具体环境样品和更准确地传达了原文表达没有过多的人工操作。实验证实,添加文本提高财务困境预测的准确性和该模型优于基准模型更好的AUC和F2-score。可视化,权重矩阵中的元素层次self-attention作为标量来估计每个单词和句子的重要性。通过这种方式,“红旗”声明,这意味着金融风险是发现并强调了在原始文本,为决策者提供有效的参考。
1。介绍
金融危机是一个全球性的重大问题对所有利益相关者的关注。它通常带来大量的损失有关各方(1,2),这是一个严重威胁到全球经济的稳定系统(3]。由于避免损失、节约成本和风险管理,强调财务困境预测潜在投资者,管理者,政府官员和其他决策者(4]。科学和信息预测模型是迫切需要的。
财务困境预测是一个典型的二元分类。大多数以前的研究集中于应用程序的机器学习的方法来获得洞察财务指标作为线索发现财务风险。模型建设,一方面,经典统计和机器学习方法应用于工程特点和分类,如朴素贝叶斯(5,6),支持向量机(SVM) [2,7,8整体学习,包括基于决策树的梯度提高决策树(GBDT) [9- - - - - -12),随机森林(RF) (13,14),极端的梯度增加(XGB) [13,15),和自适应增强(演)16,17]。另一方面,各种深度学习模型也用于建模(18),如遗传算法(GA) [6,19],卷积神经网络(CNN) [20.,21),和自组织映射(SOM) [22]。简而言之,各种模型用于利用所代表的风险信息有限的财务比率预测金融危机。这种类型的研究已经相当足够了。
财务比率计算,按照一个特定的框架中,为该公司提供一个机会来粉饰财务状况在有限的范围内(22]。例如,财务陷入困境的公司更倾向于承担利息收益管理和更少的实际收益管理(23,24]。本质上,预测仅仅覆盖财务指标忽略了经济环境和最近的业务决策反映在其他披露。总之,财务数据所传递的信息是有限的;这仍然是一个挑战性的任务,要准确预测财务风险。
随着人工智能(AI)的发展,在财务和会计领域的专家致力于集成异构海量信息的设备与强大的计算功能,以便更准确地预测金融危机(12,14,17]。相关研究证明文本融合的好处更准确的识别财务危机(4,5,25]。因为所有上市公司遵守结构规则披露年度报告,大多数文本信息类似于对方除了命名。命名与财务困境预测密切相关,因为它提供了投资者的审查公司的业绩以及未来潜在的从管理的角度来看14,25- - - - - -27]。因此,它是合理的从命名中提取文本表示的非金融信息补充。然而,多变的语义信息和非结构化冗长内容命名为文本表示严重的障碍。
已经有一些范例量化文本。大多数相关研究利用bag-of-words文本表示方法(5,13,14,25,28]。这意味着这些研究将文本视为一组分散段或孤立的词,计算所有条款根据字典来表示文本字数向量。然而,它忽略了上下文隐藏在单词和句子。相反,字嵌入通过设计神经网络(或pretrained神经网络)保持文章的完整性,使其可用于语料库中的上下文转换成数字张量(26,29日,30.]。而训练文本嵌入神经网络根据特定的数据集,pretraining模型与更复杂的结构标准训练大规模语料库,与更强大的文本表示能力。在一个特定的自然语言处理任务中,文本嵌入自适应调整后获得一个特定的数据集pretrained模型。然而,在这一领域,很少有研究采用先进pretrained神经网络的端到端对财务困境预测文本表示。通过这种方式,双向编码器陈述变压器(BERT)介绍词嵌入在书房里。
每个单词后文本向量表示为一个词,另一个重大挑战是长序列的信息是很难记住的。在前面研究文本分类,大多数研究[31日,32)作为文本的单词和把RNN的输出序列和LSTM作为文本的表示。一般来说,多个隐藏层RNN和LSTM被认为记录的上下文信息,总结的最后一个隐层的输出。然而,对于漫长的文本信息,由于梯度扩散和梯度爆炸,这种模式往往会忘记前面的文章中的信息。相比之下,注意力是更好的在长序列的分类文本33,34]。只有关键信息提取更多的权重分配。虽然关注不考虑的顺序词在文本中,它所表达的是补偿的文本嵌入pretrained模型,通过记录每个单词的位置。
旨在有效地表达大尺寸的命名和提供额外的线索发现财务困境,层次关注神经网络(汉族)提出了研究。自命名的长度通常是1000多个汉字,是不现实的处理整个文本作为一个冗长的句子。我们利用相关研究的分类层级,长文本分割成句子,提取每个句子的重点关注,并通过平均单词表达句子向量向量。句子向量的基础上,关键句子再次提炼成文本向量的信息的关注。这样,整个文本的要点是有效地表达文本向量。这个文本分类设计特别适合的处理冗长的命名。基于原始文本和财务比率分析的结合,综合实验证明该模型优于其他基线模型训练字数向量或在AUC和财务指标F2-score。
我们的主要贡献财务困境预测证明如下:
预测模型,字嵌入后,一个框架基于分层self-attention神经网络,提出了胜任大尺寸的二进制文本分类。上下文信息嵌入在高维伯特的张量。然后,注意有效地提取必要的信息层级结构在水平这个词和句子的层次。随着财务比率,作为命名的风险信息更有效和全面的提取,财务困境的预测能力增强。
决策支持和风险预警,考虑到可视化和解释,关注的权重矩阵作为标量估计的重要性语言特征的词和句子水平。在一篇文章或一个句子属于一个示例涉嫌风险,句子和单词得分越高将显著和突出红旗段。网络参数学习的注意力被视为财务陷入困境的披露的上下文共性。对于每一个样本的输入,这种机制改进和标签主题演讲关于风险预测,为决策者提供直接参考。
2。文献综述
金融危机的定义有不同的看法。奥特曼(35)首次提出了多元判别分析建立财务危机预警模型,并提出了Z评分模型来评估公司破产的可能性。海狸(36)定义了默认的优先股息,拖欠债务的财务危机。奥特曼定义了一个金融困境法律破产业务。迪肯(37]承认只有经历了金融危机的公司,破产或清算的债权人在财务困境。卡迈克尔(38)将金融危机视为义务的破坏形式的流动性不足,不足的股权,债务拖欠,或资金不足。中国a股股票市场,上海和深圳证券交易所宣布4月22日,1998年,他们会特别对待(ST)的上市公司股票交易异常的财务状况。主要是指两种情况:一是上市公司的净利润审计-连续两个会计年度,另一个是每股净资产审计低于面值的股票在最近的财政年度。通常,名为ST上市公司面临严重的财务恶化,作为金融危机的迹象。中国上市公司财务困境的定义使体重在债务违约的盈利能力,更加谨慎。
基于覆盖指标,研究财务困境预测可以分为两类;有两类构造预测模型。一方面,金融信息是简单地转化为财务比率,有密集的研究基于机器学习的工程特性和分类10,16,20.,39- - - - - -41]。然而,财务报表欺诈常常犯下巧妙地修改财务比率甚至合法(24]。实际上,全球金融欺诈活动发生在过去的二十年里估计金额高达5.127万亿美元,相关损失增加56%在过去的十年里26]。它仅仅不够令人信服的采用财务比率预测金融危机(23,24]。另一方面,更多的研究开始关注非金融信息合并财务比率预测金融危机达到更高的精度。非金融信息,主要是文本信息披露,已被证明在财务困境预测中发挥重要作用,如致股东的信(28),命名(5,14,26,27,29日从年度报告),或情感4,14,26),作为补充金融数字信息由财务比率。
有方法来完成任务将文本表示为字数向量。彭et al。27致股东的信)分析建立一个袋子的话(鞠躬),计算词向量,并提出财务困境预测的方案。Hajek和戴安娜5)处理计算情绪与随机子空间方法对财务困境预测作为附加的功能。此外,word2vec是比较先进的基于人工神经网络模型,每个单词的编码序列嵌入向量,包括上下文(42]。记录顺序信息,RNN允许保留每个段的输入序列作为上下文,这是广泛应用于自然语言处理(NLP)。多空词记忆(LSTM) [43)是一种特殊类型的RNN,组成不同的盖茨决定遗忘或更新相应信息,使长期依赖关系。基于这些技术,梅等。29日)采用浅层次的神经网络用于文本嵌入和RNN申请文本分类。此外,Du et al。10]应用pretrained word2vec字嵌入的神经网络,采用模型基于双向LSTM (Bi-LSTM)对风险的预测。然而,输入序列是接受RNN的时间越长,越有可能训练无法记住文章的前面一部分由于梯度消失或梯度爆炸。因此,多空时间内存(LSTM)改进RNN的基础上,试图捕捉更多不相邻的语义信息通过文本序列的细胞状态。尽管LSTM介绍大量的参数,以换取更多的表达式的长度,其表达效果上长文本仍然是有限的。
除此之外,有两种方法来集成信息来源于公开文本和定量金融比率。第一种方式是直接结合文本和财务指标的数据集(4,5,25,26]。后者一个类似于整体学习,再加工分别学习文本信息和财务信息29日),而不是流行的财务困境预测融合文本。
3所示。方法
这项研究的目的是将文本表示和财务比率预测金融危机。一般来说,财务比率分析是结构性的数据,不需要过度的预处理。相比之下,非结构化文本解析从年度报告需要清洗和转换成数字进一步张量。
大多数的命名超过1000字。本文需要拆卸成句子时间分布的级数,然后对每个部分进行编码。然而,即使这篇文章被分成许多句子,记忆长度的卷积神经网络(CNN, LSTM等)是相当有限的。因此,本文提出了一种预测模型基于层次self-attention字嵌入pretrained模型后,伯特。由12个编码器和译码器,伯特总结这个词序列通过位置嵌入每个组件。
提出分层框架获得最终的文本表示平均文句上向量在每个句子向量是一词的总结向量。Self-attention将片段最相关的其他部分作为重要的信息,作为一个典型的有效的方法来处理长序列。随后,财务比率和密集的文本向量相结合作为最后的表情,然后被完全连接层的积极(金融危机)和消极的(没有金融危机)。该方法的流程图是显示在图1。
3.1。分层文本表示关注
层次的关注(汉族)多级结构是一种有效处理过长文本信息的框架。框架设计的灵感来源于杨et al。44]。一方面,分层建设将文本与大尺寸划分为小块,可以准确地计算。另一方面,模型适应上下文相同的单词,甚至同一句子不同在不同的文章。此外,它赋予每个单词或句子具体表达式根据特定的语境。层次化的体系结构如图的关注2。
3.1.1。句Self-Attention
这是句嵌入的方法获得字面意思向量。输入是分散孤立的汉字没有广泛的标记。表示输入字符句子的 , ,在哪里表示一个句子的最大长度编码。
扩展点积应用于生成self-attention。权重的值( )是通过计算查询的扩展点积(问与所有键()K)。也能进行关注,查询表示嵌入句子中的每个单词嵌入式伯特, ,和=和价值 。方阵的权重 参数是在线性网络训练。
点生产矩阵的元素措施之间的相似程度,这个词嵌入空间中两个词。表示嵌入维的单词。假设总结的句子吗 ,奖励关键字权重,用更少的重量而倾向于忽视无用的单词。是最后的字面意思意思的词向量的向量rerepresented这个词的注意呢 。
3.1.2。能Self-Attention语句
方法总结文句上向量作为最后文本向量类似于如何完善句输入能输入语句。文本样本组成句子的查询吗 ,等于键和价值观 。方阵的权重 参数是在线性网络训练。中的元素点生产本文两个句子之间的相似度的措施。表示句子的嵌入维度。它被认为是表示re-represented所有文档的句子中包含的信息 。通过这种方式,能注意语句基本句子赋予更大的权重。是最后的文本向量所代表的意思是所有的字面意思在句子注意矩阵向量 。
随后,该模型以文本向量生成的字面意思表示作为输入连接财务比率。
3.2。解释
soft-max功能正常化的行后,在对称矩阵元素的点积许多词语在句中向量之间的相似之处 。如果大多数单词句子像某个词 ,这个词被认为是关键字。元素之和列或行矩阵的 , ,被认为是重要性分数评估经常这个词吗引用的句子 。值得注意的是,主对角线上的元素是排除在评价。
相同,每个句子的重要性的评估本文还遵循上面的评价。列中的元素的总和在矩阵 , ,作为句子的重要性得分来衡量频率援引另一个句子。
为了发现重要的句子包含在一个文本的主要思想,句子的重要性得分排序,用高顶级句子应该关注决胜局如果样品标以金融危机。如果决策者将检查句子的关键词打上了 ,这些话与过度的分数应该突出显示。
4所示。实验
数据集应用于该模型包括文本的命名和财务指标。一般来说,有两种类型的上市公司,包括公司特殊处理(圣,阳性样品)和正常公司(non-ST,负样本)。马克是合理的上市公司作为正样本名为圣或直接退市与金融危机未来一到两年。此外,正面和负面的比例样本的原始数据集1:12。财务困境预测是挑战性的这样一个严重不平衡数据集。这个实验应用随机采样。通过减少负样本的数量,更多的特性来源于积极的样本可以注意到模型。
的核心任务是为财务困境预测结合的多源信息,在其中一个困难是数字化文本信息与财务比率,结合文本表示。该模型比较与基线模型字数向量来表示文本的比较实验。此外,为了现在的信息融合的好处,财务数据简单的实验也进行了。
以下是试验的实现细节。设备的类型的图形处理单元(GPU)应用于本研究是NVIDIA泰坦XP。在处理文本的过程中,一批培训需要4的时代2的值。参数微调,分层学习速率也采用了, 仍被证明是最好的学习速率pretrained模型,和自定义网络的学习速率是0.001。文本编码的辍学比例略有增加,积极有效地改进了样品的回忆可接受的精度。
此外,10倍交叉验证是用来确保没有暴力波动hyperparameters设置下的泛化性能。部分4.3显示测量值的平均值在所有部门的数据。
4.1。数据
这个实验中的数据包括两部分,财务指标和文字命名。文本和数字比率直接结合在一个数据集。
毕竟,样品与金融危机非常少。在这项研究中,有860个正样本和11140年负样本的原始数据集表中列出1。积极的样品(金融危机)的比例负样本是1:12。财务比率和文本信息披露包括在这项研究来自上市公司在上海和深圳证券交易所市场从2012年1月至2018年12月。
以下4.4.1。不平衡的治疗
学习者将下降的影响与严重不平衡数据集(7,10,45]。有必要预处理不平衡训练集。在这项研究中,特定多数,负面的标签样品也减少了基于随机采样技术(俄文)。最后的样本分布在桌子上2。
4.1.2。文本数据
上市公司年度报告从中国官方下载信息查询站中国证券监督管理委员会指定的信息,最早的证券信息专业网站,覆盖3700多家上市公司在上海和深圳证券交易所市场。
非金融信息、命名是从年度报告中提取的。一般来说,除了财务指标计算的财务人员,命名显示了公司的前景管理的期望。假设披露的叙述暗示该公司的治理或发展趋势5,25,27]。
值得一提的是,为了防止过度拟合,所有公司名称和地理位置被停止过滤掉单词的文档列表。对于线性模型或决策树模型,弓是用来量化文本。模型的提出在这项研究中,原始文本没有广泛的处理直接进入作为输入。然而,命名的规模过于庞大,其中大部分都超出了512个字,超过了最大长度的天真伯特。如果所有的文本在一个样本被视为一个句子截断在512字,这意味着一些基本内容会有所下降。因此,有必要将文本划分为层次水平,句子和单词,中间级更多信息。由于硬件的限制,只有1000个字符或少初的文档进入该模型。每个文本上演到20在50个单词的句子。
4.1.3。定量数据
定量的财务指标被下载从中国股票市场和会计研究数据库(CSMAR)。基于先前的研究[5,10,12,24),考虑到48个财务指标,包括偿债能力、比例结构,操作,盈利能力,现金流,风险,发展,每股的指数。偿债能力和现金流描述一个公司的短期和长期债务的偿还能力,以防止破产。结构比例显示了公司的价值构成。操作和盈利能力评估公司的运营效率和性能。风险措施的多个小利润收入的变化会导致一个巨大的变化,由于固定成本的存在。开发能力是指公司扩张的速度。
4.2。指标
财务困境预测被认为是一个二进制分类。有四个预测结果,真阳性(TP),假阳性(FN),真正的负面(TN),假阴性(FN)。只有TP表示正确的表现来确定样本以金融危机为阳性,而FP表示错误的表现来确定样品没有金融危机看作是积极的。相应地,TN表明正确的表演来识别负样本为负,和FN表示错误的表演为负的错误阳性样本。
识别的财务困境,积极样本的召回是至关重要的。在这项研究中,模型性能评价指标的组合,包括AUC,精密得分,召回率,F1-score,F2-score阳性样本。的F分数是精密的结合(真阳性的比例确定的分类器的正样本)和回忆(确定的比例正样本所有积极的样品)。
因此,F分数衡量准确和谨慎的分类器的性能。Craja et al。26]估计忽视积极的样本的成本与财务问题两倍的成本把积极的负样本。有效的模型应该专注于积极样本的更高的回忆。是很自然的强调,回忆比在财务困境预测精度至关重要。本研究采用F2-score作为补充F1-score。此外,AUC评估等级的能力正样本和负样本在正确的顺序10),也作为一个指标。
4.3。比较实验结果
多组对比实验是进行这部分。一般来说,有两组,模型对金融数据和模型结合财务比率和数字化的文本。实验的结果,财务数据作为基准来展示不同的学习者的进步后添加文本功能。典型的基线学习者,包括线性模型(LR, SVM),基于决策树的模型(XGB、射频和演算法),和多层感知(MLP)作为比较模型。
所有学习者的性能的评价指标在不同的数据集部门报告。多组训练集和测试集生成与几个随机种子,以减少偏见的过度拟合的特定的分裂。
4.3.1。财务比率分析建模上
48个财务指标的基础上,控制模型的学习结果如表所示3。正如上面提到的,除了AUC,应该集中在什么是积极的学习者的识别指标样本,回忆,和F2-score。对于这些指标,基于决策树的模型执行更高的AUC,召回。尤其是XGB优于其它模型的AUC,回忆,和F2-score。尽管线性模型、LR和支持向量机,取得了更高的精度,他们离开了过度积极的样品,不能作为合格的学习者在这一领域。此外,安是由两个编码器。每个编码器包括两个线性层和一个完全连接层。从结果,安的性能接近线性的学习者。
4.3.2。建模的财务比率和数字化文本
中间级是本研究的核心财务指标和文本预测金融危机。典型的方法将文本包括弓和词通过神经网络嵌入。弓计数在每个文本根据词频词典被卡方检验和词合并。弓作为基准的方法。的财务比率分析结合数值词频向量和向量进入基准学习者。
与pretrained模型相比,弓,伯特来表示文本,比较实验结果如表所示4。
添加文本特性后,所有模型的影响已得到改进,除了射频。观察到的是,所有模型一致最引人注目的进展F2-score。当关注AUC和F2-score该模型实现最好的结果,82.18%和71.41%。可以得出结论,当F2-score,权重的召回率,被认为是金融危机的核心指标预测,该模型表现最好。当处理完整的原始文档文本与错综复杂的内部关系,深层神经网络解释(款)提供实质性的改进的复杂性和发现更多的共性共享的阳性样本。我们建议的模型,伯特+汉,被证明是一个有前途的替代方法的性能在一个更高的回忆,这是强调利益相关者。
4.4。解释示范
根据假设,公司面临财务困难有一定的披露的文件上下文共性而不是简单的单词的频率。这些共享的特性进行了总结,被精心设计层次的注意机制。
在这里,重要的句子和单词的识别在面临金融危机的一个示例。在文本级别的注意,矩阵的每一行被规范化。每一列的总和被认为是总引用分数,换句话说,这句话的重要性的列索引。例如在图3句子的序号1 4和10是评估和最高的分数。同样,每个句子的主题演讲也选择和用深点的颜色突出显示。文本级别的关注和标记文章显示在图3。由于空间的限制,句注意矩阵不是图片所示。由于文本是清洗,句子与单词的总数少于50合并,序列号对应于清洗文本,不得与原句一对一的对应。
该模型不仅提供了一个更强大的财务困境预测能力,而且两步注意机制提供了一个可参考的决策者。视觉标记可疑的单词和句子为潜在的金融危机提供线索。
5。讨论
关于新信息的文本信息披露作为财务指标的补充,一个基本前提是,它包含的信息并不是体现在后者,比如管理的见解和期望公司的前景。此外,面临财务困境的公司在披露潜在的类似的上下文特征,很难像财务指标进行修改。我们的工作证实了这一点,通过分层的设置关注网络,探索上述上下文特征已经被完成。
我们的研究介绍了pretrained模型伯特文本表示的强大能力,采用分层的注意机制来拆卸超长文本表示和培训一些短句子,最后,结合了文本向量和财务困境预测财务数据。从实验结果,我们提出的模型比所有的AUC和基准模型F2-score强调。实验证明原始文本隐藏的背景下金融危机的线索。如果检测到这些线索,他们有效地提高预测财务困境的能力。
进一步认为,平原word2vec基于浅神经网络和bag-of-words也许有限制在处理大尺寸的文本,并很难捕捉复杂的和上下文属性。与原文本的剩余的形式,利用pretraining BERT基于深层神经网络模型与微调和过滤长文本的关键信息层级结构基于注意机制是一个新奇的想法分析大型文本。更重要的是,对于不同的样本,注意有针对性的分析和选择是不可或缺的特性在不同的上下文中,这是接近人们阅读理解过程财务披露的方式。它比量化方法更有效文本与一个统一的特性。
此外,我们还探讨了深层神经网络模型的可解释性。注意机制提供了一种可视化的关键特性样本。基于向量的相似性测量通过soft-max点积归一化函数,我们可以拿起关键信息,根据句注意句子向量编码矩阵,然后提炼文本向量通过字面意思的注意,可视化,所有的步骤。照明关注不同的句子,单词和评估点重要性,金融危机的线索可以显著的原始文本。
我们建议决策者更加注重复杂和繁琐的文字披露。特别是,我们认为该模型可以减少审计师的工作负载过滤关键信息。通过进一步的跟踪和调查线索,风险更有可能提前被探测到。
6。结论
基于异构信息,不仅在金融领域的研究来预测财务困境,而且人工智能方法数字化非结构化信息是必要的。
模型提出了研究嵌入和表达文本从原始数据在单词和句子层面,总结了最后的文本的向量表示。接下来,获得的文本向量和金融数据输入到多层感知器和分类。实验表明,该模型比所有的基准F2-score。
没有额外的自由裁量权,提出了端到端深度学习方法的潜力信息表示和特征工程已经检查了在这个研究。同时,训练有素的注意机制在这项研究中成功地模仿人类挖掘关键提示从复杂的语言结构和读者提供可视化的“红旗”内容作为财务困境的线索。最后,对于研究人员,企业信息披露的时间序列研究文本和财务指标基于面板数据可能仍然是必需的。此外,风险预测除以行业领域可能会更有效的人工智能在各自领域的应用。
数据可用性
1。财务比率数据用于支持这项研究的结果已经存入CSMAR库(https://www.gtarsc.com/)。2。年度报告数据用于支持这项研究的结果已经存入CNIFO库(http://www.cninfo.com.cn/new/index)。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是由安徽省自然科学基金(2008085 mg234),安徽省高校自然科学研究项目(KJ2019A0651)和优秀青年人才基金项目安徽省高等教育机构(gxbjZD2020004)。