文摘

这项研究旨在提高企业应对金融危机的能力,找到一些对策以防止潜在的金融风险。企业财务风险评估,移动支付平台的自动汇总功能基于长期短期记忆(LSTM)执行提取结构化数据和非结构化文本从年度报告。在此基础上,实现金融风险的预警系统模型及其精度提高。结构化数据和非结构化的文本在公司的年度报告中提取的。企业财务风险预警系统模型。企业财务风险预警系统的准确性已得到改进。首先,我们使用卷积神经网络(CNN)建立财务风险预测系统使用财务数据和测试系统的各种指标。其次,上市公司的财务年报从互联网上获得。所需的财务报表是通过两种方式获得。第一个是设置高特殊待遇(ST)样本权重和删除一些non-ST样本。 The second is to delete punctuation marks, interjections, numbers, and so on and process the collected text data. The financial risk prediction model is established using the financial text, and the LSTM + attention mechanism is used to optimize the model. Finally, combining structured financial data and unstructured financial text to establish a forecasting model, the model uses LSTM. Combined with a single-layer neural network or CNN model, the comparison experiment is carried out in two ways. Experiments show that the CNN or LSTM attention mechanism cannot significantly improve the performance of the system only using financial data or texts. Using the financial data and financial text using the LSTM + CNN model, theF1值达到85.29%。财务数据和其他指标在文本中也已取得了长足进步,总体性能是最好的。总之,LSTM使用财务数据和金融文献结合CNN建立风险预测系统可以帮助投资者和公司本身找到可能的金融危机尽快上市公司,帮助公司及时处理他们的金融风险。

1。介绍

随着全球经济的快速发展,许多企业在不同国家上市。在企业的生产经营的扩张,一系列的问题一个接一个。其中,财务风险预测是每个公司必须面对的问题1]。从投资者的角度来看,投资者的利益是与公司的财务状况直接相关。如果投资者可以预测公司的财务风险随着时间的推移,他们可以停止损失时间。早在1930年,大多数西方公司已经开始对金融风险预警系统的研究。在当今的信息时代,金融分析方法继续成熟(2]。

学者也进行了大量的研究在金融风险预测系统。用于收集数据通过公司十年的年度财务报告、研究和应用z模型,研究财务业绩(3]。与神经网络模型的发展,各个领域开始研究利用神经网络模型。吴,吴建立了一个金融预测,使用神经网络预警模型(4]。李和全显示,制造金融风险的判断和分析可以帮助促进实体经济的健康发展。他们利用改进的粒子群优化使用神经网络建立财务风险预警模型(5]。吴歌,使用遗传算法,神经网络和主成分分析方法,收集和处理数据以提高贸易融资公司的能力来处理过度金融化的风险。过度金融化金融企业的风险评估模型是建立在6]。Malakauskas和Laktutien使用逻辑回归,人工神经网络和随机森林技术为财务困境预测估计二项分类器。他们用随机森林算法与额外的因素来实现最高的预测精度(7]。晨等人建立了一个模型使用卷积递归神经网络(RNN)与非结构化文本数据相结合,提供一个显著改善财务困境预测的性能(8]。

财务问题是每一个上市公司的关键问题。建立财务风险预测系统能有效地避免公司的金融危机和促进公司的可持续发展9]。如果金融风险,公司将面临在未来可以预测,该公司可以大大避免损失,保护公司的利益。由于财务风险控制的重要性,企业和投资者非常担心。它是相对简单的分析自己的财务风险从公司的角度来看10]。从投资者的角度来看,我们提取结构化和非结构化信息的上市公司的年度报告,使用神经网络建立财务风险预测模型,并比较不同模型进行实验。该方法大大提高了预测效果,为投资者提供了一个参考及时发现上市公司的财务风险,避免损失。论文的组织,我们已安排纸这样一节2利用神经网络构造预测模型。节3使用,财务数据和测试分析实验结果。最后,本文的结论部分4提出了研究的结论。

2。建设使用神经网络预测模型

2.1。递归神经网络(RNN)

使用RNN算法,RNN的变体算法,提出了入侵检测和研究实验和知识进行提取。当传统神经网络过程一些序列数据,特别是当序列数据上下连接,它是容易出现问题,所以循环神经网络。RNN的优点是,它有一个记忆机制,它可以充分分析这些数据之间的关系在处理这些串行数据相关的问题与上、下连接,这样整个更优化(11]。图1显示RNN的结构。


图1
RNN的结构图。

x代表输入当前时间h;代表了即时隐藏节点状态;代表输出(RNN处理),如方程所示1)和(2):

乙状结肠是一个激活函数;U, W表示层之间的权重矩阵;b, c代表偏差值。RNN的优点是,共享模型参数在不同的时刻,可以处理长期依赖问题;缺点是模型参数更新不稳定,有梯度爆炸或消失,只有短期记忆。

2.2。长短期记忆(LSTM)

长期短期记忆(LSTM)是一个RNN的改进模型。在结构方面,添加了一个“门”结构。这样一来,造成的问题可以解决长途,即使数据序列的长度是不同的12]。有四个LSTM模型:神经元细胞状态,输出,输入门和忘记门。忘记门的工作方法如下:乙状结肠函数分配的加权计算值输入pt在当前时间t和输出nt - 1当时t - 1并使用上述控制的影响之前的输出序列的信息输入流,见以下方程:

乙状结肠函数用于重量输入pt和输出nt−1当时t−1获取价值年代,见方程(4)。新单位国家候选人价值 是由非线性双曲正切函数,如方程所示(5)。一个新的国家一个t单位只需要添加两个,然后再通过忘记门和输入门,见方程(6):

的问t门需要的输出值加权计算的输入pt和输出nt−1在t−1使用乙状结肠函数,见方程(7)。LSTM的输出单元计算和控制的非线性双曲正切函数,最后输出值nt获得,见方程(8)。LSTM的优点是,它可以解决数据问题由于长途。

CNN是一个前馈神经网络,具有良好的性能对大规模图像处理(13]。图2显示了CNN模型结构。图片是第一个卷积,卷积的层,然后是池操作执行。重复卷积和池和输入到完全连接层获得的特征信息。最后,它进入输出层和输出层的大小是由CNN的任务。


图2
CNN模型的示意图。
2.3。注意机制

注意机制模拟人类大脑的注意力模型,这本质上是一个资源分配模型。注意机制的工作原理是合理分配注意资源。应该分配更多的资源的关键零部件和更少的资源应该给休息,减少或消除造成的负面影响太多的关键部分(14]。常用的计分方法:软关注得分函数在硬关注得分函数使用。三种权重值计算试验(15]。首先是输入所有注意力模型得分总和,见以下方程: 在哪里 显示的重量值tth输入, 表示tth输入,分数()表示输入的分数。第二个是计算和输入 第一。计算 输入到模型中,见以下方程: 在哪里 计算从 ,W获得的是输出输入 成一个单层神经网络 是输入重量值。前两种方法是使用被发现后,乘以,见以下方程: 在哪里年代t的输出是什么 - - - - - -输入模型。第三种方法是通过添加的输出输入模型的第二种方法,及其表达式所示以下方程:

2.4。实验模型性能指标

两种问题的绩效评估指标模型预测精度,灵敏度、特异性、精度、和F1 (16]。准确性:米是样品的尺寸,D训练集,X我是样本,Y我是马克。模型的预测精度f所示如下方程:

分段函数:我,我(1)=1,我(0)=0,这表明正确分类样本的比例的样本总数。为一个二进制分类任务,图3混淆矩阵的图显示了一个框架。


图3
框架混淆矩阵图。

TP是指真正的例子,《外交政策》指的是假阳性的例子,TN是指真正的负面的例子,和FN指假阴性的例子;F1-score代表精度和召回的调和平均数[17]。这是一个与特异性模型评价的主要指标。召回率: 特异性: 精确率: F1-score:

2.5。财务风险预测模型使用财务数据

公司的基本财务状况可以理解通过分析财务指标(18]。近年来,金融领域的专家通常使用电脑的方法来分析财务数据,建立简单的模型,分析提取的财务指标。CNN模型是用来进行财务风险预测模型使用财务数据,以及上市公司作为预测目标预测财务风险存在于这些公司。上市公司分为ST公司和non-ST公司。

指数收购。从JoinQuant数据库(JQData)、现金流量表、损益表和资产负债表的上市公司从2005年到2021年。与此同时,36个财务指标没有得到三个表。其中,三个基本表被称为财务指标,和其他36统称为非财务指标。

数据清理。重新审视的过程和验证数据和删除重复信息的目的,纠正存在的错误,并提供数据一致性。

选择数据满足指标。财务指标的缺失值清除达到30%以上。赔偿丢失的数据:当手工收集数据,出具的财务指标不同公司不同,导致严重的数据丢失在大多数公司的财务指标。根据财务指标的分布值,重新种植。具体计算见以下方程: 在哪里米是一个缺失值;一个是平均值;和R是一个随机的数字。过滤数据:在处理数据时,将样本缺乏阈值,阈值设置为50%;缺失值超过时,删除示例,删除严重缺失的数据,保证数据的可用性19]。

最后,有17107的数据可用于每个公司的财务计量标准指标。为了确保金融计量标准的完整性指标在实验期间,现有的数据必须与实验。选择所有现有公司的公共金融实验的测量标准,没有缺失值47公共金融计量标准的公司。也有必要继续实验比较和分析数据补充是否对实验结果产生影响。金融计量指标分为两个系列,和有146个索引收集收集2中1和47。使用相同的模型,图4显示指标的统计结果。


图4
指标统计图(指标集合1有一个互补的价值,和指标收集2没有互补的价值)。
2.6。建设使用财务数据预测模型

财务风险预测是一个两级的问题。CNN模型表现良好的分类问题(20.),所以CNN模型构建选择模型。图5显示了指数处理的流程图。


图5
指示处理的流程图。

在获得金融指标,数据清洗。财务指标是转换。特征表示转换后,建立金融向量与每个金融计量标准指标对应于每一个例子中,和金融计量标准指标统一和规范化的所有例子,见以下方程: 马克斯(x)表示金融计量标准指标的最大值在所有例子;分钟(x)表示金融计量标准指标的最小值在所有例子;x代表了规范化的金融计量标准指标价值的例子;和x显示的值之前,金融计量标准的例子是标准化的。与此同时,由于良好的分类效果的CNN模型,CNN模型用于金融计量标准指标进行分类。

2.7。金融文本处理

首先,文本数据清洗,其中包括2791 379和18917年从2781年non-ST样本企业。然后,使用两种方法在实验中,一些措施是用来平衡数据集分布。两种方法:设置的重量损失函数类别。圣样品的重量将高于non-ST样本。已删除一些non-ST样本,使两个样品接近合理的比率。措施:删除感叹词、标点标签、日期、金额等。

金融文本后,金融文本的表示需要考虑。金融需要转换成文本向量。然后,进行分类和排序向量。它可以分为词向量和文档向量。词向量是指一个向量的词或短语词汇映射到实数。文本向量是整个段落的文本。词向量都是文字,所以词向量可以形成文档向量。一般来说,这个词的训练向量进行第一,然后这个词向量表示为一个文本向量的总和(21]。

使用skip-gram word2vec模型是用于文本表示。skip-gram模型的优点是,它可以预测和周围的词之间的关系。 在哪里b代表的字数在字现在需要考虑。在这里,b需要5。日志p使用负采样计算,文字的二次抽样逆频率成正比。在word2vec,词与词之间的关系也有影响。例如,当语义相似,这些词都有一个余弦相似度高,和向量的计算也可以执行的话。

2.8。使用金融文本构建预测模型

财务风险预测模型使用金融文献使用LSTM为主体和合作机制的关注。图6显示了一个基本的流程图。


图6
使用金融文本处理流程图。

Tt特征的词tth文档中的位置,Twt体现了词向量从这个词的转换tth位置,ht代表输出单元LSTM的tth位置。计算方程在实验中选择如下:

得分函数代表一个single-hidden-layer神经元计算。W代表输入的重量ht。注意体重 输出的ht每个LSTM单元获得的正常化将softmax的标量函数。T显示步骤1和步骤之间的步长t。年代t——实验的最终输出。实验使用的注意机制模型。注意模型可以有效地集中注意力集中在文本和描述不多,但更重要的部分文本可以更好的描述。

2.9。建设金融文本和财务数据预测模型结合

图7显示了财务数据和金融框架图文本预测模型。有两个部分的模型输入:财务数据和财务文本。财务数据和财务的处理文本模型中两者结合,而是输入个人财务数据和财务单独文本到模型,同时输入。


图7
原理图的财务数据结合金融文本模式。

图的右侧7显示了两个金融计量标准指标的处理方法。第一种方法:首先,金融数据C1工程成为一个金融向量处理的功能C2。然后,输入一个单层神经网络进行处理获得一个词向量和相同的维度关注模型的输出。最后,结合非结构化信息进入完全连接层。第二种方法:首先,在财务数据上执行工程处理特点C1获得金融矩阵C3所示。然后,输入CNN模型总结和提取关键信息。最后,结合金融文本处理信息并输入完全连接层。

3所示。实验结果使用财务数据和财务分析文本

3.1。CNN模型的实验结果和分析使用财务数据

CNN模型参数的范围如下:卷积内核(大小)D∈{3,4,5,6,7,8,9},卷积内核(数量)H∈{64,100,128,256,300,500,1000},池层(大小)C∈{3、4、5},CNN(层数)K∈{2、3、4、5、6},和完全连接层(神经元的数量)n∈{64、128、256、300、512、1024}。经过多次实验,最后一个参数确定:卷积核的大小是4∗4,5∗5,6∗6,分别的大小池层是4∗4,卷积核的数量是300,和各层的数量是4。完全连接层中的神经元的数量是128和64,分别和它的重量损失函数是0.6和0.4,分别。图8给出了实验结果。


图8
CNN模型实验结果。

实验结果图8表明,CNN模型的精度和召回率高,但特异性和F1价值很低。在预测模型中,K和F1更重要,所以他们需要改进。CNN模型更有可能overfit类别与更多的数据时,数据是不平衡的,但是没有更深入的财务指标的信息。CNN模型提取信息的能力是有限的,所以在更深层次的信息提取,它并没有带来更多的好处。

3.2。使用金融文本分析,模型试验结果

图9显示选定的实验参数的实验结果。

(一)
(一)
(b)
(b)
图9
一些参数在实验((a) 100字向量维度没有注意机制;(b) 200字向量维度的字长,1200)。

图9表明,对改善注意力模型具有更大的影响F1的值。不同的词向量维度和长度对实验的结果产生影响。当长度是1300年和1500年,这个词R价值增加,但是K值随振幅更大,所以单词长度1200选择注意力模型试验。首先,确定这个词的长度是1200。然后,改变这个词向量维数从100年到200年,和R价值和K值略有改善,表明这个词向量维度的提高是有益的。图10显示了实验结果的对比图尺寸变化和注意力机制的变化。

(一)
(一)
(b)
(b)
图10
比较结果((一)100年和200年维度之间的比较结果;(b)比较结果有或没有注意机制)。

图中的虚线10 ()表明使用词向量的维数为200,和使用的实线表示词向量的维数为100。当这个词长度是1200,这个词向量维数是200,注意模型的实验结果和non-attention模型被添加在图10 (b)。当这个词长度是1200,这个词向量维数是200,添加关注模型之后,准确率,R,K,F1都是改善,表明注意力模型非常有利于提高索引。使用上面的实验,选择能产生最好的结果的参数实验。图11显示模型的实验结果。


图11
模型预测的结果。

在图11,风险预测模型使用财务数据不是那么有效模型使用金融文本。有两个原因的结论:个人财务数据之间有干扰,non-ST文本太大的比例。尽管金融基于文本模式的总体效果很好,K只有66.71%,F1价值不高。继续开展模型试验使用财务数据和文本的结合。

3.3。模型实验结果结合金融文本和金融数据

图12显示了两种方法的最优结果。


图12
最优实验的结果。

图12表明金融文本添加到预报系统,结合金融矩阵,大大提高了CNN的性能模型。就准确性而言,R,K,F1值,CNN模型实验结果高于single-hidden-layer实验结果。原因有两点结论:CNN模型更适合金融的结合矩阵和文本,和金融向量和金融的结合文本将导致噪音干扰的部分数据的向量。CNN模型有更好的信息提取效果。图13显示了最终的实验结果比较图的模型。


图13
每个模型的实验结果的比较。

图13表明金融矩阵结合金融性能的文本使用CNN模型远高于金融矩阵使用CNN模型。虽然R不如一个模型使用金融文本使用LSTM和注意力机制,最好是在准确性方面,K,F1。结果表明,多次由CNN金融文本数据训练模型,系统的性能就越好,更重要的是信息系统可以选择。的预测模型的基础上,结合金融文本和数据模型具有更好的性能比只使用财务数据或金融短信。

4所示。结论

在移动支付平台,使用自动摘要技术LSTM网络建立了财务风险预测系统。在本文中,使用了三种方法:(i) CNN使用财务数据建立系统;(2)LSTM +关注模型,它使用财务文件建立一个系统;(3)两种方法的结合,结合财务数据和财务文件。最后一个方法使用CNN + LSTM和single-hidden-layer神经网络+ LSTM建立系统。系统相结合的财务文件和财务数据有不同的改进预测系统,只使用非结构化文本和结构化文本。与财务数据建立一个模型相比,金融单据的加入增加了F1平均14%,大大提高了财务风险预测系统的准确性。然而,只有部分财务报告中的信息提取,并不是所有的信息都可以。与此同时,只有一个年度报告被认为是。如果模型可以结合更多的章节与历史年度报告年度报告,其性能可以更好地改善。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。