表 2通过本文说明了使用的缩写和符号。

LSTM是建在一个独特的架构,让它忘记了不必要的信息,把乘法变成加法和使用一个函数的二阶导数可以保存很长一段距离为零之前为了减少消失梯度问题( 虚地磁极)。它的构造 乙状结肠层需要的输入 x t 和 h t − 1 然后决定通过生成 0从旧的哪一部分输出应该被删除。这个过程是通过 忘记门 f t 。门输出了 f t ∗ c t − 1 。之后,一个新的输入向量的所有可能的值是由褐色 h层。这两个结果是增加更新旧的记忆 c t − 1 这给了 c t 。 换句话说, 乙状结肠层细胞的状态将决定哪些部分结果。然后,乙状结肠门的结果乘以通过谭设置的所有可能的值 h。因此,只有部分的输出包括决定生成。

LSTM网络( 8递归神经网络()的一部分 RNN年代),有能力学习的长期依赖性和强大的远程依赖关系建模。的主要标准 LSTM网络是可以记住时间状态的存储单元。也是由添加或删除信息通过三个控制盖茨。这些门是 输入门, 忘记门, 输出门。 LSTM年代能够更新的信息流和控制块中使用这些门以下方程: (1) 年代 我 t = σ x t ⋅ θ x 我 + h t − 1 ⋅ θ h 我 + θ 我 偏见 , (2) f t = σ x t ⋅ θ x f + h t − 1 ⋅ θ h f + θ f 偏见 , (3) c ˜ t = 棕褐色 h x t ⋅ θ x c ˜ + h t − 1 ⋅ θ h c ˜ + θ c ˜ 偏见 , (4) c = c ˜ t ⊙ 我 t + c t − 1 ⊙ f t , (5) o t = σ x t ⋅ θ x o + h t − 1 ⋅ θ h o + θ o 偏见 , (6) h t = o t ⊙ 棕褐色 h c t , “·”提出了矩阵乘法,“⊙”是一个elementwise乘法,“θ”代表权重。 c ˜ 是细胞的输入 c由输入封闭的门,而 o _t是输出。非线性函数 σ和褐色 h应用elementwise,哪里 σ x = 1 / 1 + e − x 。方程( 1)和( 2)建立门激活,方程( 3)表明细胞输入,方程( 4)决定了新细胞状态,存储或删除“记忆”,和方程( 5)的结果输出门激活方程所示( 6),最终的输出。

美国有线电视新闻网是一个前馈神经网络。实现网络结构优化和解决网络中未知参数,二维图像的属性是摘录和反向传播算法实现。为了实现最终的结果,采样数据是美联储内部网络在prerefining提取所需的属性。接下来,应用分类或回归( 27]。

的 美国有线电视新闻网基本上是由两种类型的层:卷积和汇聚层。卷积层内的神经元在本地连接和前面的层。与此同时,神经元的地方属性。找到当地的敏感性通过池层获得重复的属性。卷积的存在和池层最小化属性分辨率和网络的数量规格要求的提高。

美国有线电视新闻网通常描述数据,构造一个二维数组,是图像处理领域的广泛利用。在这篇文章中, 美国有线电视新闻网配置算法来预测风速和适应它处理一维数组的数据。在预处理阶段,一维数据重构到一个二维数组中。这使 美国有线电视新闻网机算法顺利处理数据。这将创建两个文件:房地产和响应文件。这些文件作为输入 美国有线电视新闻网。响应文件还包含预期的输出值的数据。

每个样品都是由一条线从财产和响应文件。重量和偏见就可以获得一个可以接受的训练样本的数量 美国有线电视新闻网交付。培训持续与响应值的回归结果进行了比较,以达到最低可能的错误。这提供了最后的训练 美国有线电视新闻网模型,它利用来达到需要的预测。

的拟合机制 美国有线电视新闻网池。各种计算方法已经证明池可以使用两种方法:平均池和最大池。图片是静止的,所有的部分图像相似的属性。因此,池的计算方法适用于类似的平均或最大每高分辨率图像的一部分。池的过程会导致减少统计维度模型的泛化和增加强度。结果的优化很好,可以在配件的可能性较低。

安有三层,建立网络。这些都是输入、隐藏层和输出层。这些层可以将输入向量输出标量或矢量使用各神经元激活函数。的 j t h 隐藏的神经元 Z j 可以计算的 p 输入和 米使用以下方程[隐藏神经元 14]: (7) Z j = f h ∑ 我 = 1 p w 我 j y k − 我 , 在哪里 w 我 j 连接的重量吗 我 _th输入节点 j _th隐藏的节点, y k − 我 是 我一步一步在先前的风速, f h 。 隐层的激活函数。因此,未来可以通过预测风速 (8) y ^ k = f o ∑ j = 1 米 w j z j , 在哪里 w j 连接的重量吗 j _th隐藏节点到输出节点 y ^ k 预测风速的吗 k _th抽样的时候 f 0 输出层的激活函数。通过最小化误差之间的实际和预测风速, y k 和 y ^ k 分别使用Levenberg-Marquardt ( LM)算法,非线性映射的效率 安可以获得的 28]。

假设一组样品 x 我 , y 我 ,在那里 我 = 1 , 2 , … , N ,输入向量 x 我 ∈ R 米 和输出向量 y 我 ∈ R 米 。目的确定一个函数回归障碍 f x 描述输入和输出之间的相关性。的利益 SVR是获得高维特征空间的线性回归由映射的主要输入设置利用preknown函数 ϕ x 。 和最小化结构风险 R f 。这种机制可以编写如下( 15]: (9) f x = w T ϕ x + b , R f = 1 2 W 2 + C ∑ 我 = 1 N l x 我 y 我 f x 我 , 在哪里 W , b , C , 分别是回归系数向量,偏见,和惩罚系数。 l x 我 , y 我 , f x 我 是 e不敏感损失函数。回归问题可以由下面的约束优化问题: (10) 最小值 , 1 2 W 2 + C ∑ 我 = 1 N l ζ 我 ζ 我 ∗ , 年代 。 t。 , y 我 − w T ϕ x + b ≤ ε + ζ 我 w T ϕ x + b − y 我 ≤ ε + ζ 我 ∗ ζ 我 , ζ 我 ∗ ≥ 0 , 我 = 1 , 2 , … , N , 在哪里 ζ 我 和 ζ 我 ∗ 代表了松弛变量,约束可行。利用拉格朗日乘数法、回归函数可以写成: (11) f x = ∑ 我 = 1 N 一个 我 − 一个 我 ∗ K x 我 x j + b , 在哪里 一个 我 和 一个 我 ∗ 拉格朗日乘数法,实现条件 一个 我 ≥ 0 , 一个 我 ∗ ≥ 0 和 ∑ 我 = 1 N 一个 我 − 一个 我 ∗ = 0 。 K x 我 x j 是一个通用内核函数。在这项研究中,著名的径向基函数( RBF这里选择核函数: (12) K x 我 x j = 经验值 − x 我 − x j 2 2 σ 2 , 在哪里 σ定义了 RBF内核的宽度( 15]。

ConvLSTM被设计成训练数据集的空间信息,和它的目的是处理3-dimentional数据作为输入。此外,它通过卷积操作每一个交换矩阵乘法 LSTM细胞的大门。通过这样做,它有能力把底层的多维数据的空间特性。公式所使用的每一个盖茨(输入、忘记和输出)如下: (13) 我 t = σ W x 我 ∗ x t + W h 我 ∗ h t − 1 + b 我 , f t = σ W x f ∗ x t + W h f ∗ h t − 1 + b f , o t = σ W x o ∗ x t + W h o ∗ h t − 1 + b o , C t = f t ∘ C t − 1 棕褐色 h W x c ∗ x t + W h c ∗ h t − 1 + b c , H t = o − t ∘ 棕褐色 h c t , 在哪里 我 t , f t , o t 是输入,忘记,盖茨和输出和 W 权重矩阵,而 x t 是当前输入数据。 h t − 1 前面的隐藏输出和 C t 是细胞状态。

这些方程之间的区别 LSTM是矩阵乘法( ⋅ )是由卷积操作(代替 ∗ )之间的 W 和每个 x t , h t − 1 在每一个门。通过这样做,整个层被一个卷积层连接。因此,模型中的参数可以显著减少重量。