将神经网络调整为特定问题：上海中叶绿素浓度的基于神经网络的经验生物学模型

抽象的

神经网络（NN）技术的多功能性使其能够成功地应用于许多科学领域和各种各样的问题。对于每个问题或类别的问题，通用NN技术（例如，多层感知器（MLP））通常需要进行一些调整，这通常对于成功应用程序的开发至关重要。在本文中，我们介绍了NN应用程序，该应用程序证明了这种调整的重要性；此外，在这种情况下，适用于通用NN技术的调整可以成功地用于许多其他NN应用中。我们引入了一种NN技术，将叶绿素“ A”（CHL-A）变异联系起来（主要由生物过程驱动），并使用基于NN的CHL-A的基于NN的经验生物学模型以及上海的物理过程。在这项研究中，卫星衍生的表面参数场，海面温度（SST）和海面高度（SSH）以及0至75m深度的网格盐度和温度曲线被用作上海上动力学的特征。使用NOAA的叶绿素-A领域，使用了中等分辨率成像光谱仪（MODIS）和海上观看广泛的视野传感器（SEAWIFS）CHL-A CHL-A浓度。研究了优化NN技术的不同方法。使用根平方误差（RMSE）度量和观察到的海洋颜色（OC）场与NN输出之间的互相关评估结果。为了减少噪声在数据中的影响并获得对NN Jacobian的稳定计算，构建了具有不同权重的NN合奏。 This study demonstrates that the NN technique provides an accurate, computationally cheap method to generate long (up to 10 years) time series of consistent chl-a concentration that are in good agreement with chl-a data observed by different satellite sensors during the relevant period. The presented NN demonstrates a very good ability to generalize in terms of both space and time. Consequently, the NN-based empirical biological model for chl-a can be used in oceanic models, coupled climate prediction systems, and data assimilation systems to dynamically consider biological processes in the upper ocean.

1。介绍

神经网络（NN）技术是一种通用的机器学习技术。该技术的多功能性使其能够成功地应用于许多科学领域和各种各样的问题。当然，对于每个问题或一类问题，通用NN技术（例如，多层感知器（MLP））通常需要进行一些调整，这通常对于成功应用程序的开发至关重要。在本文中，我们介绍了NN应用程序，该应用程序证明了这种调整的重要性；此外，在这种情况下，适用于通用NN技术的调整可以成功地用于许多其他NN应用中。

在这项工作中，我们开发了一种基于NN的经验生物学模型，用于上海洋中的叶绿素浓度（BMCHC）。将海洋颜色（OC）数据吸收到海洋模型中需要这种模型。OC场中的操作整合/同化在海洋模型中对气候模型的预测技能产生了重大积极影响[1-5]。For successful assimilation, the OC data must satisfy three fundamental requirements/conditions: first, spatial and temporal gaps in the observations need to be filled; second, data assimilation must be for a predicted parameter (prognostic variable) or a parameter explicitly related to a prognostic variable; and third, the data being assimilated must have a long data record to facilitate compilation of a robust statistical database spanning multiple seasons.

In our previous studies [6，，，，7]我们解决了以下内容：空间和时间间隙填充和使用NN将叶绿素相关一种（CHL-A）分别为预测参数。开发了一种基于神经网络（NN）技术的新方法，它允许在海洋颜色（CHL-A）领域中填补大空间（全球大小）和时间（最多一年）的差距关节极地卫星系统（JPSS）可见红外成像辐射仪套件（Viirs）卫星。开发的NN还提供了生物学过程的签名，即卫星衍生的OC场和上海洋物理过程的签名，即预后变量。因此，NN可以用作经验生物学模型将CHL-A与数据同化系统中的预后变量相关联。

In our previous study, we applied the MLP NN in a rather straightforward manner. In Section2在这项研究中，我们研究了优化该NN技术的不同方法。We evaluate the performance of the NN to emulate chl-a concentration and the NN’s ability to generate a long consistent time series of chl-a concentrations, examining the impact of (i) extending the training set, (ii) optimizing NN inputs, (iii) optimizing outputs (or error function), and (iv) adding additional outputs that correlate with primary output. In Section3，我们讨论结果并立即得出结论。

2。Optimization of NN Performance

在这项研究中，就像我们以前的研究一样[6-8]，我们使用NN多层感知器， 在哪里和是NN输入和输出向量的组件X和y， 分别，一种和b一种re fitting parameters (NN weights), and和m是相应的输入和输出的数量。NN重量一种和b一种re “learned” from data (training set, Section2.1）在培训过程中[8，，，，9]。NN培训是非线性优化的耗时过程。但是，通常应该执行一次应用程序。训练有素的NN提供非常快速，准确且健壮的解决方案。

有几种选择可用于优化NN性能：（我）NN训练集可以扩展，以将NN暴露于更多的输入和输出模式中。可以扩展独立验证集，以更好地了解训练有素的NN的局限性，并在下一次NN培训期间提高NN性能。同样，对于给定参数，可以用不同的仪器/传感器测量的数据来丰富验证数据集，以评估NN模拟的数据的跨传感器一致性。（ii）可以通过删除没有显着贡献结果的输入来优化NN输入的集合。输入的重要性可以通过一项研究确定（例如，[6]）评估输出对不同输入的敏感性。（iii）A transformation of the output variable can be performed to reconcile the statistical properties of the outputs with the error function that is used for training.（iv）Additional outputs, which correlate with primary outputs that have been already used and have similar or lower levels of noise, can be included to improve the accuracy of the primary outputs.

在本研究中研究了所有上述选项。

2.1。扩展培训和丰富验证集

数字1显示卫星 - SST，SSH和海面盐度（SSS）和原位（argo; [10]) data available for NN training and validation in this study. The daily VIIRS data on a 1° by 1° latitude/longitude global grid are available during the three-year period 2012 through 2014. In our previous study [6]，使用NN培训和测试的前两年（2012年和2013年，每日数据（大约20,000,000个网格点/记录））。保留了2014年（365天）的数据，以验证训练有素的NNS并估算其预测（概括）功能。结果表明，两年的培训数据足以准确地预测CHL-A浓度至少一年。

在这项研究中，我们使用所有三年的每日viirs数据进行培训和测试。为了验证，使用了其他两个卫星传感器的数据，即MODIS（十年，2005- 2014年）和Seawifs（Seawifs（Seawifs）（六年，2005 - 2010年）。选择从2005年开始的时间段，因为原位Argo曲线，是模拟CHL-A浓度的最重要的NN输入[7]，从2005年开始。我们使用NOAA卫星海面高度（SSH； [11]) and sea-surface temperature (SST; [12]) fields, while the Aquarius SSS data [13], which was used in our previous work, were not used in this study. As we showed in [6], the NN for chl-a concentrations is not sensitive to the Aquarius SSS data. For the NN training, the SSH/SST fields were spatially and temporally averaged to daily averages on a 1° × 1° grid to match the chl-a data. Results are assessed using the mean error (bias), root-mean-square error (RMSE), and cross-correlations (CC) between observed and NN-generated chl-a. To reduce the impact of noise in the data and to calculate the NN Jacobian for sensitivity studies, an ensemble of NNs with different weights was developed.

要使用SEAWIF和MODIS数据评估在VIIRS数据中培训的NNS并评估两个传感器之间的差异，我们在重叠期（2012年至2014年）中将MODIS数据与VIIRS数据进行了比较（2005年至2010年）。结果如图所示2，，，，3， 和4。

数字2证明了Viirs和MODIS数据之间的高度相关性（大于0.9）。MODIS和SEAWIFS之间的相关性到处都具有相同的数量级，除了2008年Seawifs有问题的几个月（〜几个月38-50）。人物3和4提供RMS的估计值和将用于比较的传感器之间的平均差异。传感器的比较表明它们已经足够接近，除了与SeaWifs问题的那一段时间，因此可以使用上述差异的估计值来验证NN集合。

培训了两个NN合奏，每个合奏由六个NN合奏成员组成：一个合奏，使用两年的每日viirs数据，另一个使用三年的数据。所有合奏成员都具有相同的体系结构：23个输入（表1），一个隐藏层中的30个隐藏神经元，一个输出（后来有两个输出，部分2.4）。使用NN权重的不同初始值对NN合奏成员进行训练，一种_IJ和b_IJ， 在 （1）。All following NN results represent ensemble averages. Figure5显示了NN模拟的CHL-A与两个先前确定的NN集合的MODIS数据的相关性。该数字表明，三年的数据提供了足够的信息来训练NN集合，而NN合奏的表现（三年培训）仅在七年验证期（2005- 2011年）中缓慢恶化。对两年数据进行培训的NN合奏并未证明在验证期间的性能水平足够稳定。

我们比较了使用三年的每日viirs数据和MODIS和SEAWIFS观察的NN合奏。平均每日的VIIRS和NN数据以获取每月的数据，以与每月MODIS和SEAWIFS数据进行比较。数字6depicts the correlations between the monthly mean chl-a concentrations simulated by the NN ensemble and the VIIRS, MODIS, and SeaWiFS observations. Figures7和8显示NN集合与VIIRS，MODIS和SEAWIFS数据模拟的每月平均CHL-A浓度的RMSE和偏置。这些比较表明，在三年的每日维尔群岛数据中训练的NNS集合令人满意地表现出色，从而产生了与三个不同卫星在十年内观察到的CHL-A浓度非常吻合的CHL-A估计值。

The RMSE and biases between the NN simulated data and the three satellite observation data sets are similarly small and, most importantly, they do not increase with temporal distance from the training period. Correlation is high enough; however, it slowly decreases with increasing distance from the training period.

2.2。优化输入和输出

本研究中使用的NN的输入与我们以前的研究略有不同[6，，，，7]由于表面盐度数据已从NN输入矢量中删除，并且已经添加了海洋深度以更好地解决CHL-A变化，并且海洋深度变化（从上到下）。表中显示了NN输入的最终选择1，显示所有NN输入和输出。为一个实验添加了第二个输出（部分2.4）。

2.3。优化错误函数

在我们的研究中，训练数据之间的平均差异和NN输出用作错误函数（2）。在NN培训过程中，此功能最小化。 仅当输出的概率密度函数（PDF）正常时，此误差函数的最小化等效于基本统计最大似然原理[8]。此条件意味着，如果输出PDF不正常，则错误函数不会为训练有素的NN提供最佳参数；因此，NN不能为训练集提供最佳（最佳）近似值。因此，为了获得最佳结果，目标应该是使PDF尽可能接近正常。

数字9描绘了两个PDF：CHL-A（左，实线）和CHL-A（右，实线）的另一个自然对数（LN）之一。CHL-A PDF远非正常（通过虚线显示正常）：尾巴非常长，该分布更接近对数正常。右面板显示LN的PDF（（chl-a），这几乎是正常的。因此，在（（2），如果ln（y_一世使用），而不是义，错误函数（2）几乎是最佳的，而现在生成LN的NN（（chl-a），几乎成为数据的最佳近似值。与CHL-A和KDPAR对数的NN（部分2.4），因为输出称为ln-nn。

以下说明了使用将CHL-A对数作为输出的对数的NNS所带来的优势。这些NNS（实际上是LN-NN）的合奏使用了三年的VIIRS数据（2012-2014）进行了培训。训练有素的NN合奏应用于独立的测试集，并计算每月平均值。相关的比较（图10），RMS错误（图11）和偏见（图12）statistics for two NN ensembles are provided for一种n ensemble of NNs having chl-a output (solid lines) and具有LN的LN-NN合奏（（CHL-A）输出（虚线）。合奏平均值与观测值（Viirs（黑色），MODI（红色）和Seawifs（绿色））的比较。

人物10-12在使用LN-NN代替NN时，证明模拟CHL-A浓度的质量有显着改善。LN-NN模拟和观察到的数据之间的相关性明显更高，与训练期的时间距离减少了相关性的减少（图10）。RMSE（图11）和偏见（图12使用LN-NN与NN时，显着降低。使用LN-NN时，所有上述统计数据中年度周期信号的幅度均显着降低。

人物13和14显示RMSE的全局空间图和LN-NN（A和C）和NN（B和D）的互相关。NN在某些地区很难（图13），，，，because strong spatial gradients and high temporal variability in satellite chl-a values are not adequately sampled by the coarse-resolution inputs (SST, T, and S). Clearly, cross-correlation values with respect to VIIRS (Figure13（a））和关于海威夫的（图13（c））一种re much more improved in most regions of the global oceans when using LN-NN than for NN (Figures13（b）和13（（d)），，，，respectively. Figure14描绘的是，在赤道和热带海洋中，LN-NN与Viirs观测的空间图（图14（（一种））与海威夫非常相似（图14（（c)）；但是，在靠近极地海洋的地区，关于海威人观测的RMSE更大。同样，LN-NN的RMSE相对于Viirs和Seawifs（图14（（一种）和14（（c)）低于NN的相应值（图14（（b）和14（（d)）一世n all regions of the global oceans.

2.4。补充输出

在许多情况下，添加一个额外的NN输出，该输出在物理相关或统计上与主要输出相关，可提高主要输出的准确性，尤其是当附加输出更准确时。对于这种情况，卫星OC数据包括光合活性辐射的弥漫性衰减系数（），直接从卫星传感器测量的参数得出。该参数比CHL-A更准确，因为CHL-A是对辐射参数与生物学参数CHL-A之间关系的其他假设的额外假设。NN可以利用附加输出，因为两个输出（i）都是相同隐藏神经元的不同线性组合（基函数tanh，（（1），（ii）促进相同的误差函数，并且（iii）在训练期间最小化误差函数时会同时优化。与单独的NN [8]。因此，除了提高CHL-A的准确性外，包括第二个参数的第二个启用全局字段使用具有相同数量的输入和隐藏神经元的NN。

为了证明这种方法的优势，我们训练了第三个具有23个输入，30个隐藏神经元和两个输出的NN合奏（CHL-A和）。桌子2显示了这三个合奏的比较：（i）具有一个输出（CHL-A）的NN合奏，（ii）一个输出（LN（CHL-A））的LN-NN合奏，而（iii）LN-NN的合奏，具有两个输出，LN（CHL-A）和LN（）。这些合奏中的所有NN都有23个输入和30个隐藏神经元。

As results presented in Table2证明，包括第二个输出提高了主要利益输出的准确性（CHL-A）。同样，第二个输出（KDPAR）的精度比CHL-A更高。

3.讨论和结论

In our previous studies [6，，，，7]，我们引入了一种基于NN技术的新方法，用于将CHL-A浓度与上海的物理过程联系起来。我们的NN映射卫星衍生的表面参数（海面温度（SST），海面高度（SSH）和海面盐度（SSS）田地）和一些田地原位观测值（Argo Float盐度和温度曲线的上层），以卫星来源的CHL-A浓度。简而言之，我们以前开发了一个基于NN的CHL-A的经验生物学模型。但是，NN模型的预测技能有限。

为了提高先前开发的NN的预测技能，这项工作评估了几种优化方法，开发了CHL-A的经验生物学模型，能够长期（几年）全球CHL-A领域的预测和一种NN capable of simulating a long-term (up to 10 years, 2005 to 2014) global chl-a data set that is consistent with observations from three OC sensors (SeaWiFS, MODIS, and VIIRS). Results were assessed using the mean error (bias), root-mean-square error (RMSE), mean absolute error (MAE), and cross-correlation between observed and NN-generated chl-a concentrations.

数据的粗空间和时间分辨率限制了可以在NN生成的CHL-A字段中解决的特征类型。如图所示，全局和中尺度特征在NN估计的OC场中很好地表示。但是，为了生成更精细的比例功能，需要对NN进行培训，以实现更优质的数据。

这项研究表明，NN技术为生成一致的CHL-A浓度的长时间序列（长达10年）提供了一种准确的计算廉价方法，这与三个不同传感器的卫星CHL-A观测值非常吻合。值得注意的是，单个NN（或单个NN集合）可以在全球生成OC字段。同样，在验证期间，NN预测的准确性不会恶化：在验证期的十年（2005- 2014年）中，经过三年数据（2012年至2014年）培训的LN-NN表现良好。这些结果表明，在空间和时间概括方面具有很好的NN概括能力，这意味着CHL-A的基于NN的经验生物学模型结果可用于海洋模型和耦合气候预测系统[14]用于评估由CHL-A变异性引起的大量生物物理海洋大气反馈效应，这些效应已在先前的建模研究中已证明（例如，[15，，，，16]）。

我们的方法准确地估算了卫星派生的CHL-A田中的季节性周期和大规模的空间模式，在中纬度中，主要海洋回旋中的CHL-A变异性最佳。最大的错误是在可变性空间尺度较小且可变性较大的区域中发现的，例如大陆架子，沿海地区和边际海洋。在这些地区，OC（CHL-A，）变异性很高，卫星衍生的数据具有最高的噪声水平。删除CHL-A浓度大于1 mg/m的数据点³（少于1％的观测值）在训练之前，NN由于输入和输出噪声的降低而改善了NN的性能。此外，在此类领域，数据数量很小，不足以进行足够的NN培训。NN方法成功地消除了噪声（偏置）的系统成分，而NN集合方法减少了噪声的随机分量。

当然，将我们的基于NN的模型与传统统计方法（例如，基于EOF或SVD的方法）进行比较，这将非常重要；但是，很难使用公开的结果进行这种比较（例如17，，，，18]））出于多种原因。首先，适用不同的时间尺度；该应用程序可与每日卫星数据一起使用，并且大多数相关的是重要的上海数据。上述研究使用的是每月甚至三个月的平均数据。接下来，在此应用中，NN预测了每日CHL-A浓度和KDPAR，而先前的研究平均值预测了太阳辐射的渗透深度（HP），仅与CHL-A浓度有关或平均三个月有关chl-a。此外，全球nn的这种应用建立了CHL-A浓度，KDPAR和主要海上物理参数（SST，SSH，温度和盐度剖面等）之间的关系。先前的参考研究应用了有限区域中的简化统计模型，仅建立HP和SST，或CHL-A，SST和SSH。最后，尽管引用的统计模型“可以很好地捕获与ENSO联合相关的SST异常响应的年际HP响应”，但我们的NN模型非常好捕获每日CHL-A浓度，KDPAR和上元物理学之间更为复杂的关系。整个地球。NN，EOF和SVD方法相似，因为调用统计相关性以获得对海洋物理学的批量生物学活性反馈。NN具有强大的优势，并且很容易扩展以添加其他海洋学和大气变量，并清楚地识别了各种输入的影响。

许多物理，化学和生物学过程都参与叶绿素-A，SST和其他大洋的物理特性之间的关系。这些过程中的许多人都没有得到很好的理解和形式化。NN方法的优点是，NN可以直接从数据中学习这种关系，并且不需要对所涉及的多个过程的任何明确（理论或经验）描述。因此，NN隐含地考虑了这些过程，这限制了从NN中获取有关所涉及过程的明确信息的可能性（例如，[19]）。However, for example, using the NN Jacobian, the sensitivity of biological parameters to different upper ocean characteristics can be assessed.

数据可用性

可以根据要求从NESDIS/NOAA和NCEP/NOAA获得数据。

Conflicts of Interest

作者宣称他们没有利益冲突。

References

1. W. Anderson，A。Gnanadesikan和A. Wittenberg，“海洋色对热带太平洋变异性的区域影响”，海洋科学，卷。5，不。3，第313–327页，2009年。查看：发布者网站|谷歌学术
2. J. Ballabreba Poy，R。Murtugudde，R.-H。Zhang和A. J. Busalacchi，“海洋大气对海洋季节性调节的耦合反应：对热带太平洋年度气候模拟的影响，”气候杂志，卷。20，否。2，第353–374页，2007年。查看：发布者网站|谷歌学术
3. A. Morel和D. Antoine，“上海内的加热速率与其生物光学状态有关”，物理海洋学杂志，卷。24，不。7，第1652–1665页，1994年。查看：发布者网站|谷歌学术
4. R. Murtugudde，J。Beauchamp，C。R。McClain，M。Lewis和A. J. Busalacchi，“上热带海洋循环的穿透性辐射的影响”，气候杂志，卷。15，不。5，第470–486页，2002年。查看：发布者网站|谷歌学术
5. R.-H。Zhang，A。J. Busalacchi，X。Wang等人，“海洋生物学诱导的反馈在调节El Nino-Southern振荡中的作用，”地球物理研究信，卷。36，不。3，文章ID L03608，2009年。查看：发布者网站|谷歌学术
6. V. Krasnopolsky，S。Nadiga，A。Mehra，E。Bayler和D. Behringer，“用于填补卫星测量空白的神经网络技术：海洋色彩观察的应用，”计算智能和神经科学，卷。2016年，文章ID 6156513，9页，2016年。查看：发布者网站|谷歌学术
7. S. Nadiga，V。Krasnopolsky，E。Bayler，H.-C。Kim，A。Mehra和D. Behringer，“用于填充卫星海洋色彩观察的神经网络技术”，NCEP Office Note Note No. 483，2016。查看：发布者网站|谷歌学术
8. V. Krasnopolsky，神经网络在地球系统科学中的应用。复杂多维映射的神经网络仿真，施普林格，2013年。查看：发布者网站|MathScinet
9. C. M. Bishop，模式识别和机器学习，施普林格，2006年。查看：MathScinet
10. K. V. Lebedev，S。Decarlo，P。W。Hacker，N。A。Maximenko，J。T。Potemra和Y. Shen，“亚太数据研究中心的Argo产品”，in海洋科学论文集。遇到。补充，摘要IT25A-01，卷。91，不。26，eos trans。Agu，2010年。查看：谷歌学术
11. E. W. Leuliette，R。S。Nerem和G. T. Mitchum，“ Topex/Poseidon和Jason Altimeter数据的校准，以构建平均海平面变化的连续记录，”海洋测量，卷。27，，，，no. 1-2, pp. 79–94, 2004.查看：发布者网站|谷歌学术
12. R. W. Reynolds，T。M。Smith，C。Liu，D。B。Chelton，K。S。Casey和M. G. Schlax，“海面温度的每日高分辨率混合分析”，气候杂志，卷。20，否。22，第5473–5496页，2007年。查看：发布者网站|谷歌学术
13. W. Tang, S. H. Yueh, A. G. Fore, and A. Hayashi, “Validation of Aquarius sea surface salinity with in situ measurements from Argo floats and moored buoys,”地球物理研究杂志：海洋，卷。119，没有。9，第6171–6189页，2014年。查看：发布者网站|谷歌学术
14. S. Saha，M。Shrinivas，W。Xingren等人，“ NCEP气候预测系统2”，气候杂志 - 美国气象学会，2013年。查看：发布者网站|谷歌学术
15. R.-H。张，“海洋生物学诱导的加热（OBH）在热带太平洋中的结构和作用，从混合耦合模型模拟中诊断出来，”气候动态，卷。44，不。3-4，第695–715页，2014年。查看：发布者网站|谷歌学术
16. X. Kang，R.-H。Zhang，C。Gao和J.科学报告，卷。7，文章ID 17123，2017。查看：发布者网站|谷歌学术
17. R.-H。Zhang，D。Chen和G. Wang，“使用卫星海洋数据来得出热带太平洋太阳辐射（HP）穿透深度的经验模型，”大气和海洋技术杂志，卷。28，不。7，第944–965页，2011年。查看：发布者网站|谷歌学术
18. U. Z. Schollaert，A。J。Busalacchib，T。M。Smith，M。N。Evans，C。W。Brown和E. C. Hackert，“来自统计重建的热带太平洋叶绿球的年际和际变异性：1958-2008，”，”，”，”气候杂志，卷。30，否。18，第7293–7315页，2017年。查看：发布者网站|谷歌学术
19. F. P. Chavez，P。G. Strutton，G。E. Friederich等人，“赤道太平洋对1997 - 98年Elniño的生物学和化学反应”，”Science，卷。286，不。5447，第2126–2131页，1999年。查看：发布者网站|谷歌学术

版权

版权© 2018 Vladimir Krasnopolsky et al. This is an open access article distributed under the创意共享归因许可证，只要适当地引用了原始作品，允许在任何媒介中不受限制地使用，分发和繁殖。