文摘

个人数据文件的大小随着对定制服务的需求不断增加,导致低效率等问题的网络地理信息系统(WebGIS)的数据压缩,传输,呈现富Internet应用程序(ria)在复杂的可视化系统。在这篇文章中,WebGIS-based技术解决方案气象大数据的高效传输和可视化。基于开源技术如HTML5和Mapbox GL,该方案考虑在服务器端分布式数据压缩和传输以及分布式请求页面呈现在浏览器端。高低8位压缩方法为压缩开发的是一个100字节(MB)文件到一个megabyte-scale文件,大约90%的压缩比,恢复数据精确到两位小数。金字塔计划的另一部分结合瓷砖切割、并发域名请求处理,纹理渲染。实验结果表明,使用这种方案,100 MB的网格文件可以传输并显示在毫秒,和多端服务应用程序可以通过建立一个电网数据可视化模式支持大数据技术中心,可以为其他行业作为一个参考。

1。介绍

目前,信息收集和存储技术的发展迎来了大数据的时代在各种行业,大量的数据被记录,处理,分析了爆炸。特别是,气象数据是最重要的类型的数据中遇到人的日常生活,发挥着至关重要的作用在理解环境,自然资源,经济,和生活的其他方面1]。解决社会需要精制气象数据,为观察和预测网格数据产品基于雷达数据,卫星数据,和站观测被广泛利用2]。在全球范围内时,可用的网格数据主要包括气象数值预报产品从欧洲中期天气预报中心(ECMWF) [3),国家环境预报中心(NCEP)全球预测系统(GFS)模型(4),全球区域同化和PreEdiction系统全球预测系统(GRAPES_GFS)模型中国气象协会(CMA) [5),实时高分辨率CMA土地数据同化系统(HRCLDAS) [6]。最常见的存储格式等网格数据产品是通用Regularly-distributed信息以二进制形式(格丽)和网络常见的数据形式(NetCDF)。前者是一种文件格式,是由世界气象组织(WMO)设计用于存储和传输气象网格数据,如数值天气预报模型的输出;这种格式足够简洁,被广泛应用于气象存储历史和预测天气数据(7]。后者是一个array-oriented和网络共享数据描述和编码标准Unidata项目的科学家提出的大学大气研究公司(UCAR) [8]。

这些通常利用网格文件数据格式只能打开由专业应用程序(应用程序),可以用来获取值在特定的位置或分析变量如温度和降雨的空间分布(9]。气象大数据,往往具有很强的地理空间特征和位置相关性,地理信息系统(GIS)技术通常是结合视觉表达的工具和应用程序提供的公共服务(10]。华丽服饰从国家航空和宇宙航行局(NASA)戈达德太空研究所,这是一个观看的工具而不是一个数据抽取工具,支持多种格式,如格丽,需要Java运行时环境(11]。MeteoInfo(即。,米eteoInfoMap and MeteoInfoLab), which was developed by the Chinese Academy of Meteorological Sciences, is an integrated framework for both GIS applications and scientific computation environments that is utilized by the meteorological community to visualize and analyze spatial and meteorological big data in multiple data formats [12]。国家气象服务中心的业务在中国,气象信息综合分析和处理系统(MICAPS)是一个复杂的计算机系统,它结合了气象,卫星和雷达数据到一个工作站,并允许图形和字母数字天气格丽格式的数据读取、分析、组合,和操作13]。

所有上述方法已经用于显示本地气象文件。然而,云存储的出现和普及,新类型的应用程序中计算资源不再出现局部而是分布式、异构和动态。电网分析和显示系统(毕业生)是一种广泛使用的气象绘图软件工具。它有两个主要功能,即数据处理和图像显示,在气象研究社区中发挥作用类似于万维网通过互联网在促进信息交流。毕业生具有独特的特点,主要用于科学研究和业务人员参与大气和海洋研究。以其强大的数据分析功能,灵活的环境设置,广泛的映射类型和各种地图投影方法,梯度大大帮助气象研究[14]。集成数据查看器(价值)Unidata / UCAR分析和可视化软件平台是一个基于java的地球科学数据15]。价值结合的能力来显示和分析卫星图像、网格数据(如数值天气预报模型输出)、GIS数据和其他数据在一个接口(16]。与常见的科学数据集成服务器,包括Unidata主题实时环境数据的分布式服务(THREDDS)数据服务器(TDS) [17),作为数据源可轻松访问大量的实时和档案数据集。价值中所使用的主要工具是计算机实验室各种气象学院和大学课程的一部分。

这些本地化应用程序可以读取文件直接从本地磁盘,有效地把它们下载到本地磁盘,或者将它们与普通的科学数据集成服务器。然而,当地安装过程相对较高的系统需求,因此不适合公共服务。

等移动终端应用无线应用协议(WAP)浏览器和微信一直为IOS和Android操作系统,开发的富Internet应用程序(ria),这是基于web的应用程序旨在提供相同的特性和功能通常与桌面应用程序,已经成为必不可少的平台,可以运行在web浏览器没有安装。最早的尝试使ria可访问是使用万维网联盟(W3C)标准访问富Internet应用程序(咏叹调)[18]。这项技术已经被用于可视化气象大数据与基于网络的地理信息系统(WebGIS)工具。雨查看器,一个一体化的天气雷达和雨预测软件预测风暴,可供90个国家,并提供最全面的天气雷达覆盖市场,显示一个地图数据从1000 +多普勒雷达的选项在地图上查看每个雷达的信息。提供这个功能,所有请求下雨观众路由通过一个在线的web服务,覆盖雨观众数据在地图上瓷砖256或512像素集中在用户的当前位置,然后调整图像的大小来匹配设备的屏幕尺寸(19]。WebGIS服务开放地图,显示层覆盖在毫秒利用传单技术和考虑到单片的老化的请求。因此,该服务不能满足实时交互的需求,如改变颜色或过滤值范围。此外,虚拟化层,和用户体验可以贫穷后如果超过最大图像分辨率图像放大。向量瓷砖技术的进步提供了解决上述问题,矢量的砖层保存Protocolbuffer二进制格式的压缩文件(PBF)文件格式20.]。这样一个压缩文件,其中包含矢量地图数据在一个或多个层,可以使基于每一层的风格和样式。数据向量瓷砖包括地理特征的形式的点,线、多边形(21]。气象雷达,这个解决方案超越简单的重采样数据,旨在生成向量轮廓基于原始雷达数据。与数据的矢量多边形,AerisWeather映射平台(AMP)可以使雷达数据在任何缩放级别而不降低分辨率或质量。这也允许用户控制应用于雷达数据多少平滑,使清洁和光滑的雷达成像在城市和社区水平(22]。

气象时空上大数据改变,任何动态矢量分割方案必须包括数据准备、切片,和前端可视化、高性能要求服务器托管空间数据库(PostGIS) [23]。因此,复杂气象大数据可视化技术逐渐发展的方向数据文件压缩传输之前,紧随其后的是前景解码。零学校设计了一个全球视觉显示系统(Nullschool.net)[24ECMWF预报数据,将从地球的自然地图数据集转换成TopoJSON格式作为基本的映射,利用EPAK格式转换和压缩网格数据,并应用节点。js快速渲染和显示前台(25]。这个系统的发射以来,东京气象局和其他机构开发了东京风地图基于这一技术框架,已广泛推广。虽然这个框架充分利用优势的快速可视化的网络终端,移动终端上仍存在不相容问题基本地图50公里的海岸线轮廓决议或JSON格式的110公里;因此,很难使用这种精细的服务应用程序的框架。利特温et al。26)和Prastika et al。27)实现多通道支持应用,如PC浏览器,WAP,移动应用程序基于OpenStreetMap在线地图通过集成片数据压缩和传输只有单片在30 kB对更快的传输和可视化。数据可视化基于浏览器/服务器(B / S)结构,气象网格数据的最小分辨率达到全球超过9公里,和一个传输的文件大小是700 kB和2 MB。单个请求可以达到二级响应和动态呈现允许更新,满足大规模的需求服务。然而,各种灾害预防和紧急缓解支持应用程序需要更多的细化网格数据服务。2021年,CMA HRCLDAS产品发布(28),其中介绍了东亚1公里的一项决议。网格的大小是7000 4500年,一个文件的数据量达到106 MB。可视化的主要应用这些数据添加一个透明的形象直接的map和reduce变焦或决议,一层一层地,导致亏损特征值(例如,最大和最小值),从而影响前端呈现结果。因此,它是非常困难的在页面呈现平衡效率和数据的准确性基于B / S架构。

总之,可视化系统基于B / S架构是最友好的选择;然而,他们的压缩和传输方法变得越来越复杂精致服务的需求和个人文件大小增加了。压缩是一种高效方法文件小于10 MB,但是可视化过程达到更好的传播和呈现压力时文件大小大约是100 MB或更大,和100 MB精制气象服务是一种常见的文件大小。因此,有必要设计一个气象网格数据快速传输和显示计划在电脑,移动浏览器,WAP应用,微信applet,和其他平台基于一个开源WebGIS服务平台。

在本文中,我们提出一个定制的方案用于复杂气象大数据可视化系统。在后端,采用高低8位压缩算法,和定制的块传输需要确保网络传输效率高。基于HTML5和Vue框架,前端使用Mapbox GL (29日,30.)技术来满足大数据可视化动态气象服务的需求而考虑压缩、切片、显示、和其他因素。该方案提供了一个mid-platform支持模式可视化气象网格数据,发表在《中国气象数据服务中心的气象可视化列,通过移动应用程序,或微信。该方案提供了一个快速、方便的解决方案快速可视化和呈现网格数据,可以作为参考网格数据可视化应用程序在其他行业。

2。方法

该系统包括大数据处理、传输和页面呈现涉及数据分析等技术,压缩,浏览器传输,页面数据恢复和拼接,以及WebGL (31日)呈现。详细设计如图1。


图1
系统的设计。

数据处理和压缩:红绿蓝(RGB)通道用于压缩和存储中的数据高低8位PNG文件精度尽可能最大程度地保持数据在传输过程中。

数据切片和传输:基于金字塔切片技术,切片与指定的最低比例执行决议,在传输过程中使用和分布式多线程来提高传输的及时性页面从服务器的数据终端。

数据可视化呈现:浏览器获得片和执行片缝合,而Mapbox GL组件基于WebGL技术实现快速动态呈现。

2.1。数据处理和压缩

首先,格丽源文件转换成浮点数组PYGRID [32]在Python中,通常是存储为4字节数据最大传说显示分辨率为0.1。可以保留1位数据在存储之前,即原始价值乘以10和阿圆得到整数c .保存为RGB图像压缩与G和B通道2字节(32768−32767)的范围。减少数据丢失,图像存储在PNG格式采用一个LZ77-derived文件压缩的算法,从而导致一个小数据量,高压缩比,没有数据丢失。

的高8位和低8位值转换后的数据存储在G和C是B通道,分别。具体操作如下所示: 在U和D代表中间值,而G_N表示新创建的PNG图像用于存储相应的压缩值。

提高页面数据传输的效率,按照图像金字塔数据处理模型。压缩PNG文件是按比例缩小使用图像金字塔与双立方插值方法。tilemap金字塔模型是一个多分辨率层次模型。分辨率降低从底部到顶部的瓦片金字塔;然而,保持不变的地理范围表示。图像缩放和满广场依照tilemap金字塔模型。

2.2。数据切片和传输

金字塔的原始图像作为层0,缩放×2×4×16×8×,通过双立方插值(33]。在数值分析中,双立方插值最常应用在二维空间插值法。

假设如果源图像G大小米×N和扩展的目标图像 有一个大小米×n的坐标, 在G可以计算使用公式(3)。

如图2, 表示一个点的位置 原始图像中对应的位置 在压缩;此时得到的值插值像素值的16个社区点(P33 P00,…)。如果侯的位置 ,然后的位置 可以表示为 ,在哪里u和 代表的小数部分像素坐标。


图2
双立方插值图。

一旦影响权重的16点相对于点 的价值,计算了吗 可以获得和映射到扩展图像吗 。双立方插值的基本功能是公式(2)所示一个=−0.5:

行和列分离时,像素值之间的距离计算,已知的像素值P00图2可以表示为(1 +u(1 + );因此,abscissa-coordinate P00双的重量W(1 +U)和纵重量W(1 +V),产生一个相应的价值贡献 。其他的贡献15分可以同样计算。最后,点的像素值地图缩放图像G可以计算使用公式(5)。

值得注意的是,浏览器只能处理有限数量的并发请求同样的域名,这限制了同时发生的请求的数量,可以提供在页面呈现,导致请求排队或超时。这个过程发生在GIS服务网站,如谷歌和百度地图,添加子域和域破折号增加并发请求的数量,可以服务(34]。然而,考虑到难度增加过多的域名的DNS解析,每个二级域名的并发性应该限制在2 - 4。

提出的方案,基于B / S的服务框架,使用Nginx服务器,这是一个轻量级Web服务器/反向代理服务器和电子邮件(IMAP / POP3)代理服务器分布式BSD-like协议下,作为代理,从而占用更少的内存和支持高并发性。此外,Nginx支持gzip压缩函数,它可以用来压缩CSS网站、JS、XML和HTML文件在传输过程中,从而提高访问速度和优化Nginx性能。

2.3。数据可视化渲染

在渲染过程中,应调整片的数量占不同的屏幕分辨率和地图的放大。地图的坐标转换为屏幕坐标之间的转换实现地图的经度和纬度坐标和屏幕坐标。一旦规模问题已经解决,纬度和经度范围的空间信息在地球上的一种文件格式文件转换到屏幕的范围。基于图像金字塔的每一层大小的一种文件格式文件,金字塔片提供最好的呈现是最后选择(图3)。


图3
渲染过程。

任意两点之间的距离表示的经度和纬度可以使用以下流公式计算: 在哪里R地球的半径,约等于6371.0公里。

相应的屏幕可以从Mapbox规模计算的距离。

最后,选片的层数可以确定对角线宽度的基础上每一层图像的金字塔。

这里,orgSZ表示对角压缩资源文件(图的图像大小4)。的结果“orgSZ”除以“screenD”表示有多少倍屏幕上的可见范围比压缩文件的大小(层0),因为连续层不同大小的2倍,表明层是由舍入值2的幂。


图4
屏幕面积之间的关系可见范围和每一层的对角线宽度。

之后,屏幕上的经度和纬度范围了,也就是说,左上角( , )和右下角( , ),和瓦指数按照流获得进步。 在哪里 的左上角的数据吗x方向, 表示屏幕的左上角之间的距离和数据的左上角x方向, 代表开始瓦列的索引, 表示,结束瓷砖的索引行间隔表示瓷砖的长度和宽度,和装天花板表示围捕的操作。同样的,开始和结束的行和列索引瓷砖可以获得。因为瓷砖坐标范围大于屏幕坐标范围,所有瓷砖需要抵消。从屏幕的左上角开始,CSS文件的位置偏移量可以通过计算像素的区别每个瓷砖的左上角的坐标和屏幕的左上角(35]。

Vue开发框架的基础上,提出方案综合考虑气象大数据的时空属性和快速呈现的要求,利用Mapbox支持地理信息服务,适用于WebGL高性能前端呈现的数据可视化技术。Vue的进步和高性能JavaScript框架的前端页面显示,使用视图层呈现为核心。Vue利用组件机制,路由机制和国家管理机制快速实现前端高频文档对象模型(DOM)和高效的页面交互操作。由于使用NodeJS服务和利用节点的包管理器(NPM)安装Vue命令行界面(CLI Vue),框架也可以很快。Mapbox,相应的GIS引擎不同的平台(如电脑和手机),是一种有效的WebGIS开发框架。作为Mapbox组件(36),Mapbox GL已经使用HTML5 web开发。Mapbox GL是一个JavaScript库,可以使大量的地图元素,同时允许光滑的交互和动画。

3所示。实验和分析

检查整个过程,提出的性能和效率高低8位压缩是在Python 3.7开发的,和网格数据(GRIB2)被PYGRID解码成数组。web页面是在Visual Studio XCODE,开发并使用Nginx 1.16.0 web服务器部署。进步服务器和web服务器是64位的Linux服务器的CPU实验是一个八英特尔酷睿i5 @ 2.30 GHz 16 GB的内存。

3.1。数据处理

实验中使用的数据从CMA源获得降水分析系统(CMPAS) [37),可以通过中国气象数据服务中心(http://data.cma.cn)。的数据包括经度和纬度范围70 - 140°E和15-60°n实验包括24小时降水融合产品1公里的一项决议 1公里从00:00至23日:7月20日00 2021;这些数据被选为例评估和比较数据处理与前台显示。数据包括经度纬度分7000和4500点,超过3亿数据点在单个文件,和单一小时降水融合产品的文件大小为101.3 MB。

图像分割之前,每一层的图像转换成一个正方形。最长的边长为边长来创建一个新的广场画布。原始图像的左上角是重叠的左上角广场,广场的,其余都是白色。因此,层0 (7000 1(3500 7000),层 3500),第二层(1750 1750年),第三层(875 875),和第四层(437 437)。

表1显示了最小和最大压缩比的五个数据层,达到30和95年,分别在PNG压缩和转换。平均文件大小的24个实验文件计算。学位的价值相当于相对应的像素间隔五层中的每个规模比金字塔的决定是基于比例系数。第四层的像素大小作为一个瓷砖的大小从其他四层片数据。单片文件的最大大小是小于90.7 kB,足以保证快速传播。片文件的大小相比时,发现部分文件往往是更大的地区的降雨由于数据分布在这些位置。

表1
压缩后切片。
3.2。传输效率

在实验中,所有的时间片的压缩文件(0)层从服务器传输到浏览器速度一千倍于原始文件的时间当256个并发传输通道。压缩PNG传动效率之间的比较全尺寸图像及其片(图5)。


图5
比较之间的传输及时性整个压缩文件和切片。

最大的数据量可以通过浏览器请求包括地图和数据片。在这些实验中,实际的最大要求是小于60因为可见片根据地图的范围确定。六十四个并发通道与八子域打开请求。

3.3。渲染效率

目前,网上有三个主要的WebGIS渲染方法处理格丽,NetCDF,和其他文件格式:GeoJSON处理二进制压缩和灰度压缩。表2列表上面的方法和方法的渲染效率为120 MB的文件在本文中。相同的WebGL和WebGIS渲染技术是用于所有流程。结果表明,渲染的效率高低8位压缩方法减少了时间消耗毫秒的顺序,从而使这个最优方法。

表2
比较不同的治疗结果和渲染效率。

4所示。结论和未来的工作

由于气候和天气现象,如全球气候变化和极端天气的频繁发生,对气象服务的需求已经增加与各种社会活动和行业。因此,有必要对可视化方法的时空特征气象防灾减灾大数据对各种社会活动和行业。基于HTML5的Vue架构,本文提出的方案可用于快速可视化网格数据大约100 MB的大小与PC和移动浏览器运营商。的多端渲染技术数据是通过Python,结合节点。js, HTML5, Mapbox和其他技术。提议的过程可以支持高效WebGIS呈现各类大型网格数据文件,从而提供一个解决方案快速可视化工业数据和空间大数据融合后的自由安装可视化效率和改善电网大数据在浏览器。

数据压缩:各种压缩算法,包括二进制压缩灰度映射压缩,和高低8位压缩比的压缩比和赔付率。高低8位压缩被选中,因为它使视觉显示气象值积累时期如年,月,日。然而,这个压缩算法的使用是有限的,由于大规模的累积值,需要可视化精度小数点后3位有效数字。

切片:金字塔切片满足本研究的效率要求。可视化效率可以进一步提高采用其他算法,如利用算法,基于特定的要求。

传播和呈现:在这项研究中,图像渲染数据从原始数据中分离了出来。原始数据层0,而其他层中的数据在web页面上呈现,因此保留特征值在可视化,这比电网抽水和可视化。此外,基于WebGL技术框架完全的呈现方法使用浏览器的功能,减少服务器的压力,利用云计算结合滑动窗口。

数据可用性

数据被保存为Grib2格式,可以从下载http://image.data.cma.cn/test/z_surf_c_babj_p_cmpa_rt_chn_0p01_hor pre - 20210720. - rar,数据文件可以解码软件的华丽服饰(https://www.giss.nasa.gov/tools/panoply/)。

的利益冲突

作者宣称没有利益冲突有关这篇文章的出版。

作者的贡献

何平杨和Ying-Rui太阳原始概念研究和发展研究项目;南陈和陈京华分析数据;齐王,明杨处理数据;何平杨和小薇江泽民写初稿;Zi-Mo霍和冯Ming-Nong比较了不同方法的结果。所有作者已阅读及同意发布版本的手稿。

确认

这项工作是支持中国国家重点研发项目的一部分(2016 yfa0600301);浙江省的主要项目,中国(2021年格兰特c02036);和中国的重点研发项目(批准2018 yfc1505601)。作者感谢教授。夏回族高,张清运,徐为有益的讨论。