文摘
在21世纪,交通带来了巨大的便利,但与此同时,汽车运输是造成温室气体排放和气候变化的主要因素。运动世界走向绿色环境,提高电动汽车的使用和生产(能源汽车)。然而,随着能源汽车的数量持续增长,政府有必要在充电桩的建设提供强有力的支持。实时、有效的管理已成为一个实际的问题需要解决的有关部门。本文使用的研究方法的信息融合产生的大量的异构数据的新能源电动汽车充电桩复合车辆网络,介绍了云计算的存储模块,以方便大数据的存储和相关扩展。提出了一种基于云计算的异构数据融合系统方案的采集、存储和异构数据融合的车辆网络。后测试结果,结果表明,该系统是稳定的和有效的在实际应用程序中,可以满足系统的设计要求。什么是大数据分析的重要性充电点吗?考虑从供给方面,获得用户的充电行为数据有助于建立一个数字地图的新能源汽车充电桩,连接汽车企业之间的服务信息和充电桩企业,并提供最全面和有效的实时收费信息覆盖广泛的车辆,可以解决许多问题,信息不对称在当前信息服务收费。
1。介绍
绿色交通的重要性体现不仅可持续发展的概念,而且气候稳定对人类健康的影响(1]。中国新能源汽车有一个强劲的发展势头。他们已经迅速发展的模式匹配,技术研究和开发,以及新能源汽车消费市场,突破领域的企业,技术和市场。然而,他们也面临着巨大的挑战:弱工业规模效应,成本和价格高,电池寿命短,电池问题,纯电动汽车充电方便问题[2]。
首先要解决电动汽车是电池的问题,而在于重量和使用寿命。电动汽车充电的便利也大规模生产的一个重要因素。一辆车以50升的一个普通的油罐容量可以填满一箱油在5或6分钟。电动汽车的充电时间是否可以控制在几分钟内是不确定的。某电动汽车只能收取70%在10分钟内一种特殊的充电站,需要6 - 7小时是在家庭220伏插座完全充电。许多汽车的人在中国,停在地下停车场或社区的停车位,很少有匹配的充电插头。这是一个好方法建立充电站的加油站,但电池充电时间应保证,重复充电后,电池的使用寿命也是未知的。因此,充电桩的建设将发挥重要的作用在新能源电动汽车的正常运行,以及如何合理构建充电桩已经成为一个迫切要解决的问题,由政府(3,4]。
从长远来看,预计大数据改变的竞争生态新能源汽车市场。一方面,大数据有利于了解顾客的消费偏好,实现定制化产品服务。在未来,汽车制造业预计将提供一个新格式的“硬件+软件+服务”;另一方面,它将连接大数据的电池可跟踪性和退休的平台,和全生命周期管理的动力电池也将实现数字化和信息化的完美结合5]。
建立一个长效机制的健康发展新能源汽车产业链整合的资源是分不开的。大数据的真正价值在于数据分析,深度挖掘数据的价值,提供高质量的数字服务,和促进价值成就有利于行业的发展,从而达到长期发展的目标。的前提是数据采集挖掘大数据价值的新能源汽车。只有通过促进新能源汽车的数据共享,才能发挥更大的市场价值,为用户提供更好的服务。然而,很难实现产业在这个阶段之间的互连。收费困难的一个重要问题限制了新能源汽车的发展,但它不仅充电桩的数量也密切相关充电桩的收费服务企业。现在,有许多企业提供充电服务。充电桩企业的核心数据数据,所以很难整合桩企业的相关数据6]。
大数据应用程序实现互连的汽车,人,和桩,将充电桩的数据集成到移动电话和汽车的机器,和为新能源提供私密数据服务所有者。丰富有趣的使用也将为促进新能源汽车的很多好处。驾驶行为是一个非常典型的应用场景的大数据。驾驶行为的质量不仅影响能源消耗的水平,也会影响司机的驾驶肖像,包括驾驶习惯、充电的习惯,应急响应,和其他场景7,8]。
目前,许多企业充分挖掘大数据的潜在价值在新能源汽车领域,例如,通过监视操作数据,提高用户的使用行为,并实现智能健康管理的整车和动力电池;通过OTA系统,实现BMS的升级,确保车辆的充电安全;构建一个智能交互式系统边缘上的BMS和云之间,使BMS边缘更加准确的功能;建立高精度的计算模型,消除最大程度的估计偏差,并实现高精度电池的计算能力;建立的系统模型电池容量和电池安全,实现安全预警;分析动力电池的衰减数据,实现快速雁行利用率、分类和优化整个生命周期管理的动力电池9,10]。
大规模异构数据的集成网络的汽车是一个重要技术手段构建绿色城市、绿色交通工具。在网络技术的支持下,可以快速、准确地提取有价值的信息从大量的交通数据,和远见,倡议,及时性,协调交通管理可以大大提高。互联网的快速发展背景下的车辆、异构数据融合在互联网的车辆基于云计算必将发挥重要作用在改善道路交通管理中,使绿色交通更多的“可持续”(5]。
2。新能源汽车的大数据基础
传统的数据分析领域主要是基于结构化数据如表数据,这是相对稳定。随着计算机的兴起,互联网的事情,和其他技术,大量的非结构化数据,如图像,声音,和视频,开始出现,数据规模还显示一个爆炸性的增长趋势。完全理解大数据的基础上,准确把握大数据的特点将有助于我的大规模数据的内在价值(11]。
2.1。大数据的特点
霍尔瑞斯,1890年,美国统计学家发明了电动机器使美国人口普查数据和统计完成预期的工作一年八年,这被认为是最早的大数据方法的应用实例。在20世纪,人类社会步入电脑和互联网的时代,和数据也进入了一个爆炸性增长的阶段。2008年,全球数据量只有0.49 ZB,而在2017年,全球数据量是21.6 ZB, 2008年的44倍。研究人员预测,到2020年,全球数据量将达到35 ZB。以今天的知名互联网企业为例,谷歌需要处理近100 Pb的数据每个月,和淘宝每天的在线交易数据达到10 TB (3]。
然而,大数据不仅是一个大型的数据集,但也仅仅是有偏见的定义而言,大数据量。兰妮[12分析师)元组,提出有三个主要挑战大数据管理在未来:体积,速度,和种类。在此基础上,一些研究人员补充真实性和价值深度的两个概念,形成了“5 v”大数据的特征。大数据的“5 v”特征主要反映在其处理、计算和存储过程。然而,传统的技术不是胜任大数据分析和处理也不能实现大数据的实时在线计算。与此同时,传统的数据处理技术主要是基于结构化数据,不能处理非结构化数据如文本、图片、和媒体。大数据处理技术的发展是一种有效的方法来解决当前的数据处理需求(12]。
2.2。大数据处理技术
出现之前的现代大数据处理架构,技术人员使用MPI(消息传递接口)编程模型和方法来处理大规模数据。MPI是一种高性能的并行消息传递接口,这是主要的数据编程和计算载体。它可以充分利用并行计算硬件资源,广泛应用于物理、气象等领域(13]。
由于缺乏良好的架构支持,自动化程度低,复杂的编程,程序员和沉重的任务,研究人员开发了Hadoop MapReduce处理系统。MapReduce是主要用于大规模数据的并行处理。首次由谷歌开发的研究团队内部员工来处理数据。之后,Apache Nutch扩大MapReduce的技术团队Hadoop MapReduce,一个开源的基于Java语言的并行计算框架系统。以其杰出的任务调度功能,数据恢复,和系统优化,它已成为主流的大数据处理系统,这是学术界和工业界的广泛使用(14]。
MapReduce是专为离线批处理的数据。当需要在线快速数据处理时,MapReduce效率很低。火花大数据处理系统开发在2013年吸收了Hadoop MapReduce的优点,大大提高并行计算的性能,弥补了后者在数据实时计算的缺点,并使现代大数据分析技术更加完整。初的火花,Scala,专业的函数式编程语言,是作为开发语言,限制引发的使用和推广。许多常见的编程语言(比如Python和R)支持的功能,以及数据结构数据集的更新。火花正逐渐被大多数接受数据研究[15]。
除了火花,Flink从欧洲也是一个常用的平行大数据处理系统。Flink支持流媒体和批处理计算,有比较丰富的数据转换接口。不同的火花,Flink有独特的存储管理机制,可以节省大量计算空间。与此同时,它可以自动优化程序,以避免冗余的结果缓存。它提供了各种各样的编程语言如Java接口,Scala,和Python进一步促进用户的使用;Flink还提供表计算、复杂事件处理、和其他大数据计算库,可以与其他主流集成处理系统。用户可以选择相应的处理系统灵活和容易根据自己的实际需要16]。
前面提到的大数据处理系统可以分为四个类别根据处理对象和处理形式:批处理系统中,流媒体实时处理系统,实时交互式查询系统,图形数据处理系统。
2.3。新能源汽车国家监测和管理平台
大数据技术的结合的前提下,新能源汽车是建立大数据平台来有效地收集大量的数据资源。为了解决在中国新能源汽车的安全问题,提高新能源汽车行业的监督和促进新能源汽车产业的发展,工业和信息化部成立全国新能源汽车监控和管理平台(以下简称平台)于2016年在北京。到2019年,汽车的数量与全国平台已经超过220万。据估计,700万辆汽车将连接在2020年和8000万年的2025人。国家平台的建立为政府起着重要的辅助作用,加强新能源企业和车辆的安全监察17]。
全国平台体系结构主要是基于Linux系统和Java编程语言和构建Hadoop系统。Hadoop是目前主流的大数据处理架构。国内外有很多先例,采用Hadoop架构建立大数据平台,涵盖医疗、银行、轨道交通、电力系统等领域。它的模式已经非常成熟14,15]。
国家平台的现有数据类型主要分为静态数据和动态数据。静态数据,也称为文件数据,包括基本的车辆信息,如车牌号码、车辆VIN号码,汽车制造商,车辆类型和销售区域。动态数据的数据类型分为在线实时运行数据和离线存储历史数据。两种类型的数据之间的差异在于不同阶段和存储位置。实时运行数据是当前传输数据,不断更新和替换和实时存储在缓存,这样员工可以监控车辆运行的安全性。替换数据将被转化为历史数据并存储在一个专用的服务器为研究人员称并检查(15]。
有三种数据帧间隔的实时操作数据:1 s, 10年代,30年代。根据GB / T 32960的要求,收集到的数据项主要从以下系统:动力电池系统、电机驱动系统、车辆控制系统等部分。动力电池系统的数据主要包括电池的总电压和电流系统,SOC,电池电压、电池系统的特征点温度。电动机驱动系统的数据主要包括电机电压和电流、速度、扭矩、温度。车辆控制系统数据主要包括车辆速度、齿轮信息,油门踏板旅行,和GPS的位置。此外,还有空调信息,胎压状态,和其他信息数据(6]。
基于隐私保护的原则,新能源汽车在私营部门仅完成监控数据传输失败的事件警告。在公共交通领域、新能源公交车,出租车,物流车辆周围传递完整的数据时钟,以确保公共交通的安全。国家平台主要执行行业监管职责,而研究人员使用操作的数据来分析和研究电池系统,驾驶行为、车辆能源消耗、收费行为,等等,以促进新能源汽车产业的整体发展18]。
2.4。国外发展现状
目前,全球能源和环境系统正面临着巨大的挑战。作为一个主要玩家在石油消费和二氧化碳排放量,革命性的改变是必要的。目前,全球新能源汽车发展达成共识。从长远来看,纯电力驱动,包括纯电动汽车和燃料电池技术,将新能源汽车的主要技术方向。在短期内,混合动力和插电式混合动力将是一个重要的转型路线。目前,全球新能源汽车的发展仍然面临着一些共同的问题,如突破关键技术,转变汽车工业,基础设施建设,消费者接受(19]。具体到每个国家,应该说,新能源汽车的发展的主要领导人是美国、日本和一些欧洲国家。这些国家比中国早得多,他们的开发集中在每个19]。
美国长期以来一直专注于策略,以减少对石油的依赖和确保安全的新能源。花了新能源汽车的发展作为一个重要的措施从根本上摆脱对石油依赖的交通领域和新能源汽车的战略地位决定以法律法规的形式。早在克林顿时期,美国提出计划提高燃油经济性,和混合动力是主要的技术解决方案。在布什时代,它变成了一个追求零排放和零石油的依赖。主要是氢燃料电池汽车的技术解决方案。之后,有一个计划来实现20%石油替代和节省十年。生物质燃料的主要手段。国际金融危机后,奥巴马政府将大力发展电动汽车作为一种重要的实施新能源战略的一部分。它提出了总共40亿美元的动力电池和电动汽车的发展和工业化的计划。专注于电动汽车供电(20.]。
与美国和日本相比,欧洲更关注于温室气体减排策略。满足日益严格的二氧化碳排放的限制已经成为一个主要的驱动力为新能源汽车的发展在欧洲。新能源汽车的发展在欧洲早期主要是基于生物质燃料、天然气、氢燃料。在本世纪初,石油替代23%的目标是2020年提出的。最近,欧洲已经非常关注电动车。例如,德国高度重视电动汽车的发展由纯电力驱动,专注于纯电力,并提出2012年的工业化和市场化的目标,2016年和2020年,分别为(21]。
3所示。系统整体设计
针对新能源电动汽车获得的数据管理系统,需要大量的人力和财力来找到充电桩(22]。本文构建了一个系统的硬件平台,包括车辆的异构数据融合网络和大规模异构数据应用的云存储16]。本文使用数据收集和存储的三种方式,即、数据采集、数据存储和数据融合显示。数据采集端负责数据收集和数据上传;数据存储端使用云存储,负责车辆网络异构数据分类存储;和数据融合显示层和数据存储层进行通信实现显示相关的异构数据融合。其完整的结构如图1。
移动终端的数据采集端用于互联网的车辆。它主要是一个聪明的设备内置传感器和Android操作系统,如智能手机和智能后视镜。服务器和数据库端使用一个分布式系统的三个主机,包括分布式文件系统(HDFS),非关系数据库MongoDB和关系数据库MySQL。数据融合显示的硬件设备指的是笔记本电脑或台式电脑。后来意识到远程调用的应用程序相关的数据融合的三种类型,即。异构数据的文本、图片和视频存储在服务器上。
4所示。数据采集模块
Android操作系统的一个优点是,它有丰富的应用程序web应用程序集成和用户可以很容易地开发它根据自己的需要。这个模块是整个物联网的底层异构数据融合系统[16]。物联网的感知层三层架构是整个系统的数据来源,主要负责收集实时GPS数据信息,图片信息和视频信息的车辆。Android数据收集的车辆数据模块的后续实现车辆管理奠定了基础(23]。
在整个系统中,智能设备与一个Android操作系统作为数据采集结束。智能设备本身带有多种传感器,如GPS定位系统,摄像机,无线网卡。车辆的实时GPS位置信息通过传感器提供的设备,和相机,录像功能可以执行使用相机。异构数据在整个过程中可以通过无线网络上传至云存储数据库服务器或数据流量。Android的具体数据采集端架构图如图2。
Android数据采集终端的主要功能是帮助用户注册管理模块的权限管理,获得实时的GPS文本信息,并上传定位信息模块的关系数据库MySQL。从照片存储位置和选择图片上传数据的实时画面。MongoDB非关系数据库图像上传模块和视频实时捕捉,并且上传到HDFS存储视频上传模块(24]。
5。云存储数据模块
这个模块主要用来保存数据上传的Android实时数据采集模块。的云存储模型图所示3,数据相关的状态存储表示。主要目的是分类和存储的三种异构数据文本,图片,视频和选择适当的存储系统相关存储根据其特点。文本数据的关系数据库MySQL被选中,图像数据,非关系数据库MongoDB被选中。视频数据是存储在分布式文件系统(HDFS)因为它们占用更多的内存。
5.1。MySQL文本数据存储
文本数据采集终端上传的数据存储到MySQL数据库,和主要上传文本信息是GPS实时位置信息。有7个字段在上传数据,如GPS数据字段在表所示1,主要领域是特别著名。几部分在MySQL存储数据如表所示2。
数据通过Android客户端首先上传到Tomcat服务器,然后Tomcat服务器中的数据转移到MySQL数据库。内容存储在MySQL数据库ID(如果婚后ID),经度(经度)、纬度、时间、序列号、Mac (IMSI代码),备注(IMEI代码)。
实时上传过程。只要安卓客户端应用程序启动,获得GPS文本数据实时上传到相应的Tomcat服务器,和在Tomcat服务器的数据也上传到相应的MySQL实时关系型数据库。MySQL数据库中存储的数据可用于路径回溯,以及定位等相关应用程序。在整个系统中,智能设备与一个Android操作系统作为数据采集结束。智能设备本身带有多种传感器,如GPS定位系统,摄像机,无线网卡。车辆的实时GPS位置信息通过传感器提供的设备,和相机,录像功能可以执行使用相机。异构数据在整个过程中可以通过无线网络上传至云存储数据库服务器或数据流量。
5.2。MongoDB图像数据存储
图像存储模块使用MongoDB的分布式非关系数据库集群由三个主机。分布式集群采用的形式分享+副本集。共享是用于添加相关机器切大文件存储。副本集确保每个碎片节点自动备份和自动故障转移功能(24]。
在云存储系统构建、所有节点的操作系统是centos 1161. - 7 - x86_64 dvd - - iso。MongoDB集群包含三个服务器:服务器:192.168.118.100,服务器B: 192.168.118.101,和服务器C: 192.168.118.102。在表3,显示了MongoDB架构图24]。
5.3。HDFS视频数据存储
安装一个完全分布式的Hadoop集群存储视频数据上传的数据采集。因为HDFS是一个分布式文件系统中使用常见的硬件设备,HDFS是高度容错,可以部署在低成本的硬件。它提供了高通量功能访问应用程序数据和适用于具有非常大的数据集的应用程序(25]。因此,视频存储模块使用一个three-host Hadoop完全分布式集群。相关的节点分配状态如图4。
sHadoop(2.5.2)集群配置可分为两个步骤。第一步是配置在Hadoop252。第二步使用SCP命令配置文件复制到奴隶01和02年奴隶子节点。
三个虚拟主机通过VMware工作站为平台测试。Hadoop集群分配Hadoop252 HDFS的管理节点,slave01管理节点的纱,Hadoop252, slave01, slave02主机安装过程作为存储数据节点,纱线节点管理器节点如图4。
为了实时数据上传视频到HDFS,需要安装NFS文件系统(网络)。NFS的主要功能是实现文件共享在网络,它允许网络上的计算机在TCP / IP网络共享资源。当地一个NFS客户机应用程序可以透明地读取和写入文件位于远程NFS服务器就好像它是一个本地文件。本文主要使用NFS挂载HDFS本地目录。两个目录之间的文件共享可以执行。显示的内容是一样的。因此,安卓客户端视频数据上传HDFS和实时上传到本地目录。通过这种方式,视频数据实时上传到HDFS (26]。
6。数据融合显示模块
随着互联网的快速发展,许多信息系统与互联网相关的汽车已经逐渐从C / S架构转向Web应用程序基于B / S体系结构形式。这个模块主要是开发B / S架构。服务器的开发过程使用相关函数,然后在浏览器端实现相应的功能通过相关工作。数据融合实现的主要模块包括注册登录、实时位置和路径回溯(16]。
6.1。节点。js的实时位置
开发实时位置显示应用程序通过JavaScript语言的节点上。js平台,主要是基于百度地图的结果系统显示页面和页面收集用户信息和与用户进行交互。JavaScript调用百度地图通过百度地图API添加自定义功能组件,以满足用户的需求。百度地图API是一组基于百度地图服务免费提供的应用程序接口供开发人员使用。用户可以介绍百度地图API在JavaScript代码通过使用<脚本>标记引入百度地图API页面中。好的结果数据在地图上介绍了图形界面。
当安卓客户端无线传送的位置信息,图片信息和视频信息到服务器,服务器执行提取、分析和处理。车辆实时监控客户端上传的位置信息,以及实时图像显示在百度地图的背景结合上传的实时图像,和相对应的实时位置信息和图片信息时显示相应的车辆。
6.2。Java Web路径回溯
动态显示的页面使用Ajax技术是不可避免的,这是一个创建交互式web应用程序的web开发技术,它可以动态刷新显示的页面的特定部分。这部分的路径回溯是通过Ajax技术,动态地显示给用户。
应用程序实现过程主要从以下三个方面进行,即读数据,加载数据和地图页面。
6.2.1。数据读
查询序列号、时间和GPS设备的纬度和经度动态存储在MySQL数据库和提供所需的数据画出车辆轨迹。
6.2.2。加载数据
这个应用程序是通过Java Web开发的。通过处理查询页面和处理收到的数据处理数据的筛选条件SQL查询数据,查询记录是封装到一个Java类和处理和传播到页面进行处理。地图开发使用。
6.2.3。地图页面
通过百度地图API调用,二次开发百度地图,画出汽车跑道根据查询历史数据,在浏览器中完成页面布局,收集查询条件,查询请求发送和响应数据。位置信息的处理,完成过滤的车辆和设备的序列号返回的JSON对象,并最终实现路径回溯功能。
7所示。结论
摘要大规模异构数据生成的充电桩对应新能源电动汽车车辆网络的融合,并介绍了云计算的存储模块,这是方便处理大量数据的存储和相关扩展。异构数据采集的问题,存储,和互联网融合的车辆,异构数据融合方法的系统计划在互联网提出了基于云计算的车辆。经过测试,系统运行稳定,有效地在实际应用和能够满足系统的设计要求。
在未来,如果出租车需求数据,充电桩数据,和车辆运行数据可以完全连接,然后车辆操作,充电桩信息,车辆剩余功率,订单分布,等将全面优化和升级,这将是整个旅游生态大有好处。数据将不断创新研发、产品制造、供应链和业务模型,汽车将建立一个新的工业生态系统在大数据。与此同时,大量的数据驱动计算和分析平台的崛起,和汽车企业迫切需要建立计算软实力来赢得未来差异化竞争。
数据可用性
作者确认数据支持本研究的发现可用的文章。
的利益冲突
作者宣称没有利益冲突。
作者的贡献
李琴,阿米特·亚达夫,阿西夫·汗负责概念化,方法,写作和准备初稿。香港刘负责撰写和准备草稿,验证,正式的分析,研究和监督。阿明哈奇在事实的可视化工作。