到处都是传感器数据的大小和种类他们生产快速增长。连续,新概念正在成为传感器的类型和使用稳步扩大。例如,统计数据显示,在互联网上的东西远比在互联网上的用户数量( 2]。这个推理定义了物联网(物联网)随着互联网有关的事情。在物联网“东西”这个词,第一次使用1999年由阿什顿( 3),是一种愿景,包括物理对象。这些对象,收集信息并将其发送到网络自主,RFID标签,传感器、GPS、相机和其他设备。物联网和互联网之间的联系使人与人之间的沟通和对象,对象之间,如wi - fi和人们之间自己连接,RFID, GPRS, DSL,局域网和3 g。这些网络生成大量的数据,难以与传统的数据库技术存储和分析。

物联网使人们之间相互作用、对象和网络通过远程传感器。传感器设备,它可以监控温度、湿度、压力、噪声水平,和照明条件和检测速度,位置和大小的一个对象( 4]。传感器技术最近已经成为一个蓬勃发展的领域包括许多工业、医疗保健、和消费应用程序(如家庭安全系统、工业过程监控、医疗设备、空调系统、智能洗衣机、汽车安全气囊、手机、和车辆跟踪系统。

由于传感器技术的飞速发展,传感器和传感器数据的数量的数量已经增加了难以置信的利率。处理和分析这样的大数据需要巨大的计算和存储成本与传统的SQL数据库。因此,传感器数据存储平台解决方案的可伸缩性和可用性需求导致NoSQL数据库的使用,能够有效地分配数据在许多服务器和动态添加新属性数据记录( 5]。

NoSQL数据库,主要是开源的,可以分为以下类别。 (我)

键值存储。这些数据库系统存储索引的键值。这类的例子 复述,、项目 伏地魔, Riak,日本内阁。

键-值等不同类别的NoSQL数据库、文档,和宽栏商店,提供高可用性、性能和可伸缩性大数据。文献[ 6)提出了双层架构与数据模型和替代移动web映射解决方案使用CouchDB的NoSQL数据库,可以在几乎所有的操作系统。

et al .(范德维恩准备研究 7]讨论了可能性使用NoSQL数据库如MongoDB和卡桑德拉在大规模传感器网络系统。结果表明,尽管卡桑德拉是最好的选择对于大型关键传感器应用,MongoDB的最佳选择是一个小型或中型的非关键传感器应用程序。另一方面,MongoDB有温和的性能在使用虚拟化;相比之下,卡桑德拉的读性能严重影响虚拟化。

在大量使用传感器的结果在大容量的数据存储和处理。数据是有价值的信息提取和使用。信息提取需要工具和算法来识别有用的信息,如故障信息或系统诊断信息收集的数据从传感器中深埋。可以使用数据挖掘和机器学习等任务。然而大数据分析需要非传统的方法,统称为大数据。

的名字是大数据的集合理论,算法和框架,处理非常大量的数据的存储和分析。换句话说“大数据”是一个术语成熟随着时间的推移,大量的数据难以储存,管理,使用传统的数据库和软件技术和分析。近年来,大数据分析已经成为最受欢迎的主题在这世界,吸引了学术界和业界人士的兴趣。规模的快速增长,各种数据和速度力量开发人员构建新平台来管理这种极端大小的信息。国际数据公司(IDC)称,数字宇宙中数据的总量将在2020年达到35 zb 8]。IEEE Xplore指出,“在2014年,最受欢迎的搜索和下载IEEE Xplore是:大数据,数据挖掘、云计算、物联网、网络安全、智能电网和明年创无线(5克)”( 9]。

大数据有很多挑战等几个方面不同,体积,速度,准确性,和价值。品种是指等不同形式的非结构化数据信息,社交媒体对话,视频和照片;指的是大量的数据量;速度是指以多快的速度数据生成和速度需要分析;真实性指的是数据的可信度;价值,最重要的V大数据,指的是价值的数据存储在不同的组织 10]。为了促进更好的理解大数据挑战5 v,描述图 1显示了不同类别对大数据进行分类。

在大数据的类别分类,大数据地图可以在七个方面:(i)数据来源,(2)数据类型,(iii)内容格式,(iv)数据存储,(v)分析类型,(vi)基础设施和(七)处理框架。

数据来源包括以下几点:(一)人为的数据从Facebook和Twitter等社交媒体数据或短信、互联网搜索,博客,评论,和个人文件;(b)业务事务数据,如银行记录、信用卡、商业交易,和医疗记录;(c)从物联网机器生成的数据如家庭自动化系统移动设备和计算机系统日志;(d)各种类型的传感器,如流量传感器、湿度传感器、和工业传感器。

来自网络的数据量、传感器、卫星,和许多其他来源克服了传统的数据分析方法,为新类型的MapReduce编程模型等。2004年,谷歌发布了MapReduce文献[ 11),展示了一种新型的分布式编程模型,便于高性能并行程序运行在大数据使用硬件。基本上MapReduce程序由两个主要模块,地图和还原剂,用户定义的项目由使用MapReduce API实现。因此MapReduce工作是由几个过程,如分裂和分发数据,映射和减少代码,结果写入到分布式文件系统。有时使用MapReduce分析数据可能需要运行不止一项工作。工作可以是相互独立的,也可能是链接对于更复杂的场景。

MapReduce范式效果如图 2:MapReduce工作由一个主控制节点和分裂成两个函数调用Map和Reduce。Map函数将输入数据划分为一组键值对,每个地图的输出任务是按他们的关键。Reduce函数合并成最终结果的值。

MapReduce,谷歌的大数据处理模式,已经在开源项目中实现像Hadoop 12]。Hadoop一直是最受欢迎的MapReduce实现和使用许多项目从大数据行业的所有领域 13, 14]。所谓的Hadoop生态系统还提供了许多其他大数据工具比如Hadoop分布式文件系统( 15),用于存储数据集群,猪 16),一个引擎对Hadoop并行数据流执行,HBase [ 17),谷歌的大桌子像非关系分布式数据库,蜂巢( 18),在Hadoop数据仓库软件和数据分析软件像Mahout 19]。

Hadoop MapReduce框架的主要优点是可伸缩性、成本效率、灵活性、速度、和韧性失败( 20.]。另一方面,Hadoop并不完全支持复杂的迭代算法进行机器学习和在线处理。

其他MapReduce-like系统是Apache火花和鲨鱼 21],HaLoop [ 22),和捻线机 23]。这些系统提供更好的支持某些类型的迭代统计和复杂的算法在MapReduce-like编程模型,但仍缺乏大多数关系数据库系统的数据管理功能 24]。通常这些系统还利用以下几点:(1)与功能和并行编程语言功能比如Scala、Java、Python或;(2)NoSQL存储;(3)MapReduce-based框架( 25]。

Hadoop使用Hadoop分布式文件系统(HDFS),这是谷歌的开源版本文件系统( 26]。HDFS中的数据存储每个块为基础。第一个文件分割成块,然后在Hadoop集群分布。HDFS中的每个块在默认情况下是64 MB,除非块大小是由用户修改 15]。如果文件大于64 MB的HDFS分裂从一条线文件大小不超过最大的块大小和其余的线(文本输入)是搬到一个新的块。

Hadoop使用主从架构。名字节点和工作跟踪主节点而数据节点和任务跟踪器从集群中的节点。输入数据划分成块,这些块放入名称节点拥有的元数据块的Hadoop系统知道哪块存储在数据节点。如果一个节点没有它不破坏的完成工作,因为Hadoop知道那些块存储的副本 27]。工作跟踪和任务跟踪器跟踪的执行流程。他们有一个类似与名字节点和数据节点。任务跟踪负责运行工作跟踪的任务和发送消息。工作跟踪与任务运行的进程的跟踪并保持记录。如果就业跟踪系统检测到一个任务跟踪系统失败或无法完成其工作的一部分,它计划缺少执行另一个任务跟踪器( 14]。

有效地运行Hadoop大数据需要建立集群。虚拟化技术的进步有显著降低的成本建立这样的集群;然而他们仍然需要重大的经济投资,在大多数情况下许可费用,人工干预。云计算提供了一个成本效益的方式提供大数据的计算和处理设施,也作为服务模型来支持大数据的技术。

一些开源云计算框架如OpenStack [ 28],OpenNebula [ 29日],桉树[ 30.),和Apache CloudStack允许我们建立和运行基础设施即服务(iaas云模型)。我们可以建立平台即服务(PaaS)比如Hadoop之上这对大数据处理基础设施。

Hadoop集群可以设置在服务器上安装和配置必要的文件。但是它可以是一个艰巨的和具有挑战性的工作当有数百甚至数千台服务器作为Hadoop集群中的节点。云计算系统提供的基础设施,这是易于规模和易于管理网络和存储和提供容错功能。Gunarathne et al。 31日)显示在云环境中运行MapReduce的优势和挑战。他们国家,尽管云计算提供了存储和其他服务满足分布式计算框架的需要,它是不可靠比“传统集群同行,不提供所需的高速互联框架如MPI”( 31日]。

Hadoop平台为本研究创建如图 3。

有几个选项,设置一个Hadoop集群。云系统(比如Amazon EC2提供支付EMR [ 32)集群运行MapReduce工作。在EC2云输入数据可以通过上传文件分发到Hadoop节点主节点。因为价格在云是一个支付的基础上,客户不需要支付空闲节点。亚马逊工作完成后关闭租来的实例。在这种情况下,从系统的所有数据将被删除。例如,如果用户想要运行另一份工作在preused数据他/她必须上传一遍。如果数据存储在Amazon Simple Storage Service (Amazon S3) [ 32用户可以使用它,只要他/她支付存储费用。亚马逊也提供了一些工具,用于监视工作Hadoop的工作。

分析大数据需要使用数据挖掘和机器学习算法。有许多友好的机器学习框架如RapidMiner [ 33]和Weka [ 34]。然而,这些传统的框架不扩展到大数据由于其内存限制。几个开放源码大数据项目实现了这些算法。这些框架之一是Mahout [ 19),这是一个分布式机器学习框架和Apache软件基金会许可下的。

Mahout提供各种协同过滤算法从分类和聚类,可以并行运行在集群。Mahout的目标是建立一个可扩展的机器学习库使用Hadoop ( 35]。这样,整个任务分析大型数据集可以分为许多子任务和结果的组合的所有子任务的结果。

Ericson和Palickara比较各种分类和聚类算法的性能在两个不同的处理系统使用Mahout库:Hadoop和颗粒 36]。他们的研究结果表明,颗粒实现的处理时间是快于Hadoop,这花大部分的处理时间从文件加载状态,每一步 k 则,模糊 k ——、狄利克雷和LDA(潜在狄利克雷分配)聚类算法。他们看到增加的标准差为朴素贝叶斯和互补的贝叶斯分类算法实现颗粒。Esteves et al。 37评估的性能 k 聚类算法则在Mahout使用一个大型数据集。测试运行在Amazon EC2实例,证明Mahout的执行时间或聚类时间减少,随着节点数量的增加和性能提升的达到从6%到351%,当数据文件大小从66 MB增加到1.1 GB。因此,Mahout演示了糟糕的性能并没有获得文件小于128 MB。另一项研究中所描述的( 37)提出了两种不同的聚类算法的性能分析: k 使用Mahout框架,则意味着转变。实验结果表明 k ——比均值漂移算法算法具有更好的性能,如果文件的大小超过了50%。

MLLib [ 38),一个模块的火花( 21),一个in-memory-based分布式机器学习框架在伯克利AMPLab发达,也许可在Apache Mahout软件许可证。这是一个快速和灵活的迭代计算框架,旨在创建和分析大型数据驻留在内存中。它还提供了高级的api在Java、Python和Scala使用类似于Hadoop分布式数据和解决方案提供Hadoop提供了一个内存处理。火花支持四个集群中运行模式如下: (我)

独立的部署模式,使火花集群上运行一个私人使用一组部署脚本;另外所有火花进程运行在同一Java虚拟机(JVM)进程独立的本地模式;

当机器学习算法进行分布式框架使用MapReduce两种方法是可能的:所有迭代结果可以写入磁盘和从磁盘读取(Mahout)和所有迭代结果可以存储在内存中(火花)。这一事实本身处理数据从内存会比从磁盘,火花提供显著的性能改进相比Mahout / Hadoop。

火花提出了一种新的分布式内存抽象,称为弹性分布式数据集(抽样),它提供了一个数据结构的内存计算大型集群。抽样可以实现容错,这意味着如果一个给定的任务失败,由于一些原因,如硬件故障和错误的用户代码,数据丢失可以自动恢复和重建的剩余的任务( 39]。火花更强大的和有用的迭代计算比现有的集群计算框架,通过数据抽象编程包括抽样、广播变量和蓄电池( 21]。最近发布的火花,许多丰富的工具,如数据库(SQL火花而不是鲨鱼SQL),机器学习库(MLLib),和一个图形引擎(GraphX)也被释放。MLLib [ 38)是一个火花组件实现机器学习算法,包括分类、聚类、线性回归,协同过滤,分解。由于火花,迅速改善MLLib最近吸引了更多的关注和支持来自开源社区的开发人员。

火花和Hadoop表演的比较结果提出的( 40)表明,火花优于Hadoop在执行简单的项目如WordCount和Grep。在另一个类似的研究( 41),它已被证明 k 则算法火花MapReduce大约5倍;数据的规模非常小。相反,如果数据集不断变化过程中,引发MapReduce失去了优势。劳森( 42)提出了一个分布式乘数法名叫交替方向法(小组ADMM)来解决优化问题使用Apache火花。另一项研究的结果( 43],它倾向于实现MapReduce的火花而不是提出分布式方法由于效率低下的迭代算法,证明了分布式牛顿法是有效的培训与容错逻辑回归和线性支持向量机提供的火花。Hadoop的性能比较,火花,DataMPI使用 k 则和朴素贝叶斯的基准中所描述的工作负载( 44]。结果表明,DataMPI和火花可以更有效地使用CPU比Hadoop 39%和41%的比例,分别。几个相似的研究也指出,火花是适合迭代计算和可扩展的机器学习应用程序的其他优点,相比,分布式机器学习框架基于MapReduce范式。

GPS是一种最常用的位置检测技术,这是一个太空卫星导航系统提供全球接收器的时间和位置信息( 45]。它在1995年开始全面运作,自那以来一直用于许多工业和学术项目。

一个主要使用GPS车辆跟踪应用程序。在这项研究中我们使用一个叫Naviskop商用车辆跟踪系统( 46),开发的Firat科技园,埃拉泽,土耳其。Naviskop已经使用了将近一年,作者积极协作的发展系统。我们使用GPS传感器安装在45种车辆。司机和车辆的身份不是研究中使用。

GPS传感器主要用于实时跟踪对象的位置以及检查过去的历史位置。然而在大多数GPS应用程序数据没有分析。在本研究中我们使用车辆的定位数据发现隐藏的有趣的信息。例如,通过应用机器学习算法,GPS数据可以揭示个人的驾驶习惯,最受欢迎的地方,人们访问他们的车辆,和交通密度在一段时间内。一些学术研究调查的使用位置数据与数据挖掘和机器学习算法( 47- - - - - - 50]。

GPS接收器安装在车辆上有能力通过GPRS报告自己的位置。传感器到TCP服务器打开一个连接在每100米位置等情况变化或每30度。

我们使用QuickServer,一个开源的Java库的快速创建健壮和多线程,multiclient TCP服务器应用程序和功能强大的服务器应用程序( 51]。QuickServer支持multiclient TCP服务器应用程序和安全连接像SSL和TLS,每个客户端线程,非阻塞通信,等等。它有一个远程管理的界面称为QSAdminServer可以用来管理服务器软件的每一个方面。

QuickServer用于收集GPS发送的实时数据服务器。我们创建了一个数据过滤和解析程序在服务器上立即提取有用的信息并将它插入到数据库中。

从传感器收集的数据通常存储在一个数据存储解决方案。然而随着传感器的数量,因此增加的数据量就变成一个重要的任务,不断储存它。传统的传感器数据存储解决方案建议存储数据只有特定的一段时间。然而从传感器收集的数据是有价值的,因为它们可能携带隐藏图案错误或诊断信息。出于这个原因,我们已经创建了一个可伸缩的、分布式数据存储子系统用于存储传感器数据,直到他们进行了分析。

开源NoSQL数据库提供有效的替代大量的传感器数据存储。在本研究中我们使用MongoDB,一个流行的开源NoSQL数据库( 53]。MongoDB是一个面向文档的数据库支持存储JSON-style文档。它提供了高性能、高可用性和可伸缩性。文件存储在MongoDB可以映射到编程语言的数据类型。动态模式支持多态性容易实现。MongoDB服务器可以自动复制主故障转移。规模的数据库,自动聚类(分片)将数据收集分布在机器上。

MongoDB已在数个研究中调查,被用于各种类型的商业和学术项目( 54- - - - - - 58]。

使用MongoDB的主要原因在我们的实现中是提供高性能支持QuickServer写。它还允许我们轻易规模的数据库使用情况下,大量的传感器。

无限期地存储传感器数据是系统的一个非常重要的特性。然而传感器数据必须进行分析找到重要的信息如预警信息和故障信息。数据分析可以通过简单地使用统计方法以及通过使用更复杂的数据挖掘和机器学习算法。在这项研究中,我们已经创建了一个可伸缩的、分布式数据分析子系统使用大数据技术。我们的目标是能够运行先进的机器学习算法在传感器数据寻找有价值的信息。

大数据处理需要处理能力以及存储支持通常提供的计算集群。集群通常使用多个服务器创建;然而虚拟化允许我们最大化创造集群资源利用率,降低成本。虚拟化能够帮助我们在一个物理机器上运行多个操作系统进而可以用作集群节点。另一方面,由于大多数虚拟化软件需要高许可费或广泛的专业背景,我们利用开源云计算软件OpenStack呼吁创建Hadoop集群的计算节点。

OpenStack的流行的云计算技术提供了许多机会大数据处理可伸缩的计算集群和先进的数据存储系统应用和科学研究人员( 28, 59- - - - - - 61年]。云计算堆栈可以分类三种服务模型:基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS), IaaS是最灵活和基本的云计算模型。IaaS提供了访问和管理电脑硬件,存储,网络,与一个可配置的虚拟服务器和操作系统( 62年]。IaaS提供商包括Amazon EC2、Rackspace的云,和谷歌计算引擎(GCE)。OpenStack,在这项研究中,使用的是一个iaas云计算软件项目基于Rackspace和NASA开发的代码。OpenStack提供了一个可伸缩的、灵活的和开源的云计算管理平台。的比较研究 60)表明,OpenStack是最好的开源云计算的参考解决方案。OpenStack为管理提供了一个基于web的GUI系统和创建/删除虚拟机。图 5显示了我们OpenStack安装的资源使用情况的概述。

在这项研究中,我们创建了一个私有云使用OpenStack和6运行虚拟机实例(主节点操作工人)Hadoop集群节点(见图 6)。