文摘
在大数据时代,数据的价值是无限的。随着物联网的发展,一切都是相互关联的,和数据的共享和循环尤其重要。本文旨在研究基于区块链的数据共享系统和大数据技术。基于区块链和大数据技术,提出了一种基于一个HDFS文件系统的数据共享系统。和加强数据共享的安全性基于区块链技术,提出了一种安全关键工业数据,大大升级数据共享的安全。本文的实验证明,本文的数据共享系统具有较强的鲁棒性,并选择合适的和可以考虑的计算开销和安全,如(3、5)(5、10),(6、10)。
1。介绍
随着信息全球化的时代,物联网,作为一种新型的技术,在每天的生活中扮演了一个至关重要的角色。物联网不仅是一种技术进步也开始一场新的革命在今天的社会生活。物联网技术的不断进步,一些新领域获得了活力,发挥了至关重要的作用在改善经济和实现社会的长期稳定发展。与互联网的持续发展的事情,重要的是要记住,为了实现全面发展,我们必须充分尊重社会市场的法律,实现政府监管和市场控制的有机结合。促进社会的稳定发展,充分把握市场趋势,实现技术创新。而实现物联网的发展,就必须充分尊重整个市场的发展原则,实现平衡,稳定,和跨多个领域的协调发展,并引导整个社会与经济增长在正确的方向上。
等技术的不断发展,云计算、大数据和物联网,身份管理和数据共享,在线服务的重要性是不言而喻的。面对不断增加的安全威胁,如何建立一个稳定的信任系统多个当事人身份管理和数据共享在分布式环境中,抵抗恶意攻击和保护用户隐私,已经成为迫切需要解决的问题。因此,有必要研究的数据共享和循环产业链。
本文有以下两个创新的基础上前辈的数据共享机制:(1)区块链和大数据技术,数据共享系统提出了基于HDFS文件系统,和HDFS文件系统的核心技术是大数据共享机制。本文基于物联网的无线传感器网络技术,我们升级HDFS文件系统在效率和传输数据量的角度满足大规模数据传输的需要。(2)对于数据共享系统,系统数据的安全流通主要是考虑。基于区块链技术,允许共享数据和传输加密、解密、和其他步骤详细介绍了实现数据的安全效果。
2。相关工作
数据共享一直是学者们的研究热点。安倍金等人认为,大多数现有的解决方案有缺陷的计算开销和疲软的数据安全性高,严重阻碍了资源受限的移动设备定制服务。所以他们解决这一具有挑战性的问题,提出一种新的属性数据共享方案。性能分析表明,他们的方案是安全的和有效的1]。医学影像数据研究了德尔et al .他们的实验结果表明了GIFT-Cloud简化了将图像数据从诊所研究机构、促进医学研究的发展和验证软件,和股票的结果与临床合作伙伴(2]。Changkun等人提出一个quality-aware数据共享市场,用户感知的数据可以把数据卖给那些请求数据但不想自己感知数据。其仿真结果表明,P2P数据共享可以大大改善社会福利,特别是在模型与传输成本高和低交易价格(3]。根据医疗行业的当前状态,雪等人认为,临床数据验证、存储、和同步是困难的,所以临床机构之间的数据共享已经成为一项艰巨的任务。戒备森严,他们提出了一个分散的集体维护,及防伪blockchain-based医疗数据共享模式4]。医疗由英国卫生部公布的数据进行了分析,数据共享机制进行了研究,和安全问题进行了广泛的实验数据5]。“可核查与聚合搜索加密密钥”,提出了刘et al。有选择地分享他/她的搜索和验证权利文档集,数据所有者只需要分配一个聚合其他用户的关键(6]。Patranabis认为,任何组织最重要的需求之一今天是在线数据共享,以提高生产率和效率。云计算的出现推动共享跨地域的限制,使许多用户贡献和协作共享数据(7]。雪等人提出了一个新颖的基于fog-to-cloud VCC数据共享架构。他们的计划是一个加密算法,支持细粒度的访问控制机制。在他们的设计,复杂的计算负担安全外包给雾和云服务器与保密性和隐私保护。同时,通过预测车辆移动性,prepushing数据到一个特定的雾服务器可以进一步减少响应延迟没有消耗更多的雾服务器资源。此外,他们的方案可以提供一个可核查的雾服务器的审计报告,如果没有不同的云供应商勾结,雾服务器。该计划被证明是抵御现有的对手和新兴的安全威胁。实验测试表明显著的性能改进方面的开销储蓄和响应延迟减少边缘设备(8]。然而,通过相关研究,可以发现,尽管研究数据共享是广泛的,它基本上是局限于自己的研究领域,没有扩散和缺乏相应的标准。
3所示。区块链和大数据
3.1。区块链技术
在现代社会,随着科学技术的快速发展,网络已经遍布全球,渗透到社会的各个领域。物联网是当前信息时代的发展,信息技术的一部分,并在关键位置。从三个字“物联网”,可以看出,它就像一个网络,节点和人和事是在互联网上,连接人与物之间通过网络。这些简单的三个字也代表两个深层内容:(1)网络是核心。物联网的基础是建立在网络。没有互联网,就没有互联网的东西。,物联网的作用需要通过互联网。(2)大范围的扩展。物联网,连接对象可以是东西或人;事物之间的联系可以实现,可以实现人们之间的联系,甚至可以连接两个完全不同的对象。 Communication perception technology is divided into several aspects, such as intelligent perception technology and general use computing. The Internet of Things realizes its own functions through these technologies. Because of its great influence and wide coverage, it is called the third revolution in the information industry, alongside the Internet and computers. The Internet of Things is fundamentally a kind of application or a kind of business, just a further expansion on the Internet. However, in the face of the development speed of the Internet market, in order to make achievements in the construction of the Internet of Things, innovation must be placed in the first place. In the innovation process, we must always keep in mind the importance of customers, that is to say, the core of the Internet of Things is the user experience. The Chinese interpretation of ITU is the International Telecommunication Union, which is an international organization that conducts supervision and research on the development of the Internet. The ITU has published a report on the development of the Internet, in which a standard definition of the profound meaning of the Internet of Things has been made, that is, the Internet of Things is through information sensing devices. Under the restrictions of relevant protocols, it is a network that combines things with the Internet to realize information exchange and further management. Among them, the common information sensing devices are two-dimensional code identification devices and infrared sensors. The Internet of Things in the Internet of Things industry is a more practical network that is closely related to people’s lives. As long as it is an item in the world, it can be connected to other items or people through the Internet of Things to form a huge network, which is more convenient to manage and identify. In 2011, the scale of the Internet of Things industry has developed to an unprecedented level, and the transaction volume through the Internet of Things has reached 260 billion yuan. The industrial scale of the five levels of the Internet of Things all occupy a certain proportion. Among them, the perception layer and the transmission layer have reached a terrifying level due to the rapid development of the perception layer and the transmission layer.
3.1.1。关键技术
(i)感应技能:在当前的社会生活中,传感器发挥至关重要的作用,是现代计算机领域不可或缺的一部分。在这个阶段,传感器通常用于接收一些相关信号,但由于传感器的出现,一些虚拟对象可以转化为特定语言,可以感知
(2)RFID标签:本质上,RFID是一种传感器技术,集成了射频技术和嵌入式技术,有一些突破和创新对物流领域的一些知识
(3)导入技能:这个技能是实现计算机硬件和软件的有机结合,是目前较常见的形式,这是一个为今天的技术创新。从出现到嵌入式的发展,虽然只有几十年,技术已相当成熟,它经常用于各种终端智能产品和取得良好的客户体验。例如,移动随身听和航空航天卫星系统都使用嵌入式系统技术。人们已经注意到之前,嵌入式已经逐渐改变了人们的生活习惯也有很大的作用在促进工业生产和其他领域。使用一个非常生动的例子来说明嵌入式的重要作用,嵌入式相当于人类的大脑,这过程和分析了五种感官感知的信息,传送到身体的物联网,并执行一系列的活动
3.1.2。区块链技术
出生以来的比特币(9]2009年,数字cryptocurrencies传统金融有巨大的影响。区块链是一个分布式分类技术。共识区块链中的节点连接块链到一个特定的数据结构中按时间顺序和使用加密来确保他们的unforgeability和完整性。因为每个人都可以举办分布式分类帐,事务过程不依赖于第三方。事务流程是透明的和可跟踪的和不能被篡改,因此建立一个健壮的信任系统在分布式不可靠的环境。
最常用的blockchains包括公共链和财团链。公众链是一个完全分散的区块链,验证交易和激励相互未知网络中基于共识,从而建立一个完全分散的信任机制。一个财团链通常是一个区块链由多个机构共同管理。确认时间和每秒事务(TransactionPerSecond TPS)联盟链的相当不同于公众链。
聪明的合同区块链上的部署。它并不依赖于任何中央结构、自动化的代码执行,是灵活的和可编程的特点。这些聪明的合同创建和调用的方式实体发送事务和控制代码,所以设计师不能单方面篡改规则。
3.1.3。无线传感器网络的数据存储
作为物联网的一个分支,无线传感器网络技术集成等多个技术通信技术(10),传感器技术、信息处理技术、嵌入式技术、分布式技术。在传感器网络所覆盖的区域,它可以感知数据,也就是说,它可以收集相关数据的实时监控的对象。它可以使用自己的计算能力来处理数据在某种程度上,最后通过网络发送数据给用户。
无线传感器网络是物联网技术的一个重要模块。它可以存储数据,这是非常方便。其结构如图1。网络层负责传输数据管理的传感器数据层、数据管理层负责预处理数据。处理完成后,数据管理层发送数据到应用程序层。无线传感器网络的主要设计目标数据架构是为上层提供透明的数据服务应用程序,这样用户不需要考虑底层的网络设计和原始数据类型。
无线传感器网络的一个重要特性是它以数据为中心,的值,其数据收集的重点是具体的观测指标的遥感领域。无线传感器网络需要满足稳定性的要求和低冗余数据收集。常用的收集方法包括离线数据收集、节点预处理和基于模型的数据收集。
与传统的网络数据管理系统相比,无线传感器网络数据系统设计有两个显著的特点。首先,因为网络中的数据是由许多传感器节点分布在不同的位置,是分布式的无线传感器网络数据。其次,无线传感器网络的数据是动态的。生成的数据以数据流的形式在传感器网络在处理的过程中,不断变化的传播和交付到用户应用程序层。存储位置和组织形式是不断变化的,因此无线传感器网络的数据管理具有明显的动态特性。
3.2。大数据技术
互联网的迅速发展导致的用户数量急剧增加,各种互联网应用程序中的数据。可能不再是解决大规模数据处理的用户需求和企业仅仅通过增加单点设备的存储容量。同时,大数据的生态系统的基础上开发分布式文件系统来满足大规模数据存储和计算的要求逐步提高。到目前为止,Hadoop分布式文件系统(HDFS)实现根据谷歌的论文已成为使用最广泛的开源分布式存储系统体系结构。MapReduce,一个开源的分布式计算框架的基础上实现存储架构,第二版也被开发出来。同时,各种技术的成熟领域的大数据处理,数据挖掘的需求(11]越来越明显。相关机器学习算法也被应用到大数据的生态系统,以及一系列开源机器学习(12,13大数据生态系统框架,由Mahout MLlib,已经出现。
增加实时要求的企业和用户的大规模数据处理,一些新兴大数据计算框架如火花也近年来吸引了很多注意力,正越来越多地用于生产领域。上面的开源技术和框架已经广泛使用在互联网领域,但仍有许多地方需要改进和适应无线传感器网络。本节介绍了流行的开源框架和相关机器学习算法和开源库在上述大数据的生态系统。
HDFS最初设计是商业廉价的硬件上实现,以确保低成本数据访问时间。在HDFS中每一块的默认大小为64 MB, HDFS将复制不同的块相同的文件(默认保存三份)到不同的主机。身体上,分布式文件系统是由多个硬件节点,这是根据它们的功能分为两类。
图2显示了HDFS的基本架构。
名字节点的主要工作是维护分布式文件系统名称空间,可以节省FsImage和EditLog的两个主要结构。文件系统树是由FsImage维护,文件中的所有文件和文件夹的元数据树,所有的文件操作,如代,重命名,删除,EditLog的记录。EditLog的操作期间将继续增长。当EditLog的文件很大,名字节点启动操作将非常缓慢。名字节点的启动时间,HDFS系统处于安全模式,不会提供任何外部的写操作,这将影响用户的使用。为了解决这个问题,二级节点名称(SecondaryNameNode)组件中使用HDFS架构。名字节点失败时,它可以恢复SecondaryNameNode EditLog根据Fslmage和数据的备份服务器。
HDFS分布式文件系统,为了系统的容错性和可用性,使用文件备份存储数据冗余。通常,将备份数据块和其他数据节点上的多个副本分布在其他数据节点。复制数据块存储在两个不同的数据节点。这个multicopy存储方法有以下优点,如表所示1。
如图3,底部的数据层DIKW模型。它直接来自事实,只意味着数据是真实的。这是一个直观的反映在现实中发生了什么,也没有其他的意思。信息是有价值的数据的数据处理后,可以直接使用。知识是指有价值的信息,可我的法律之间的数据和理论指导。智慧是知识的结果,可以使用研究问题提出解决方案。
4所示。Blockchain-Based Multiauthority属性加密数据共享方案
外包数据包含大量的关键,高度私人信息;因此,外包数据必须永远存储在第三方的明文,只有数据所有者和授权用户可以访问外包数据。对数据隐私,甚至是必要的,以确保外包数据存储在密文不能泄漏个人信息数据所有者,也就是说,以确保访问的隐私政策。提出了一种blockchain-based multiauthority可撤销的CP-ABE方案(MA-RABE)来确保用户的隐私政策,实现有效的撤销和predecryption云服务器。此外,用户注册和撤销的过程由AAs和分发密钥的过程公开记录在区块链以事务的方式。
因此,该方案可以进一步避免在CP-ABE集权的问题,有效地解决数据共享的参与者之间的信任危机,和提高参政党的合作14]。
4.1。系统架构
如图4,系统模型包括四个实体:数据所有者(DataOwner,),数据用户(DataUser DU),属性权限设置(AttributeAuthorities, AAs)和云服务提供商(CloudServiceProvider, CSP)。由于多个政党的信任问题在分布式环境中,区块链作为底层架构的解决方案。区块链包括系统合同(以下简称合同)的计划。用户注册的合同是AAs (UserRegister)功能,用户撤销(UserRevoke)函数,用户加入(UserRejoin)函数。合同AAs还提供了一个接口,用于调用pss协议谈判和生成密钥。合同还包含一个用户二叉树和两个列表,可以存储N元组(15,16]。
((我):拥有大量数据,加密的数据通过制定lss政策,和外包密文一起访问政策CSP
杜(ii):用户数据是用户,DU与AAs将注册自己的属性。访问的数据,CSP的DU可以启动predecryption请求和获取的对称密钥取幂predecryption返回的结果
(iii)原子吸收光谱法:澳大利亚科学院负责分发用户的属性混乱关键(AttributeConfusionKEY ACK)。它生成的节点关键(DU NodeKEY NK)通过一个全球用户二叉树和生成更新密钥(英国UpadteKEY)根据KUNode算法,也称为关键更新消息。为了防止一个AA的集权,执行上述操作时通过pss所有原子吸收光谱法
CSP (iv):负责存储密文做并提供代理解密服务所有上传的du注意,本文假定CSP semitrusted,即。csp诚实和好奇的天性。因此,CSP积极泄漏隐私政策的密文但诚实执行协议(17]。
4.2。系统建设方案
系统中数据共享的数据加密过程如图5。
下面是详细描述方案的建设。
选择一个随机的安全参数和的最大用户数量作为输入,并生成一个双线性映射方程(1):
防撞散列函数方程所示(2):
全球参数方程(6):
用户注册:每个DU生成自己的私钥,见方程(7):
为了验证DU的所有权属性,需要确认,所示的公式是方程(8):
如果验证成功,混淆的关键标记属性计算,见方程(9):
杜与自己的私钥解密,得到模糊关键属性 。
合同收到节点共同生成公钥细分用户的节点,计算是见方程(10):
合同生成的密钥更新消息的接收部门节点在一起,所示的计算方程(15)和方程(16):
密钥更新消息方程所示(17):
为了减轻双线性操作的计算压力,predecryption CSP可以运行在不暴露隐私,和predecrypted密文CT可以通过计算获得,如方程所示(18):
用户解密接收到的CT和使用自己的私钥来执行一个指数操作获得对称密钥的密钥,如方程所示(19):
最后,做一对C0更新,然后,上传更新的C0 CSP,所示的公式是方程(20.):
表中列出的缩写在上面的公式2以方便阅读。
4.3。系统安全架构
系统安全结构考虑区块链crowd-sensing系统,它包含一个BCS服务平台,区块链共识节点,节点和数据共享。它的主要目标是完成数据共享任务安全可靠的高质量的数据共享。在BCS系统中,BCS服务平台和数据共享节点区块链节点,也就是说,它们都是在认证中心注册并获得他们的身份信息区块链节点(18,19]。矿工在区块链,共识节点将验证任务参与者的身份信息和交易信息,和聪明的合同部署在共识的区块链和存储节点实现数据共享的自动化过程(20.]。
完整的数据共享过程如图6,其中包括以下六个步骤。
注册:数据共享节点发送自己的身份信息和请求登记为一个数据共享节点。在收到登记事务,共识节点将执行合同登记(RC)和验证数据共享节点的身份。如果身份有效,RC将输出一个配置文件包含节点身份信息和节点的声誉价值。
发布任务:当BCS系统需要收集数据的一个特定的目标,它将释放通过BCS服务平台数据共享任务。任务信息包括目标数据收集、时间要求完成任务,任务的预算,和数据质量的要求。
报告变异系数:根据任务BCS发布的信息服务平台,数据共享节点打算参与任务将报告其变异系数。
出版支付策略:后区块链网络获得节点的注册信息和变异系数,支付政策设计合同(PPDC)部署的BCS服务平台将触发执行,和支付策略将输出。
上传数据:数据共享节点决定数据收集策略和上传数据根据支付策略。考虑到区块链是不能删除一个数据库,为了节省存储空间链,将存储在链上方法的散列值(也就是说,收集到的数据散列和散列值的形式上传一个事务)和存储明文以off-chain方式(即上传原始数据作为普通信息)。
声誉和奖励版本更新:上传哈希数据触发声誉更新和奖励发布合同(RURDC),通过这些异常值检测和真正价值评估执行数据,计算和节点的数据质量。RURDC更新事务将输出奖励发行事务和声誉。注意,在数据共享过程中,节点将定期执行一致共识,事务信息打包成新块,并将它们添加到区块链。
4.4。系统安全分析
说明PSO-based系统效用优化算法的优越性,旁边的PSO算法相比,遗传算法-基于(GA)和模拟退火(SA)基于系统应用优化算法。为了比较三种算法的收敛性和时间复杂度相当,PSO和GA算法的种群大小设置为50,和SA算法的迭代次数相同的温度也将50。表3显示了不同的算法的时间复杂度。可以看出,PSO算法的时间复杂度和SA算法几乎是相等的,而GA算法的时间复杂度是算法和SA算法的约2倍。图7描述了系统实用程序的收敛性根据不同的算法,并指出平均50分。从图可以看出7,随着迭代次数的增加,粒子群优化算法的收敛值是最大的,其收敛速度之间的GA算法和SA算法,及其稳定在两者之间的融合是最好的算法。因此,考虑到收敛,PSO算法具有最好的性能。考虑到算法的时间复杂性和收敛性,我们可以获得最佳性能的PSO算法。
图8描述了节点上传合格数据的数量,也就是说,理论和实际值的变化系统的效用,连续10数据共享任务从最初的开始时间 。理论价值最大价值得到解决这个问题 ,虽然实际值的节点数量的数据质量合格后,系统检测到异常值和实际数据估计实际价值。如图8数据共享数量的增加,系统的理论价值效用降低随着时间的推移,而实际价值上升,直到两个收敛在同一水平上。这是因为当 ,所有节点的声誉是1。因为节点的数量,满足质量要求目前太大,和系统的成本超过预算时,系统会优先考虑节点变异系数较低。由于恶意节点的选择和大量的错误的节点,系统实用程序的实际价值很低,此时和理论价值由目前的预算允许的最大价值。当 ,的声誉值错误的节点和恶意节点上传数据更新第一次为一个较小的值,这使得更多的正常节点相对较大的变异系数选择在第二次数据共享,因此,实际价值增加。由于节点的数量满足需求仍大,预算仍不足,理论价值仍然是最大的价值在当前预算。当 ,恶意节点和一些错误的节点的声誉价值与相对较小的变异系数太小所选择的系统。在预算有限的情况下,由于其他节点的相对较大的变异系数,最后可以选择的节点的数量,也就是说,理论的价值,将减少;因此,实际值将会增加。当 ,异常节点足够小的声誉价值不被选择的系统,所以系统的理论价值和实际价值效用最终倾向于相同的值。图8说明拟议的声誉更新策略使系统的实际效用随着的增加而增加 。此外,理论价值和实际价值之间的差距逐渐减小,使支付参数的确定更加合理。
4.5。系统有效性分析
由于该方案采用pss ( )分配用户和管理用户属性键,该方案可以抵抗单点故障,鲁棒性是阈值的影响和原子吸收光谱法的总数 。如果攻击者使一些AA MA-RABE无法正常运行的手段,也就是说,AA的正常运行方案的数量小于k,概率假设一个AA不能正常运行 ,和系统停机时间满足伯努利分布的概率,这是 。数据9(一)和9(b)的线形图的概率系统停机时间的停机时间概率的函数一个AA时分别是5和10。
如果攻击者控制一些AA MA-RABE通过某种方法,以控制整个系统,也就是说,至少AA的计划控制。假设一个AA的概率是控制 ,然后控制系统满足伯努利分布概率,这是 。
数据10(一)和10(b)显示系统的概率的线形图被控制的函数的概率由一个AA时分别是5和10。
它可以看到从数据的分析9和10这个方案的系统具有更好的鲁棒性比系统基于一个AA。当接近在该计划,停机的概率将增加,和被控制的可能性会降低;相反,当小于 ,停机的概率会减少和控制的可能性将会增加。另一方面,当较大,重构秘密计算成本的增加。因此,选择合适的和可以考虑计算开销和安全,如(3、5)(5、10),(6、10)。
5。结论
数据共享系统是一个新时代的产物,现在发挥着日益增长的作用。数据共享系统设计本文通过实验具有良好的性能和良好的鲁棒性。在研究的过程中,本文首先简要解释了数据共享的背景,然后分析了相关研究成果,并提出本文的必要性。之后,区块链和大数据技术解释,区块链和大数据技术进行了详细分析。最后,数据共享系统是专为区块链和大数据技术。在设计的系统中,仍存在一些问题。例如,区块链技术的理解不够深,这使得它难以阅读和删除系统中的数据。因此,未来的研究应该深化研究blockchain-related技术。
数据可用性
数据集用于支持本研究的发现可以从相应的作者。
的利益冲突
作者没有任何可能的利益冲突。
确认
本研究支持的科技项目支持中国南方电网公司项目037800号kk5220005 gdkjxm20201754。