文摘

Hadoop是一个全球著名的大数据处理的框架。的关键技术是数据挖掘(DM)的发现有用的信息从巨大的数据集。在我们的工作中,我们利用两个平台设计一个实时、智能移动医疗系统慢性疾病检测基于物联网设备数据,政府提供的公共数据和用户输入数据。我们工作的目的是提供一种实用的心理病人医疗助理系统,以及互补的设计系统对病人疾病的诊断。这个系统只应用于高血压病在第一次研究阶段。然而,详细设计、实现、明确整个系统的概述,和进一步的工作提供指导;整个循序渐进的过程描述。实验结果显示一个相对较高的精度。

1。介绍

高血压是一种状态,一个人的血压高于正常或最优的极限120毫米汞柱的收缩压和舒张压80毫米汞柱。长期血压升高会导致条件可能会威胁到患者的健康。几个条件可以导致高血压心血管紊乱的器官如中风和心力衰竭,所以有时提到,高血压是一个沉默的杀手,因为患者有时没有意识到他是暴露于高血压[条件1]。血压在成人的分类分为4类表所示1。

然而,在我们的工作中,我们治疗高血压前期,惠普第一阶段、第二阶段和惠普与高血压没有区别。

Hadoop基于MapReduce,一直是最重要的和受欢迎的技术领域的大数据分析在过去的几年里。毫无疑问,这是大数据分析的关键技术。另外,火花是一个有前途的分布式框架运行内存数据集群速度大大快于Hadoop。的关键技术是数据挖掘(DM)的发现有用的信息从well-processed数据机器学习等领域的交集,统计,和数据库系统。在目前的工作,其目的是使用Hadoop的剥削,火花,和DM技术提供一个更强大的处理大数据的方法在高速度区段,安全,和准确性。

近年来,Hadoop框架已被广泛用于医疗保健服务的交付2];此外,各种各样的组织和研究人员使用Hadoop的医疗服务和临床研究项目(3]。泰勒提供详细介绍使用Hadoop在生物信息学的4沙茨],同时开发了一个名为CloudBurst的运营支撑系统(OSS)方案,提供了一个算法并行化模型,使用Hadoop MapReduce (5]。事实上,Hadoop框架一直被应用在许多重要的作品提供医疗领域的主要贡献。其他大型数据处理框架,火花,利用智能手机的协同组合和smartwatch监测多维症状,比如面部颤抖,功能失调的演讲,肢体运动障碍、步态异常(6]。

多年来,大量的医疗使用DM技术研究工作已经完成。在[7,8),作者使用分类和回归技术预测心血管疾病和心脏病等。在[9,10),集成DM技术提供慢性和身体疾病的检测。此外,其他一些研究工作,如(11,12),使用DM的优势开发新方法和框架用于医疗目的。

卫生信息学研究的主要目标是提高护理的质量和成本,提供给用户,或医疗输出(13]。当前工作的目的是Hadoop的剥削,火花,和DM技术设计的全面、实时、智能移动医疗系统慢性疾病检测和预测。系统旨在提供助理系统用户心理卫生保健,以及互补系统日常诊断工作的医生。

一系列的挑战出现在一个大的发展基于数据的医疗体系。首先,它是很难获得高质量和相关的医疗数据。原因之一是,医院或病人自己不愿意为公共研究提供个人资料隐私政策。另一个原因是需要接触各种数据源,如数据收集从医院、医疗中心、政府、实验室、和病人的家庭,这可能会导致严重的缺失数据问题。例如,只有住院治疗的病人的数据是可用的,而生活方式(吸烟、喝酒等)数据丢失,只有病人B的生活方式的数据是可用的,而病人的治疗数据丢失。的工作(14证实这varied-source表征的医疗数据收集和不同的数据形式的复杂性。其次,数据分析是一个具有挑战性的工作。尽管大量的研究工作已经完成,处理和分析数据,一个高质量的框架与高度精确的预测和分析结果仍然是难以捉摸的1]。第三,困难关于建立一个工具,可以打破病人之间的边界,卫生保健提供者,公共卫生保健组织连接这些政党实际上有意义的方式是另一个障碍15]。

目前工作的贡献如下:(1)探索利用Hadoop的可能性,火花和DM技术工作中有关医疗大数据。(2)描述详细的一步一步设计的医疗保健系统疾病检测和预测。(3)提供一个概览的下一个研究阶段和其他类似系统的指导。(4)货币成本的最小化通过使用谷歌云服务FCM和GCSql,也保证实时数据的事务。初步版本,目前工作已经报道在15]。

本文的组织结构如下:相关工作的描述中提供了部分2;提出系统的概述介绍了部分3;节中描述的设计细节4;实验结果描述部分5;和部分6结束这项工作,并介绍了未来的工作。

2。选择技术和算法

本节简要介绍了相关平台,算法,以及一些关键技术,在目前的工作中使用。

2.1。Hadoop、火花和数据挖掘

Hadoop的HDFS (Hadoop分布式文件系统),HBase,和Hadoop MapReduce,使得它非常适合大数据分析(16]。100%的开源框架,它已广泛应用于几乎所有的大型数据处理领域。在过去的几年里,Apache火花(17)备受关注的大数据和数据科学领域,主要因为它的简单,友好的应用程序编程接口(API)和一个增强的内存管理和MapReduce相比;因此,开发人员可以专注于数据运算逻辑运算,而不是执行计算的背景细节。

很难找到一个一致的DM定义,但是一个被广泛接受的定义,DM的过程中发现有趣的模式和知识从大量数据18]。其他亲密的概念被称为在数据库知识发现(KDD);DM是知识挖掘的分析步骤。在本文中,一种常用的分类算法将使用C4.5呼吁disease-rule一代,因为它很简单,稳定,并产生相对精度高的结果。

2.2。C4.5

C4.5算法,是由罗斯昆兰和用于生成决策树18]。早些时候C4.5昆兰是一个扩展的ID3算法。生成的决策树C4.5可用于分类的目的,出于这个原因,C4.5通常被称为一个统计分类器。

一般来说,这些步骤建立决策树C4.5算法的如下:选择根节点的属性;为每一个值的属性创建分支;分裂的情况下根据分支机构;为每个分支重复这个过程,直到所有的分支情况下相同的类(18]。

2.3。支持向量机

支持向量机(SVM) [19)已经被用于选择特性和生成分类器。特征选择,这种方法是一种逆向顺序选择的方法。一开始的所有特性和删除一个功能,直到只剩下r的特征。支持向量机算法的操作是基于发现的超平面的最大最小距离训练例子。基本概念是用图来描述1。

战略排名根据他们的特性影响决策超平面。

最优超平面是用来将数据分类到不同的类中两个或多个维度。

2.4。混合特征选择机制

特征选择的目的是找到问题域的最相关的特性。主要有两种类型的特征选择方法,过滤器和包装器。过滤器的工作迅速,但其结果并不总是令人满意的。而包装保证好的结果,他们非常缓慢,当应用于广泛的特性集包含成百上千的特性。根据工作(20.),利用混合特征选择机制的过滤和包装特征选择方法用于提高计算速度和精度。

灵感来自[20.),我们开发了特征选择机制。架构是显示在图2。

3所示。主要框架

给出了整个系统的概述在这一节中,这是紧随其后的是部分的实现细节的描述4。该系统包括四个模块。的概述中描述了整个系统的体系结构3(15]。图中的四个模块命名如下:(1)数据采集模块,(2)数据存储模块,(3)third-party-server (TPS)模块,和(4)云服务模块。

1模块用于收集流数据和结构化数据等物联网设备Fitbit收取2,手机传感器。1 b用于进口结构化、半结构式和非结构化数据从不同的数据源医院,政府,家庭,用户输入等等。此外,我们已经开发出一种手机应用程序来收集用户输入数据,如生活方式和食物摄取的数据。

模块2是用于存储中的数据收集的HBase模块1。所收集的数据系统的三种类型:结构化、半结构化和非结构化数据。首先,所有这三种类型的数据将存储在HBase非常适合大规模数据预处理和存储。那么这些数据应该转化为结构化数据进行进一步处理。

模块3是用于数据的处理和分析基于Hadoop集群/火花,它是整个系统的关键模块;所有的数据处理和分析工作将由这个模块完成的。用于数据统计分析,病人紧急检测和疾病预测和检测。这也反应数据分析结果生成等消息。这些结果将被发送到模块4。

模块4用于传播的消息。这个模型是实现通过使用SQL (GCSql)和谷歌谷歌云重火力点云消息传递(GFCM)服务。当收到来自TPS的请求,云模型反应立即根据这些请求,存储数据或将数据发送到设备注册。

之前的工作中进一步的细节得到本研究的作者(15]。

4所示。系统的实现细节

在本节中,描述系统的数据流、数据存储和处理,基于大型医疗疾病检测和预测数据集。

4.1。数据采集、预处理和存储

获得高质量结构化数据集、数据库处理、自然语言处理(NLP)和图像处理技术结合DM使用的TPS数据预处理技术处理不同类型的数据(结构化、半结构式和非结构化),然后转换为结构化数据和数据记录。然后存储在HBase结果。(1)为结构化数据集(主要是进口的其他公共Web服务),包括患者信息,处方,和疾病的历史,它是相对容易的导入数据从理性DB HBase使用Sqoop [21]。(2)为一种数据集,包括HTML、XML和Json文档,TPS将设计行键d001 HBase表一样,包括它的文档信息列值及其家族地图,称为“列族”(它包含文档HBase的时间戳),如图4。半结构式数据将被转换为HBase的结构化数据,如图5。(3)的非结构化数据,如诊所笔记和流数据从移动传感器,他们将在特定的方式管理的系统。诊所笔记包含大量的文本信息,(22)提供一个有效的方法将这些数据转化为结构化数据通过使用NLP技术,文本挖掘算法,和MapReduce框架。提出了系统使用相同的策略来处理这个问题,和过程如图6。

流数据处理使用Apache火花(23]技术;的基本过程如图7。最后,将存储在HBase的输出。预处理步骤后,各种各样的数据将被转换为结构化数据并存储在分布式HBase区域服务器进行进一步处理。

4.2。疾病数据统计分析

在整个现有的数据集,一些病人的数据被视为disease-rule代的训练集(一些数据集不是疾病相关)。第一步是计算疾病的患者他们的个人信息,像他们的性别、年龄、国籍和职业。由于数据被存储在HBase, MapReduce框架被用来计数的疾病。训练数据存储在单独的区域服务器,如图8。disease-count MapReduce程序运行在TPS是描绘在图9。

disease-count算法在分布式环境中运行的算法所示1。它由两个主要的Map和Reduce过程。映射函数是用来分配常数1每一行的值不同的疾病和病人。Reduce函数是用来添加一起1 s同样的疾病,1 s的数的和指定的疾病。

基于输出,它是容易获得的病人列表指定的疾病,以及所有的个人信息根据病人ID。

4.3。风险因素的选择

风险因素(RF)选择过程为特征选择是一个过程。混合特征选择被应用到原始数据集。首先,我们运用t以及结合卡方测试过滤器来删除无关的特性研究[11)、卡方和t以及速度都很快,而且场上表现也可以实现相对精度高。卡方测试公式, 预期的数字已知有足够大的数量在所有细胞假设每一个可能会被认为是正态分布,达到的结果,在n成为大型的极限,χ²随后卡方分布(k - 1)的自由度。

的t以及可以被使用,例如,以确定两个明显不同的数据集。的t以及 在哪里是一个示例的样本均值吗 的大小n,年代样本标准差的比值超过总体标准偏差,σ是数据的总体标准偏差,μ是总体均值。

第一步后,我们提出一个包装器方法基于线性支持向量机(svm)。首先,我们训练的线性支持向量机对训练数据的一个子集,只保留那些特性,对应高度的加权组件的方式(绝对值)之间的正常产生的超平面类的正面和负面的例子。其次,递归消除功能的重量值接近于零。最后,功能仍然是候选人选为危险因素。我们创建了一个表示导致实验会话,第五章。给出算法的伪代码2在下面。首先,我们把原始数据集分为训练数据集和测试;SVM分类器是在此基础上生成的训练数据集。评估分类器后,特性将递归选择根据重量,直到满足停止标准。

实验中所描述的结果将是会议。

4.4。Disease-Rule代

疾病的格式如果那么规则的规则就是这样;例如,如果(edu =小学,B1 < = 0.86毫克/天,已婚),然后(高血压= yes)。的目的是挖掘疾病相关规则的训练数据集的进一步数据分析包括疾病预测和疾病检测。另一个概念,需要描述k因素的规则,k是风险因素的数量。这里的规则是一个三因子的规则。

基于关键射频,disease-rule一代的过程如图10。

结合disease-domain领域专家提供的知识,TPS有能力忽略大量属性的开始,从而只留下的高危因素支持(RFS)属性15]。在这些属性中,两个属性集形成基于相关性的比较;也就是说,如果他们非常相似,它们强烈相关,TPS将删除的低RFS。然后,一个基本的关联规则挖掘算法如先验的和常用的决策树算法C4.5,购物车,或者随机森林将用于生成k射频的规则。第一阶段的研究,然而,只有C4.5是用于测试数据。中给出的算法伪代码是算法3。首先,我们计算每个风险因素的GainRatio r L,然后我们选择最高的因素GainRatio并创建一个基于这个因素决策节点,将这个节点的数据集。我们重复这些步骤,直到所有节点以适当满足GainRatio值被用来生成树。从根到叶子的路径是规则的疾病。

选择C4.5的原因是它的简单性,其结果的准确性,并且能够使用它在数值和分类属性即使过度拟合问题的存在。

在接下来的研究阶段,算法包括购物车、随机森林,资讯将测试来找到一个适合大多数数据集精度高。最后,生成的规则将存储在HBase准备接下来的几个步骤。

4.5。疾病预测和检测

根据疾病规则和RFS关键RFS高度相关,比如高血压、酗酒是用来生成预测模型。这项工作完成在作者之前的研究15]。multi-RFS将与疾病规则来确认病人健康状况,这工作完成(15]。

4.6。云服务模块

云模块扮演的角色数据存储和传输,由GCSql和FCM的公共云服务。考虑到效率,连接,和安全问题,只有常用的、重要的,紧急的信息,如紧急信息中存储的卫生保健提供者GCSql数据库。另外,FCM是凸TPS和任何相关设备之间的通信。这工作是完成在15]。

5。实验

在这个阶段,整个系统的详细设计工作已经完成,在实现工作部分完成。此外,移动health-sensor网络已经建立在实验环境。大量的模拟数据和少量的真实数据从韩国下载全国健康和营养调查(KNHANES) [24)结合模拟数据集和测试数据包括大约60900份病历,包括基本的个人信息、疾病信息,和临床信息。整个集群已经建立,它可以通过云与Android设备交互模块。一些设备被用于测试的目的。与此同时,一个应用程序已经开发了数据采集和数据集statistical-analysis-result可视化。

MapReduce-based算法称为“疾病”已经实现并给出伪代码的算法1。疾病统计算法的结果表2。高血压的数据,其中包含9383条记录作为测试数据集,及其统计分析结果表3。主要属性的数量是3,但并不是所有的表中列出的结果由于空间限制。

先进的物联网设备Fitbit收取2已被用于用户运动,睡觉,脉搏,呼吸检测。我们使用的模型图所示11。

混合特征选择机制被用来选择高度相关的特性。在所有这些属性,t以及和卡方测试利用R语言实现应用选择的关键RFS高血压。最后,217功能被选择在所有526的特性。结果在图12。

基于包装器特征选择方法应用于从上一步中选择的属性。因此,81特征选择和顶部8特性给出了表4。

疾病规则生成过程中,最小支持度阈值设置为0.1,最小信任阈值设置为0.3。C4.5是用于生成hypertension-disease规则如表所示5。DI1_dg = 0意味着高血压诊断,而DI1_dg = 1意味着高血压诊断。结果在表5。

为了比较,支持向量机分类算法也应用于预测高血压。我们训练了一个模型考虑的变量“HE_HP”回归量80年所有其他变量。支持向量机的结果实现了使用R中的“e1071”包通过执行10倍交叉验证使用径向基核函数的最佳参数:成本= 1000,γ= 0.01。结果在图给出13。

我们比较两种方法的准确性的敏感性,特异性和准确性。结果如表所示6下面,

从结果可以得出几个结论如下:(1)年龄和饮酒对高血压扮演非常重要的角色;有老的伟大机会和酗酒者有这种疾病。(2)吸烟对高血压的影响不如酒精。(3)长老应该易于消化的食物,而不是咸的食物。(4)支持向量机执行更好的结果C4.5在我们的数据集。

然而,两种算法的准确性并不令人满意。这是由于收集医疗大数据的挑战,和这个问题已经被引入会话中描述。对于下一阶段的研究,我们将专注于解决这个问题。

分析结果直接和直观地显示在用户设备。分析结果的解释在图所示14。作者发表了另一篇论文(15)在一个简单的disease-rule可视化方法讨论,因为它也是一个具有挑战性的工作。

图14说明了disease-detection-result可视化界面的设计应用研究。的x设在坐标列表排名的关键RFS某种疾病,也是基于训练的基本路线大数据分析结果(例如,一个标准的因素如健康病人的营养摄入量是可见的,但具体的值将被隐藏的图)。的y设在摄入量的百分比超过或摄入较低标准的因素;这种疾病规则由这些因素。某些疾病,通常有一个以上的规则(RFS)组成的相关疾病。与这些规则相比,如果匹配率>β(expert-defined阈值,例如,80%),该系统将治疗这个病人段随着疾病的持有人。

下面的数据是我们系统的GUI,这是基于离子使用混合编程技术实现的。人物是在韩国,因为它主要是迄今为止为韩国开发的用户。选择用户界面图15。

6。结论和未来的工作

在目前的工作,Hadoop、火花和DM技术是利用设计全面、实时、智能移动医疗系统,可以促进疾病检测和预测一个循序渐进的过程。这项工作的目的是提供一种实用的助理系统用户心理卫生保健,以及互补的设计系统对病人疾病的诊断。在实验部分,首先,疾病数据存储在分布式环境中被MapReduce方法检索和分析统计数据的方法给我们概述。然后统计方法和DM方法都是用于选择与高血压相关疾病的特性。这些属性是危险因素。基于这些因素,C4.5和支持向量机方法用于生成分类器疾病预测模型。最后,我们分析结果显示在用户的移动设备。

概述和指南详细描述了未来的工作。为下一阶段的研究,在整个系统的实现,将进行深入的仿真验证系统性能的应用程序的系统在实际环境中。像C5 TPS和算法,随机森林,和其他算法将运行在TPS集群比较效率和准确性。疾病检测和预测的过程将不断优化和扩展到其他慢性疾病。最后,希望这个系统将有助于医疗学术界以及产业。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的基础科学研究项目通过韩国国家研究基金会(NRF)由科技部,ICT和未来规划(格兰特no.2017R1A2B4010826)和MSIP(科技部、ICT和未来规划),韩国,在期(信息技术研究中心)支持程序(IITP - 2017 - 2013 - 0 - 00881),由IITP监督(信息与通信技术促进研究所),也支持由中国国家自然科学基金(61702324)。