大数据领域的快速发展,很多正在进行的研究,这可能会在未来继续扩大。的一个至关重要的部分是知识发现(KDD)的数据,也称为知识发现过程(KDP)。这个过程是一个非常复杂的过程,因此有必要把它分成几个步骤(图1)。一些作者使用五个步骤来描述这个过程,而其他人使用只有四个。我们使用以下四个步骤的描述:(1)代的数据:数据生成多种不同的数据源,如传感器、社交媒体、网络,众多的设备、软件应用程序、人,和各种各样的传感器(1]。(2)数据收集:这一步需要存储的数据到各种类型的数据库,如MongoDB,弹性,InfluxDB, MySQL, NoSQL适合大数据技术(2- - - - - -7]。经常收集原始传感器数据,但通常也联系他们的上下文信息(8- - - - - -10]。其他任务,比如清洗、集成和转换数据的最优存储在数据库至关重要11- - - - - -13]。一些工具和技术适合semi-automatize任务,如提取、转换和加载(ETL) (14)存在,例如,Apache NIFI [15,16]和Pentaho [17,18]。这些是非常有用的,因为有很多任务参与KDD过程的这一步。(3)机器学习和数据挖掘:不同的机器学习和数据挖掘方法应用和基准测试结果进行了比较。应该牢记,虽然有很多机器学习方法,并不是所有的人都适合使用大数据(19,20.]。(4)分类、预测和可视化:这一步关注,特别是可视化的获得,现在所有的分类和预测的结果在一个有用的方法。工具,如Grafana [21)可以帮助解释数据可视化,也简化了识别关键绩效指标(KPI) (22]。
这个特殊的问题收到总共19日提交论文,经过细致的审查过程这些出版的编辑决定接受八,这意味着大约42%的录取率。
异常分析是一个至关重要的问题,因为它是许多领域的重要组成部分,如医疗卫生、信用卡欺诈和入侵检测(x徐等)。本文的作者提供一个完整的先进的异常检测。高维度和混合类型的数据是本研究的重点是异常模式的识别是微不足道的。作者向读者介绍当前进展异常检测,同时讨论各种检测方法的优缺点。
有著名的地区,虽然几乎没有文献中引用。例如,一个由m . Lodeiro-Santiago et al .,,目的是检测小船(插座)来帮助解决移民问题的危险。在这篇论文中,作者使用深卷积神经网络改进检测方法基于图像处理通过过滤器的应用。新方法能够认识到船通过模式不管他们所在的地方。建议的方法,在实时工作,允许检测船和人的搜索和救援队伍为了营救工作在紧急情况发生之前的计划。该方法包括使用基本加密协议保护的高度敏感的信息管理。
方法评价缺血性心脏病患者的心率流提出了m . d . Pelaez-Aguilera et al。作者提出了一个创新的语言方法来管理相关的语言描述(原生体)。这提供了一个基础心脏康复团队确定会议通过语言与意义指标摘要。面临的手稿,心脏康复程序是至关重要的显著减少死亡率与缺血性心脏病高危患者。
工作中提出的z Marszałek et al .,充分灵活的排序方法用于并行处理。基于归并排序修改作者描述一个方法用于多核架构。方法的灵活性,实现的处理器数量,极大地提高了分类的效率,通过分配任务逻辑内核之间在一个灵活的方式。因为强大的计算机资源往往不是很好利用,他们的主要目标是使用高效的算法支持的熟练使用所有可用的资源。
f·m·佩雷斯等人提出一个理论框架基于粗糙集理论的概括。这允许建立一个随机的方式来解决该问题的异常值的数据在一个特定的宇宙。开发一个算法基于这一理论框架,使其适合大数据量的应用程序。实验验证该算法相比,各种算法分析的文献。
工作提出的p s Szczepaniak和a . Duraj关切的问题异常值检测通过案例推理中的应用。作者认为,虽然该方法已成功应用于一个广泛的各种各样的其他领域,它从未被用于异常检测。
在提交的手稿问:顾et al .,灰狼作者提出一种混合遗传算法为了提高灰太狼优化器的缺点当解决大规模的全局优化问题。
最后,d·吉尔等人提供一个审查强调这一事实的复杂性管理大数据的一个主要挑战是发展中物联网领域(物联网)。审查发现的知识分为上面勾画的四个一般步骤和评价最新颖的技术。这些包括物联网数据收集、数据清洗和集成、数据挖掘和机器学习,和分类,预测和可视化。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
作者承认物联网和人民的支持(IOTAP)在瑞典马尔默大学研究中心。这项工作也支持的西班牙研究机构(AEI)和欧洲区域发展基金(ERDF)项目CloudDriver4Industry tin2017 - 89266 r。这项工作也由西班牙经济和竞争力(MINECO /菲德尔)授予项目下SEQUOIA-UA(大数据分析管理需求和方法论)tin2015 - 63502 - c3 - 3 - r。
大卫·吉尔
马格努斯Johnsson)
Higinio莫拉
朱利安•西曼斯基