移动成像和计算智能结构损伤检查

文摘

光学成像是一种常用的技术在土木工程协助破坏场景和最近的档案图像量化分析损害。然而,限制在应用光学成像领域的很明显。最重要的一个是缺乏实时的计算和处理能力。移动成像和计算技术的发展提供了一个有前途的机会改变这一规范。本文首先提供了一个及时引进先进的移动成像和计算技术工程应用发展的目的。进一步,我们提出一个移动成像和计算(MIC)框架进行智能条件构造对象的评估,哪些特性原位实时成像和损伤分析。这个框架综合先进的移动技术和三个创新特点:(i) context-enabled图像集合,(ii)交互式图像预处理,(3)实时图像分析和分析。通过绩效评估和现场实验,本文演示了拟议的框架的可行性和有效性。

1。介绍

1.1。背景和理论基础

Sensing-based检验技术被认为是解决量化的关键组件,以反应为条件评估建筑物、桥梁、和其他民用基础设施系统1,2]。在众多的传感技术,目测是工程实践中常用的目的存档损坏场景和模式。例如,目视检查被认为是主要的条件评估方法对于大多数桥库存在美国(3]。在这些实践,目测也通过使用数码相机通过拍摄数字档案的目的(即光学成像)。光学成像的基本依据是通过测量光子能量来自远处的物体损坏或退化,干扰空间或光谱模式记录在一个表面的对象(即数字格式。、二维图像)(4]。很大比例的破坏模式,在实践中,这是可见的表面结构或岩土成员(如开裂、剥落、变形或collapse-induced碎片),可以使用一个商业捕获数码相机。

近年来,许多研究努力试图赋予视觉检查和光学成像定量图像分析;因此,自动或半自动损伤检测可以实现(5- - - - - -9]。在这些努力中,数字图像捕获使用数码相机领域;然后图像处理或模式识别方法用于检测或分类可见损伤,分别。这个方向的研究成果最终驱动的开发车载成像和实时处理高速公路或路面损伤检查(10,11]。

在进行基于图像的条件评估复杂的或/和hard-access建筑环境,然而,有限的技术解决方案。图1显示了两个典型的现场操作的场景桥检验,在检验区域利益是相当困难的访问和潜在的经营风险。机器人成像和检测一直试图(例如,攀爬机器人)12- - - - - -14];特别是,使用无人机(uav)民用基础设施检查是在地平线上15- - - - - -17]。然而,所有的实验工具和大量定制的特定建筑环境。在当前的实践中,人类普遍检查检验仍然主导着实践在一个复杂的或/和hard-access建筑环境。

根据人类检验的主导地位,迄今为止一个主要限制条件是缺乏实时成像,计算和分析能力,可以交互式地控制和利用由检验工程师。目视检查活动的实践状态的复杂或hard-access地区通常涉及一个工程师团队视觉检查结构和使用他们的自由裁量权来捕获图像。对定量评估实地考察后,预计这些领域可以进行数字图像处理和损害可以提取使用一套成像处理包。然而,应该认识到,一个大多数土木工程师都没有配备足够的图像处理和分析的知识和他们大多希望快速分析过程。第二,一旦离开这个领域的图像情况,大部分的语境知识的图像,如对象的伤害类型和破坏现场的复杂性,很容易受到工程师的内存。另一方面,这样的上下文信息,如果使用,可以大大缓解结构性破坏图像的处理困难,通常是各种复杂的场景。

上述限制很容易通过采用现代移动技术来解决。移动技术与移动设备的进步密切相关,这可以追溯到的小型计算机的运动在90年代末(例如,各种品牌的手掌或口袋pc) (18]。今天的移动设备紧密集成高分辨率相机,多核计算单位,灵活的沟通和数据网络,互动human-device接口,地理位置服务和其他辅助传感器。因此,这些设备通常被视为“智能”,由智能手机和smartphone-alike平板设备(后者通常缺少手机网络支持)。这些智能移动设备已经成为真正的无处不在。全世界有十亿多个移动设备在2012年底(19),他们中的许多人有嵌入式摄像头。与传统相机相比,移动设备的优势可能包括携带方便、易于分享,由于小体积,容易修改硬件设计、通信能力和计算能力的移动设备。因此,今天的移动设备日常成像工具往往比传统相机更常用。

因此我们设想,在无处不在的移动设备(如智能手机)及其移动成像和计算(MIC)功能,结构损伤检测的新规范和条件评估实时图像采集、计算和损伤分析是在地平线上。这样一个框架,如果实现,可以大大减轻繁琐的劳动参与实际visual-based民用基础设施检查活动为这些复杂或hard-access结构(如图1)。

1.2。贡献

平台被认为是本文的关键是智能设备,包括智能手机和移动平板电脑,出现了一个平凡的设备和场所公众使用的智能应用程序运行。尽管一些工业应用使用智能手机的成像结构性破坏,出现一个全面的调查在文献中没有找到。本文的主要贡献是通用移动成像和计算的发展民用基础设施损坏检验框架,紧密集成智能设备的突出特点:原位成像、计算和交互human-device接口数据记录和视觉分析。

1.3。组织

下面,首先,相关移动成像和计算技术进行了综述。然后软件环境和移动成像和计算库,介绍了工程开发的关键。这两个部分的目标是提供一个及时和评论的读者最先进的移动成像和计算技术和开发人员的土木工程的社区。随后,智能手机的框架结构提出了检验和描述。然后本文在绩效评估拟议的麦克风使用原型开发应用程序的框架。摘要提出了本文的结论。

2。麦克风:开发环境和工程应用

2.1。移动开发的概述

现代移动成像和计算的进展一直紧紧依赖于两个核心技术的进步在过去的20年里发生的:移动成像传感器和移动计算单位。通过高分辨率成像和高性能内置智能移动设备的计算能力,可以使用这些移动设备作为替代专业设备如相机和工作站。繁荣的努力也一直在目睹了一个新兴的研究领域,即移动视觉计算(20.),这是这部小说的努力密切相关。

开发移动视觉计算应用程序,第一个首要任务是选择移动操作系统(OS),提供之间的重要连接成像、计算、辅助传感器数据的用户界面和集成。两个主流移动操作系统Android和iOS (21]。最聪明的应用程序,因此,通常至少两个版本发布了一个Android平台,另一个为iOS平台。本文选择Android系统作为主要开发移动操作系统。

Android是开源和谷歌Apache许可下发布的代码。它包含一组C / c++库使用Android系统的各个组件。它还包括一组核心库,提供了大部分的功能使用Java编程语言。每个Android应用程序都在其自己的进程,有自己的实例(22]。对于应用程序开发人员来说,谷歌(Google inc .) Android提供了软件开发工具包(SDK)。SDK包含一组全面的开发工具,包括一个调试器,软件图书馆、手机模拟器,文档、示例代码,和教程。

2.2。OpenCV和移动视觉计算

Android平台上大多数应用程序是用Java编程语言编写的,它可以满足大多数移动和交互的应用程序。然而,对于严重的视觉计算任务,有效的图像和视觉库。现代影像和视觉库已经发展为解决各种视觉计算问题。这些库包括VXL VLFeat、RAVL OpenSURF, CImg ImageJ, BoofCV。这些库主要旨在解决特定的问题,如特征提取、分类、或简单的图像I / O操作。计算机视觉基于matlab工具箱是另一种工具,可以用于成像计算、可视化和编程。

在这些视觉库,OpenCV是一个受欢迎的(23,24),它提供了计算机视觉和机器学习编程功能主要针对实时图像处理和理解。相比其他图书馆前面所提到的,OpenCV提供最全面的优化算法。c++, C、Python和Java接口和支持多个平台像Windows, Linux, Mac OS,现在安卓系统。图2显示了OpenCV架构设计。与其他视觉库相比,OpenCV优化移动平台的实时处理。

在架构中的组件,HighGUI允许用户与操作系统交互,文件系统和成像相机和触摸屏等硬件。它允许一个简单的方法来查询一个相机,从相机获取最新的图像。文件系统集中在加载和保存图像。HighGUI使用一个抽象方法来加载和保存图片和视频没有关于特定设备。因此,阅读并保存图像只有一行代码在一个Android-enabled设备。除了HighGUI, OpenCV库提供了超过2500个优化算法操作图像来完成特定的任务,其中包括图像增强的基本方法,修改,和转换和先进的图像匹配方法,分割、运动跟踪、相机标定。

2.3。工程应用

大量的移动成像和计算机应用程序开发在许多领域,如机器人、自动化、医学信息学、和工程(14,25- - - - - -33]。一个有趣的应用程序识别二维快速反应(QR)代码,一个无处不在的编码和标记工具。在这些努力,移动设备捕获实时QR模式的图像和识别(32,33]。另一个值得注意的工作由船体等人认为,移动成像和计算是最理想的体系结构的一系列移动图像识别问题相比mobile-server计算架构。他们进一步报道移动成像和计算实验进行自动识别的文章,照片,和广告在报纸使用中档智能手机,在一个图像的平均运行时间是1.2秒,识别错误率小于1% (34]。本文与具体的证据表明移动成像和计算的巨大潜力,当今天的智能设备。

在土木工程,移动计算已经被认为是一个重要的工具实现高效的信息共享,设计和构建协作。Nagayama等人建立了一个基于视频的应用程序同时加速道路条件评估记录(35]。通过使用加速度计、GPS和磁强计传感器在智能手机上,不干扰方法引入Bhoraskar等人发现城市交通和道路条件(36]。结合加速度计、陀螺仪、磁力仪、GPS和相机在移动设备上,研究人员还开发了一个系统的分类和识别驾驶风格(37]。Behzadan等人利用移动设备的位置服务实现上下文感知交付在建筑工地38]。可穿戴系统现场建筑信息建模和共享是最近通过集成开发手机和显示设备的视觉分析(39]。

在这些应用中,麦克风的符号应用基于最先进的移动技术有四个核心功能:(i)通过移动便携式代数字化图像成像传感器,(ii)上下文与human-device集成接口(例如,触摸屏)和其他辅助传感器数据,(3)实时或近实时计算和分析使用移动成像和上下文数据,通过移动通信网络及(iv)交付产品。这些特性,要么全部或部分,表现在前面回顾了移动应用程序。指出,然而,麦克风在土木工程中的应用综述之前一般缺乏背后的应用最先进的技术。在这些应用中,image-centric原位计算在移动结束时(例如,图像分析识别和信息提取)并没有强调由于能力有限的早期移动设备或其特定目的的应用程序。

3所示。智能结构检查麦克风的方法

本文的研究问题是进行智能结构损伤检测中复杂或hard-access建筑环境通过利用移动成像和计算技术的力量。在接下来的一个聪明的移动成像和计算框架结构提出了检验。

小说的概念提出了构建这个框架,称为engineer-imaging-computing共同单位,它由一名工程师与他或她的设备在工作区域。如图3每个启德集团单位有两个基本要素,是工程师和移动设备。它假定一个启德集团单位配备至少一个基于android的移动设备。除了使用移动设备为基本成像设备,可以使用数码相机。普通数码相机的基本要求是,他们可以拴在无线移动计算设备。

建立一个共同单位,图4说明了智能移动成像和计算框架,它强调其操作和数据流。“智能”有两层含义的术语相关的框架:(1)人与设备之间潜在的以人为中心的交互是基于人类的工程知识和(2)互动和context-enabled成像和计算在一个启德集团单位。

相应地,操作和数据流分为两个组件和四个功能:(1)上下文接口包括上下文的功能成像和交互式计算和(2)context-enabled分析,包括破坏场景的功能分析、量化和分析。完成这两个组件主要功能是显示详细信息如下。

3.1。上下文接口

成像的活动领域包括图像和视频捕捉。这被认为是基本的感知活动提出了框架。上下文接口意味着除了基本成像功能,信息扩充过程通过记录或计算关键的上下文信息与图像相关的活动。上下文信息在此有三类:(1)工程知识相关的破坏场景,(2)嵌入式sensor-generated伴随数据成像活动,和(3)交互式地获得图像处理参数随后的高级分析的关键。这个上下文信息与原始图像元数据或图像数据处理形式复杂。

在表1、工程相关知识和嵌入式sensor-generated列出上下文属性和它们的值。在目前的设计中,这个上下文信息的属性值和集成成像接口实现。对于嵌入式sensor-generated信息表1,不需要用户输入。

工程知识相关信息,很明显,用户输入的是一个简单的方法来获得他们的价值观。指出人工intelligence-enabled自动识别是一个可能的解决方案,可以自动识别,例如,材料或损坏模式类型的图像信息。然而,我们认识到,一个完全自动的解决方案是一项艰巨的任务,如果是带电函数在任何场景成像条件的复杂性,考虑的目标识别结构元素、材料类型和损伤类型在同一时间。对于简单的混凝土表面和裂纹损伤识别,这可能是可行的。可能指的是第一作者的早期作品,在特征提取和神经网络方法是成功实现(40]。另一方面,如果这个准确的上下文提供工程信息对于复杂的破坏场景,它将大大提高后续损害的健壮性和效率分析和量化函数。

另一个重要的上下文信息的范畴是图像分析参数。交互式计算功能意味着人性化的姿态和输入(例如,输入或语音输入)可用于提供关键的上下文参数对于高级图像分析参数。在拟议的框架中,这些交互式参数包括重要值的重要预处理步骤自动映像的损伤分析如下:(1)初始伤害边界和边界框参数(2)图像处理参数线——或者region-damage类型检测。将在下一节中,执行这个方法相结合,整合工程知识背景日志和互动边界框/加工参数选择,解决了一般困难的视觉理解问题(例如,在自然图像识别和定位41])。

3.2。Context-Enable损伤分析

鉴于捕获的图像数据和相关的上下文值,实现context-enabled损伤分析。首先,一些分割和边缘或轮廓检测方法实现框架的破坏场景分析,这通常会导致某些损伤的位置(例如,裂纹或剥落)。正如前面指出的,又不需要破坏识别这里因为它是成像的上下文提供的输入接口(表1)。因此,基于这种伤害类型信息,一个区域损伤诊断(例如,剥落,壶穴,等等)方法或线性损伤类型(例如,裂缝)将自动启动进行损伤定位的任务。

当位置确定损坏模式,这可能是线或轮廓的图像域,几何参数总结伤害很容易计算。然而,一个应该意识到图像空间域只是一个二维线性投影的实际三维物体受非线性成像失真。lens-induced失真,相机校准程序之前应该初始成像(42]。然而,我们注意到一个特殊的情况,如果一个平面破坏模式(可能位于一个几何复杂三维对象)平行于透镜的成像平面,然后在图像提取的损伤模式大约只受一个常数几何缩放失真校正后()。

4所示。为裂纹分析原型实现和演示

4.1。原型实现

基于提出的麦克风的方法,一个原型应用程序开发智能结构检查。选择android智能设备和系统的开发环境。前端的接口实现移动应用程序使用Android软件开发工具包(SDK)(版本4.1),和底层成像和计算功能通过OpenCV实现图书馆(版本2.4)。图5显示了human-device接口。一个可以看到接口设计实现三个基本功能实现:(1)实时成像,(2)图像分析参数选择,和(3)工程知识属性日志记录。此外,地理位置服务用于保存的纬度和经度坐标图像捕获时,和加速度值和环境照明值被记录在后台。这个界面设计共同实现上下文接口框架(图所示5)。

4.2。实现移动成像为裂缝分析和计算

裂纹检测结构损伤最常见的任务之一是检验活动。传统通常遵循一个例程,,首先,使用数码相机图像捕获,然后通过一个强大的数字处理边缘检测器进行现场检验。利用该智能麦克风框架和开发接口(图5),一个完整的实现麦克风结构裂纹分析框架实现。工作协议使用开发原型应用程序如图6。

在本合作协议,一个工程师开始一个成像事件的经验选择适当的视野。在以下,关于如何实现技术细节下面这些步骤。

(1)相关工程测井属性。目前这是通过触摸屏实现手势控制的下拉菜单,这是实现使用Android SDK。尽管如此,我们设想,未来的发展可以集成基于语音的基于自然语言处理日志库(例如,(43])。

(2)边界框选择损伤定位。破坏模式捕获图像中通常位于一个部分的图像。信封的边界框损坏现场提供一个近似手动分割的破坏模式。因此,质量损失检测意味着整体破坏模式的定位是一个重要的最初的一步。这样的定位通常要求计算要求分割算法。先进的轮廓算法可以在文献中找到(例如,确定性水平集或统计texture-modeling方法)(44,45];然而,这些方法通常需要相当大的参数调优或训练数据准备和高计算的要求。在成像窗口,这是交互式地意识到第一次使用Android SDK来获取触摸的坐标实时成像窗口内姿态;然后OpenCV的功能”boundingRect”和“drawContour”分别被用来创建一个边界框。

(3)自动图像增强。在我们的实验中,这个图像增强的步骤是一个重要的初步处理,提高了边缘检测和轮廓分析。每个输入的图像增强是自动执行的真彩色图像。这个过程有三个步骤。首先,然后图像转换为灰度强度图像失真校正应用使用现有的相机校正矩阵(如果可用)。第二,使用直方图均衡化增强图像对比度,这是一个广泛使用的低层次的图像增强技术。直方图均衡化是一种非参数非线性滤波,延伸图像的像素强度范围映射原直方图分布更加均匀分布的强度值(46]。OpenCV函数”equalizeHist使用”。

标准均值漂移滤波应用于进一步消除图像噪声,同时保持不连续面(如边缘,线,和其他线性转换在图像域)。均值漂移滤波是一种广泛使用edge-preserving平滑和图像分割的常用技术。标准的均值漂移滤波需要一个空间和一个范围尺度参数,用和,分别。在这篇文章中,常量用于设置两个尺度参数,,这被证明是一个适当的设置保存边缘/特性而适度消除噪声纹理图像数据库(47]。相应地,OpenCV函数”meanShiftFiltering使用”。

与上面的设置,结合图像增强实现无需用户干预,这对每个图像自动在后台运行之前,先进的图像分析。

(4)互动精明的边缘参数的选择。常见的表面破坏模式(例如,行式裂缝或区域损坏一个清晰的边界)通常是容易使用边缘检测器检测。然而,边缘检测通常需要一个合适的比例因子定义检测器的过滤内核大小。为特定的探测器,例如,精明的探测器,滞后阈值进一步需要(48OpenCV](注意,精明的函数使用了两个滞后阈值参数,上和下一个;在此,上阈值用于表示,获得较低的阈值/ 2)。自动选择这些参数通常是一个具有挑战性的问题。许多高级或自动尺度参数选择过程存在(49,50]。然而,这些方法只产生统计上的“客观”边缘检测的结果,它仍受到视觉批准和专家眼光差的视觉效果。根据这些,互动和手动参数选择获得平滑尺度参数滞后阈值参数精明的检测实现的原型使用Android SDK的功能和所选参数是美联储OpenCV函数”精明的“(48]。

在实现中,默认值为和也被使用,它是40%和2.0,分别如图5。我们的实地经验是,在大多数情况下,这两个值满足需要;因此,用户可能不需要改变他们的明确定义的裂缝图像。首先在必要的情况下,用户可以选择修改平滑因子一个视觉上合适的检测结果。在大多数情况下,默认的滞后阈值不需要修改。这个设置在很大程度上减少了互动的时间成本。

(5)轮廓分析和损伤量化。保存后增强的图像从前面的步骤和关键的上下文信息,随后的图像场景分析和损伤量化是自动的。轮廓分析可以实现使用先进的几何建模(例如,51,52])。在当前实现中,采用一个简单的轮廓分析算法,计算轮廓基于任何二进制图像(53]。因此,OpenCV功能”findContours“在图书馆使用OpenCV。在我们的实现中,二进制输出一个精明的检测器是用于生成二进制输入。因此,相同的规模和阈值参数交互地选择以前用于轮廓分析。时指出,精明的检测返回存在1个像素宽线工件、等高线分析输出线。我们特别指出,在现实中如果裂缝宽度小,用户可以在近距离拍照,以避免这种情况。

使用这个简单的轮廓分析的一个优点是,许多结构性contour-based计算功能丰富,准备输出检测轮廓的重要几何参数,如面积和周长。这些几何参数提供总结损伤定量的重要统计数据。

指出,如果相机定位表面平行,只有一个占比例因子之间的几何校正图像域和现场实际的损害。考虑其他复杂的情况,我们将建议使用检查委员会(应该首先用于图像校准)在成像领域。这张支票板将被用于提取图像域的投影矩阵,从而导致图像的正确转换,因此,准确的损伤提取(如裂缝宽度,6])。这款相机标定和图像校正研究超出了本文的范围。

4.3。混凝土裂缝图像数据库

这个麦克风的性能评估方法和应用程序原型,一个大型数据库建立了混凝土裂缝图像。图像是来自两个方面。首先,我们与特定的关键字和搜索互联网过滤器和获得140混凝土表面和裂纹图像(免费使用谷歌版权条款(54])。第二,开发原型应用程序在两个android智能设备来捕捉路面裂缝图像,导致一个图像数据库有110图片。两个生成的图像数据库也发现在我们社区发展研究网站作为一个开源项目(55]。数据7(一)和7 (b)显示图像样本的一部分,一个的一个图像画廊,另在谷歌地图搜索图像,分别。有人指出这两个数据库拥有与复杂的场景图像。

4.4。实验结果

4.1.1。Context-Enabled视觉分析的有效性

证明的有效性context-enabled视觉分析由于上下文日志和交互式选择的关键参数,分析人物8展示了一个例子,一个图像与一个复杂的场景被选中。在图8(一个),一个可以看到感兴趣的损害是一个裂缝在前台,变色和受污染的潮湿。没有选择一个边界框和视觉选择精明的参数、等高线分析将产生结果如图8 (b)。边界框时预选、等高线分析将集中在地区找到感兴趣的其中一个细长的裂纹;然而,许多嘈杂的轮廓出现在结果(图8 (c))。在图8 (c)互动带来的,一个相对最优的参数设置参数选择使用智能手机的人。你会发现视觉满意的裂纹检测的结果是获得边界框内。因此,简单的后处理总结轮廓的几何形状会产生更准确的裂缝统计(图8 (d))。

10/24/11。Context-Enabled视觉量化分析和损伤

表2报告10例context-enabled视觉分析的结果和损伤量化结果(前5图像从互联网上搜索数据库,后者5基于现场试验,和所有图片重新取样宽度256和变化的高度)。除了最终的轮廓分析输出,我们报告一个中间result-Canny边缘检测结果与最优交互式地选择参数和选择的初步的边界框。根据随后的轮廓分析,简单的损伤进行量化。指出,不考虑规模/维度转换、裂纹长度和报道地区(Len、区)可以在像素和像素,平方。

表中所示的图像2体现场景不同层次的复杂性。对于某些图像,例如,图片号码2或4号,边界框可能没有必要由于更少的噪声图像背景和显然发达裂缝特性,或者因为填充图像捕获的损害。对于许多其他图像,例如,图片6号,8和10,边界框必须定义一个初始边界的损害。轮廓分析结果提供损坏的映射的封闭轮廓或单一的边缘。正如前面提到的,轮廓分析结果实际上返回检测到的轮廓的坐标,使几何参数的快速计算的损失。表的最后一列2报告总结的长度和区域检测到损坏的图片。这些统计数据,当翻译成真正的单位(通过一个简单的几何校正过程),艾滋病在损失评估领域提供关键的决策。

4.5。计算性能评估

的一个因素是成功的关键改进和智能的移动成像和计算结构损伤检测是它的计算性能。评估移动成像和计算的性能,我们区分两个主要操作提出了麦克风框架以及发达的原型。一个是交互式参数选择或工程知识日志记录。另一种是自动图像分析在后台运行的智能设备。对于前者,不需要评估其计算效率,因为它是在实地决策user-engaged手工操作的一部分。因此,绩效评估是集中在图像分析组件。因此,最明显的和相关的任务是移动计算能否鼓励或阻止实时决策(如现场条件评估)现场检查活动。的主要参数是时间消耗一个特定的计算任务。的主要标准是证明如果时间成本小于1.0秒任何分析大于1.0秒,那么用户就会觉得延迟操作这让实时决策。

在下面,我们进行比较研究通过比较图像的计算性能分析方法时使用智能设备和工作站实现。在这项研究中,使用了两种代表性的计算平台。智能移动设备是谷歌的Nexus 7的平板电脑,这档节目的特点就是一个Nvidia 1.6 GHz四核CPU, 1 G内存,和一个Android 4.3操作系统。工作站是一个Linux计算机以英特尔酷睿2双核CPU E8400 3 GHz频率,4 G RAM和Ubuntu Linux 12。这两个视觉分析方法实现的原型了。(1)图像增强包括直方图均衡化的结合的使用和均值漂移滤波。然而,我们注意,直方图均衡化的方法(函数”equalizeHistOpenCV”)是一个相当低成本的算法、处理图像无论常规图像大小随着时间的推移,用户可以忽略不计(576×720的图像大小,消费的时间约为0.3×10⁻³0.9×10⁻³秒,或使用工作站1到9毫秒,约1.5到5.0毫秒的使用智能平板电脑)。另一方面,时间成本和效率均值漂移方法的高度取决于图像大小。考虑到之前的一系列图像大小,均值漂移滤波的时间成本可能是一秒。因此,在本文中,只有均值漂移滤波(使用”meanShiftFiltering“在OpenCV= 3,= 6)评估的计算平台。(2)轮廓分析使用嵌入式精明的探测器进行二进制边缘的一代。由于大量的图像,不寻求最佳的参数从手势交互选择用图所示的界面5。而不是一个标准的精明的参数设置(,)用于轮廓分析在这两个平台(,)。此外,边界框是不习惯;相反,在总图像进行轮廓分析领域。对于轮廓分析,两个使用性能的措施:一是时间成本,另一个是轮廓的数量。输出轮廓的数量的理由是,它是一个更好的指标的底层图像中场景的复杂性。图像数据库上的测试性能评估基于互联网搜索。基本原理是,首先,图像大小是影响计算时间的主要因素;第二,在野外拍摄的图像变化在大小不同的成像设备或用户可以选择使用不同的调整比率减少图像大小。不同的内容不同的互联网搜索图像大小从200×300(约0.05像素)1024×1024像素(或1)。因此,该图像数据库作为一个适当的测试数据库。七十张图片选择和测试在两个平台上对上面的图像分析程序。与此同时,由于一个均值漂移过滤器使用一个迭代过程定位密度函数的局部极大值,它是可能的,当图像大小是固定的,图像内容可能影响计算时间。因此,需要执行一个变化的评估时间成本使用相同大小的图像具有不同场景的复杂性是必要的。

图9介绍了散点图的运行时间(即图像增强过程。,using the mean-shift filtering method) against the image size of input images, resulting from the smart tablet and the workstation, respectively. First of all, one can see that the image sizes in terms of mega pixels statistically predict well the time consumption. Comparing between the tablet and the workstation, the regression analysis returns that the efficiency of using the smart tablet is about 1376 millisec/Megapixel, whereas it is 625 millisec/Megapixel for the workstation. The tablet is about 45% of the efficiency of the workstation, when the mean-shift filtering function is used. This is not a surprising result considering the lower-end computing hardware configuration of the mobile device. In the meantime, when small to moderate-sized images are used, for example, 480 × 320 (or 0.15 mega pixels), the time consumption from Figure9约为200毫秒,如果使用智能设备。

进一步评估时间消费的潜在变化图像内容,人物10说明了使用两种不同尺寸的时间消耗的结果代表小到中等大小的图像。当图像大小为480×320,图像增强的时间范围从200到290毫秒,250毫秒的平均值和标准偏差为14.4毫秒。图像的720×576(0.4兆像素),运行时间600 - 780毫秒,710毫秒的平均值,标准差为36.7毫秒。这个实验展示了整体的一致性预测时间消耗使用一个固定的图像大小。因此,正是准备原因,如果图像有小到中等大小,时间成本是统计不到800毫秒(或0.8秒)使用智能平板电脑。这个统计研究表明,执行拟议中的低级图像增强并不妨碍整体互动成像、计算和实时决策。

损伤量化分析使用轮廓检测方法,人物11说明了对图像大小的运行时间。然而,在这种情况下,图像大小不是一个好的指标的潜在运行时间的相当大的散射图反映出来。尽管如此,似乎当图像尺寸小于0.4像素,轮廓分析成本少于300毫秒的平板电脑时使用。这是一个有前途的结果的实现实时成像和计算。此外,一个可以观察到疲软的统计学意义,工作站是大约10倍平板电脑(基于一阶多项式系数的二阶回归结果)。

发现在图像的轮廓,这是一种直接测量图像中场景的复杂性领域,是一个更好的预测的时间消耗。在图12散点图的时间消耗的数量和轮廓绘制。使用二阶多项式拟合,底层块产量大大提高统计学意义(在这两种情况下)。故事情节表明它是轮廓的数量而不是图像大小,可以准确地预测消费的时间。首先,智能平板电脑和工作站之间的差别是显而易见的。工作站,时间成本相对缓慢增长对轮廓的数量(或相当于现场的复杂性),而在平板电脑的情况下,时间成本增加迅速随着轮廓的数量增加。例如,无论图像大小,如果轮廓的数量从300年到100年,减少时间成本的变化从600毫秒到60毫秒使用平板电脑。这种差异是由于底层不同的硬件和软件配置。当轮廓的数量小于100,一个可以的原因,提出了轮廓分析不会强加的大量计算障碍实现实时成像、计算、计算和决策。这个观察意味着边缘/ line-preserving平滑前应该认真考虑去除噪声轮廓任何高级图像分析损害量化智能移动设备时使用。

5。结论

本文的主要目的是探索现代移动成像和计算潜在的用于结构损伤检测的常规民用基础设施管理的实践。在本文中,我们解决的关键需要来自执行智能和有效的检验在复杂或hard-access构建环境,在目视检查主导着练习。

通过开发一个移动成像和计算模型,提出了移动损伤检查验证和评估方面的实际可行性和计算性能使实时实地的决策。特别是,以下技术获得的结论是使用最先进的智能移动设备(例如,商业谷歌Nexus 7平板电脑)。(1)交互式登录并选择上下文参数,包括类型的损伤,初步图像分析参数,和边界框,对收益质量的损伤检测和量化至关重要。否则无法使用,如果这些参数分析重大挑战将遇到处理结构性破坏模式作为复杂的建筑环境的自然场景。(2)在大多数应用程序中,建议图像大小应该在一个温和的水平,例如,576×720(或0.4 mb)。这种级别的图像大小是适合处理常见的破坏模式(如裂缝)使用智能设备。(3)典型的应该进行图像增强和可以实现在移动设备同时伴随实时成像和计算在现场检查活动。(4)图像内容的复杂性可以减少通过两个操作:通过边界框的选择(i),(2)通过均值漂移滤波等图像平滑。这两个操作可以显著减少轮廓的数量从而使实时损伤分析。随着这些技术的结论,我们最后得出结论,通过今天的移动成像和计算智能设备拥有巨大潜力实现智能、高效的结构损伤检测等智能应用程序时特别合理的检验区域复杂或难以访问。

最后,应该指出的是,造成定量提取使用移动设备受到更多的基于图像的发展。在实践中,普通混凝土损伤统计数据包括长度和面积,这很容易提取使用本文的方法。裂纹的宽度是一个重要指标。然而,对于裂缝宽度,它是一个复杂的图像分析问题涉及提取中央线的裂纹。提出了一种方法在第一作者之前的工作6),可以实现移动智能设备。然而,这些潜在的定量提取和方法受到现场验证,这不在本文的讨论范围。

利益冲突

作者宣称没有利益冲突有关的出版。

引用

1. f . n . Catbas和a·阿克坦大肠”条件和损伤评估:问题和一些有前途的指标,“结构工程杂志,卷128,不。8,1026 - 1036年,2002页。视图:出版商的网站|谷歌学术搜索
2. b . r . Ellingwood”,以反应为条件的评估民用基础设施:实践和研究的问题,”结构和基础设施工程,1卷,不。1、7 - 18,2005页。视图:出版商的网站|谷歌学术搜索
3. m·摩尔b·法勒斯b . Graybeal d·罗兰和g .垫圈,目视检查的可靠性对公路桥梁、卷我,2001年联邦高速公路管理局。
4. m·j·奥尔森,z, t·哈钦森和f . Kuester“光学多尺度损伤评估的技术,”测绘学、自然灾害和风险,4卷,不。1,49 - 70年,2013页。视图:出版商的网站|谷歌学术搜索
5. c·科赫和i Brilakis“壶穴检测沥青路面图像中,”先进的工程信息,25卷,不。3、507 - 515年,2011页。视图:出版商的网站|谷歌学术搜索
6. z陈和t·c·哈钦森,“基于图像的框架混凝土表面裂缝监测和量化,”土木工程的发展ID 215295条,卷。2010年,18页,2010年。视图:出版商的网站|谷歌学术搜索
7. s . r . Cruz-Ramirez y美,Arai t, t . Takubo和k . Ohara”应用层次识别拆除机器人应用于内部更新的建筑,”计算机辅助土木与基础设施工程,26卷,不。5,336 - 355年,2011页。视图:出版商的网站|谷歌学术搜索
8. t . Nishikawa j .吉田、t . Sugiyama和y Fujino,“混凝土裂缝检测由多个连续的图像过滤,“计算机辅助土木与基础设施工程,27卷,不。1,29-47,2012页。视图:出版商的网站|谷歌学术搜索
9. m . r . Jahanshahi和s·f·马斯里”,适应建立裂纹检测使用3 d场景重建条件的评估结构,”自动化建设22卷,第576 - 567页,2012年。视图:出版商的网站|谷歌学术搜索
10. h . Cheng和c .装玻璃自动化的实时路面裂纹偏转/分类系统想法,交通研究委员会,2002年。
11. s . Ghanta r . Birken j . Dy,“从灰度图像自动道路表面缺陷检测,”学报8347年学报,无损表征复合材料,航空航天工程,民用基础设施,和国土安全83471 e, 2012卷。视图:谷歌学术搜索
12. ,j . m . c .官员答:牧师,v . m . Padron和m . Abderrahim”爬自治机器人3 d检查应用程序的复杂的环境,”Robotica,18卷,不。3、287 - 297年,2000页。视图:出版商的网站|谷歌学术搜索
13. j。哦,g .张成泽,s .哦,et al .,“桥梁检测机器人和机器视觉系统,”自动化建设,18卷,不。7,929 - 941年,2009页。视图:出版商的网站|谷歌学术搜索
14. S.-N。Yu黄永发。张成泽和c。汉”,使用移动机器人自动检测系统中检测混凝土裂缝隧道,”自动化建设,16卷,不。3、255 - 261年,2007页。视图:出版商的网站|谷歌学术搜索
15. c . Eschmann C.-M。郭,学术界。郭,c·鲍勒”无人机系统对于远程建立检验和监控,”学报第六届欧洲结构健康监测研讨会(EWSHM 12)德累斯顿,页1179 - 1186年,德国,2012年7月。视图:谷歌学术搜索
16. s . Rathinam z . w . Kim和r·森古普塔”建立监测局部线性结构使用无人机,“《基础设施系统,14卷,不。1、52 - 63年,2008页。视图:出版商的网站|谷歌学术搜索
17. n Metni t·哈默尔,“无人机桥检查:视觉伺服控制律与取向限制,”自动化建设,17卷,不。1,3 - 10,2007页。视图:出版商的网站|谷歌学术搜索
18. g·h·福尔曼和j . Zahorjan”移动计算的挑战。”电脑,27卷,不。4,38-47,1994页。视图:出版商的网站|谷歌学术搜索
19. Mobithinking”, 2013年全球移动数据:移动用户;手机市场份额;移动运营商,”2013年,http://mobithinking.com/mobile-marketing-tools/latest-mobile-stats/a。视图:谷歌学术搜索
20. k . Pulli观测。陈:Gelfand et al .,“移动视觉计算”程序的国际研讨会上无处不在的虚拟现实(ISUVR ' 09)2009年7月,页3 - 6,。视图:出版商的网站|谷歌学术搜索
21. Gartner,”Gartner全球销售的手机说,“2013年,http://www.gartner.com/newsroom/id/2017015。视图:谷歌学术搜索
22. d . Ehringer”dalvik虚拟机架构,技术代表、2010。视图:谷歌学术搜索
23. g . Bradski和a . Kaehler学习OpenCV: OpenCV的计算机视觉库O ' reilly Media, 2008。
24. OpenCV。”的开源计算机视觉“2013年,http://opencv.org/。视图:谷歌学术搜索
25. W.-H。曹和苏耿赋。金”,图像增强技术为移动系统,使用颜色和边缘特性”数码摄影七世学报学报》,2011年1月旧金山,加州,美国。视图:出版商的网站|谷歌学术搜索
26. t·叶k .好莱坞k Tollmar, t·达雷尔“一张图片胜过一千个关键词:基于图像的对象搜索在移动平台上,”程序扩展抽象的人为因素在计算系统(CHI 05),2025 - 2028页。视图:谷歌学术搜索
27. r·安德拉德,a . v . Wangenheim和m . k . Bortoluzzi“无线PDA:一项新策略来访问DICOM-compliant医疗数据在移动设备上,“国际医学信息学杂志》上,卷71,不。2 - 3、157 - 163年,2003页。视图:出版商的网站|谷歌学术搜索
28. y近藤,“医学图像传输利用互联网和移动电话,紧急护理”日本Hoshasen Gijutsu Gakkai Zasshi,卷。58岁的没有。10日,1393 - 1401年,2002页。视图:谷歌学术搜索
29. z Tu和r·李”民用基础设施的自动识别对象在移动映射图像使用马尔可夫随机场模型,”19 ISPRS大会的程序,16-23,2000页。视图:谷歌学术搜索
30. 道,r·李和m·a·查普曼”自动重建道路中心线从移动映射图像序列,”摄影测量工程和遥感,卷64,不。7,709 - 716年,1998页。视图:谷歌学术搜索
31. d·瓦格纳g . Reitmayr a . Mulloni t·德拉蒙德和d . Schmalstieg“实时检测和跟踪手机增强现实,”IEEE可视化和计算机图形学,16卷,不。3、355 - 368年,2010页。视图:出版商的网站|谷歌学术搜索
32. j . y . Liu Yang, m .刘“识别二维码的手机,”中国控制与决策会议,2008 (CCDC 08年)烟台,页203 - 206年,中国,2008年7月。视图:出版商的网站|谷歌学术搜索
33. a, y太阳,c .刘”的字迹模糊的快照由手机拍摄二维码重组,”《计算机科学及其应用国际会议(ICCSA ' 07),页532 - 538,吉隆坡,马来西亚,2007年8月。视图:出版商的网站|谷歌学术搜索
34. b . j . j .船体x Liu Erol, j·格雷厄姆和j . Moraleda“移动图像识别:架构和权衡,”学报11日车间在移动计算系统上的应用程序,第88 - 84页,2010年。视图:谷歌学术搜索
35. t . Nagayama a . Miyajima木村,y什和y Fujino”道路条件评估使用普通车辆的振动响应和同步记录电影,”学报学报智能结构和材料+无损评价和健康监测2013年3月,p。86923。视图:出版商的网站|谷歌学术搜索
36. r . Bhoraskar: Vankadhara、b·拉曼和p . Kulkarni“金刚狼:交通和道路条件评估使用智能手机的传感器,”程序的通信系统和网络的第四次国际大会上(COMSNETS 12),页1 - 6,班加罗尔,印度,2012年1月。视图:出版商的网站|谷歌学术搜索
37. d·a·约翰逊和m . m . Trivedi”驾驶风格识别使用智能手机作为传感器平台”14 IEEE国际智能交通系统研讨会论文集(ITSC 11),页1609 - 1615,华盛顿特区,2011年10月美国。视图:出版商的网站|谷歌学术搜索
38. a . h . Behzadan z阿齐兹,c . j . Anumba令Kamat v . r .,“无处不在的位置跟踪交付在建筑工地的上下文相关的信息,”自动化建设,17卷,不。6,737 - 748年,2008页。视图:出版商的网站|谷歌学术搜索
39. k.c.叶,m·h·蔡,s . c .康”iHelmet: BIM的AR-nhanced穿戴的显示信息,”移动和普适计算的建设著名,168,页149 - 2012。视图:出版商的网站|谷歌学术搜索
40. z . Chen r . r . Derakhshani c . Halmen和j·t·Kevern”texture-based方法分类裂缝的混凝土表面使用神经网络,从数字图像”学报》国际神经网络(IJCNN联席会议11)圣何塞,页2632 - 2637年,加州,美国,2011年8月。视图:出版商的网站|谷歌学术搜索
41. d·a·福赛斯和j·庞塞计算机视觉:一种现代方法,Prentice Hall,纽约,纽约,美国,2002年。
42. “灵活的摄像机标定新技术。”IEEE模式分析与机器智能,22卷,不。11日,第1334 - 1330页,2000年。视图:出版商的网站|谷歌学术搜索
43. 斯芬克斯,“开源工具包,用于语音识别,”2011年,http://cmusphinx.sourceforge.net/。视图:谷歌学术搜索
44. a . k . Jain和f . Farrokhnia“无监督纹理分割使用伽柏过滤器,”模式识别,24卷,不。12日,第1186 - 1167页,1991年。视图:出版商的网站|谷歌学术搜索
45. 洛杉矶Vese t·f·陈,“一个多相水平集图像分割框架使用芒福德和沙模型,”国际计算机视觉杂志》上,50卷,不。3、271 - 293年,2002页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
46. h . d . Cheng和x j .史”,一个简单而有效的直方图均衡化的图像增强方法,”数字信号处理:回顾杂志上,14卷,不。2、158 - 170年,2004页。视图:出版商的网站|谷歌学术搜索
47. d . Comaniciu和p .相遇时,“意味着转变的分析和应用,”学报》第七届IEEE计算机视觉国际会议(99年ICCV”)1999年9月,页1197 - 1203。视图:谷歌学术搜索
48. j .精明的边缘检测的计算方法,“IEEE模式分析与机器智能,8卷,不。6,679 - 698年,1986页。视图:谷歌学术搜索
49. r·科伦和y Yitzhaky边缘探测器参数的自动选择基于空间和统计措施,”计算机视觉和图像理解,卷102,不。2、204 - 213年,2006页。视图:出版商的网站|谷歌学术搜索
50. y Yitzhaky和大肠Peli”,目标边缘检测方法评价和探测器参数选择,”IEEE模式分析与机器智能,25卷,不。8,1027 - 1033年,2003页。视图:出版商的网站|谷歌学术搜索
51. s . Kichenassamy a·库马尔·Olver a坦南鲍姆,双重和a . Yezzi“梯度流动和几何活动轮廓模型,”第五届国际会议上计算机视觉学报》上,第815 - 810页,1995年。视图:谷歌学术搜索
52. 诉Caselles, Kimmel r, g . Sapiro“测地线主动轮廓,”国际计算机视觉杂志》上,22卷,不。1,第79 - 61页,1997。视图:出版商的网站|谷歌学术搜索
53. 铃木和k,“拓扑结构分析数字化二进制图像的边界后,“计算机视觉、图形和图像处理,30卷,不。1,32-46,1985页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
54. 谷歌,发现内容重用,2013岁的谷歌https://support.google.com/websearch/answer/29508。
55. z陈。”密苏里大学堪萨斯城分校混凝土损伤图像数据库“2013年,http://lasir.umkc.edu/cdid/。视图:谷歌学术搜索

版权

版权©2014志强陈和陈Jianfei。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。