文摘
移动图像检索极大地方便我们的生活和工作提供各种检索服务。现有的移动图像检索方案是基于移动cloud-edge计算架构。也就是说,用户设备捕获图像和边缘服务器上传捕获的图像数据。这些捕获图像数据预处理和特征提取后这些图像数据,提取的边缘服务器上传功能到云服务器。然而,云服务器上的特征提取与特征提取的非合作的边缘服务器不能有效地提取特征和图像检索精度较低。为此,我们提出一个协作cloud-edge特征提取为移动图像检索架构。云服务器生成图像数据集的投影矩阵的特征提取算法,并上传图像的边缘服务器提取特征投影矩阵。也就是说,云服务器引导边缘服务器进行特征提取。这种体系结构可以有效地提取图像边缘服务器上的数据,减少网络负载,节省带宽。实验结果表明,该方案可以上传几个特征检索精度高和特征匹配时间减少约69.5%相似的检索精度。
1。介绍
移动图像检索等过程中发挥着重要作用的识别作物病虫害,行人保护的自主车辆,嫌疑人身份,和医疗服务1- - - - - -6]。它已经渗透到人们生活的各个方面。特征提取和特征匹配是图像检索任务的两个重要因素。特征匹配是最耗时,以及特征提取影响匹配的时间和检索结果。由于用户设备的计算和存储资源有限,许多移动图像检索任务是基于移动云计算架构(7- - - - - -11]。例如,雪莱et al。12)提出了一个基于Hadoop云computing-based虹膜检索解决方案框架和证明的使用云服务器可以有效地加速检索任务。哈桑et al。13)提出了一个基于移动云计算面临检索方法的体系结构。在这个框架中,移动设备和云服务器执行一个轻量级的任务运行计算密集型任务。在这些解决方案中,用户设备执行一个轻量级的任务和云服务器运行计算密集型任务与强大的计算和存储资源。上面的方法都使用云服务器的强大的计算和存储资源。也就是说,移动用户第一次使用他们的用户设备捕获图像,然后将捕获的图像数据上传到云端服务器进行进一步处理。获得图像数据上传后,云服务器进程,获取结果并将其发送给手机用户。减少网络流量,许多研究[14,15]也这些捕获图像数据预处理,甚至从这些图像数据中提取特征,只有上传提取的特征到云服务器。菅直人et al。14)提出了一个自动分类方法对药用植物的叶子,而不是手工分类,可以极大地提高检索的精度和速度。这种方法预处理药用植物的叶子的图像,提取形状和纹理特征,然后将药用植物的叶子通过支持向量机(SVM)分类器。甘露聚糖等。15)提出了一个增强的基于云的生物识别方法识别个人在校园里。通过使用云服务器的计算和存储资源,系统的计算和存储负担减少。这种方法使用局部二值模式(LBP)算法加密图像提取特征,以保护个人隐私。与此同时,它使用主成分分析算法来减少传输延迟和计算时间。
移动图像检索通过提供各种检索服务极大地方便我们的生活。然而,由于长距离移动用户与云服务器之间,很难提供快速响应大规模移动图像检索任务,和覆盖率和有限的频谱资源,移动用户通常远离云服务器,导致网络延迟和中断,这将带来糟糕的用户体验。因为快速响应是一个伟大的移动图像检索任务的需求,一种新的计算范例多路存取边缘计算(MEC) [16- - - - - -20.)架构已经成为一种很有前途的解决方案来解决移动云架构的长的响应时间通过提供计算和存储资源在网络的边缘。在MEC环境中,特征提取主要是边缘服务器上执行和云服务器上执行耗时的操作。近年来,许多相关研究提出了(21,22]。例如,Soyata et al。21)提出了一个混合mobile-cloudlet-cloud计算架构,使用薄云作为一个轻量级的服务器和应用最优分配任务划分方法计算云服务器之间的负载。胡锦涛et al。(22)提出了一个检索框架基于雾计算架构。在拟议的框架中,雾节点进行人脸检测,图像预处理,特征提取,面临来自原始图像标识符通过客户端进行局部二进制模式算法。然后,云服务器执行匹配和身份信息采集后从雾节点的标识符。结果表明,该框架可以减少带宽消耗和响应时间。
然而,在大多数现有的方法,特征提取的边缘服务器分开云服务器。这导致了缺乏提取的特征的有效性,从而影响图像检索任务的性能。Sharma et al。23]提供了一个协调架构优势能有效分析大数据和云计算物联网网络。云服务器的关键是利用网络知识和历史信息,引导边缘服务器提供各种定制的服务。为此,我们的目标是研究移动图像检索MEC的环境。我们提出一个cloud-edge协作MEC的移动图像检索的特征提取的解决方案。在拟议的框架中,提取有效特征通过云服务器的协作和边缘服务器,而不是通过云服务器或单独边缘服务器。与此同时,我们商店提取的边缘服务器响应特性和结果相同的图像检索服务更快。
本文的其余部分组织如下:部分2介绍了系统的框架。部分3给出了实验结果和分析。最后,我们得出本文的部分4。
2。建议的体系结构的设计
2.1。问题陈述
在本文中,我们研究MEC环境中的图像检索的问题,描述如下:如图1MEC的系统架构包含三层组件:用户设备,边缘服务器,云服务器。用户设备与边缘服务器通过网络通信网关,和边缘服务器连接到云服务器通过互联网骨干。大量的标记图像数据存储在云服务器上。移动用户第一次使用他们的用户设备捕捉图像和预处理,然后将预处理图像数据上传到边缘服务器。接到预处理图像,边缘服务器使用一个特征提取算法提取有效特征,存储特性,然后提取的特征上传到云服务器进行进一步处理。接到提取特征后,云服务器进程,得到结果,最后将结果返回给边缘服务器和用户设备。本文总结在表中使用的符号1。
2.2。建议的体系结构的详细设计
拟议的框架的架构包含三层组件:用户设备,边缘服务器,云服务器。用户设备指的是计算和存储资源有限的一些设备,如智能手机、笔记本电脑、移动宽带适配器和苹果手表。边缘服务器通常是一组服务器部署在网络的边缘,如microservers。云服务器通常Alicloud服务器、云服务器,亚马逊网络服务(AWS)和微软Azure云服务器。
为了验证体系结构的可行性和有效性,我们实现了一个原型系统,它使用一个Karhunen-Loeve变换(KLT) [24,25特征提取算法。在实际的场景中,我们的框架可以灵活选择算法根据应用场景,包括但不限于KLT算法。拟议的框架可分为离线和在线阶段阶段。在离线阶段,得到投影矩阵KLT算法从图像数据集在云服务器上。我们假设 , ,是我th图像的图像数据集特征图像的数量 ,和类标签的数量 。KLT的计算过程如下:(1)云服务器上的数据集进行标准化。大多数机器学习和优化算法执行得更好当所有的功能都是一样的。要做到这一点,一个标准化的方法可以实现。样本可以成为标准化的功能通过使用以下计算: 在哪里样品的意思吗 然后,样本零均值: 在哪里是标准差相应的特性, , ,是jth特性,最后,标准化的特点如下: (2)计算协方差矩阵的特征数据集的协方差矩阵如下: (3)计算协方差矩阵的特征值和特征向量。(4)特征值及其对应的特征向量。(5)形成了投影矩阵通过选择相应的特征向量最大特征值。
云服务器上的特性集也可以计算 。然后,投影矩阵边缘传输服务器上传的原始图像特征提取的用户设备。矩阵得到图像的整体信息云服务器上的数据集;因此,原始图像的特征提取的边缘服务器上是有效和更少的特征。
我们再使用(资讯)26,27)算法来匹配特性。然而,假设新样本之间的相似性和可用的情况下,把新病例属于最类似于可用的类别。资讯的处理流程是我们第一个选择的数量 ,在哪里代表的数量的邻居。然后,我们测量的距离 - - - - - -最近的邻居的测试数据。随后,我们数一数每个类别的邻居。最后,我们将测试数据分配给最多的类别的邻居。注意,我们使用最常用的欧氏距离来计算样本之间的距离。给两个样品和 ,他们的欧几里得距离可以写成
我们还将结果存储的特征提取和特征匹配时节省计算资源是相同的图像检索请求。我们假设的形象 , 和特征匹配的结果。量化的性能检索准确率是定义如下: 在哪里 =如果 和=否则。在线阶段,移动用户使用他们的用户设备捕捉图像和边缘服务器上传捕获的图像数据。接收图像数据后,边缘服务器首先执行对象检测、使用对象分割算法进行预处理。然后,服务器使用边缘投影矩阵从预处理的图像中提取特征提取的特征数据,上传数据到云服务器进行特征匹配。注意,然而,是用来测试提取的特征的有效性。为了方便起见,我们集 。
详细的合作cloud-edge过程中给出的算法1。
|
我们方案的新颖性,拟议的框架使用云服务器之间的协作和边缘服务器提取有效特征减少特性匹配时间,用更少的特性,得到相似的检索精度从而提高移动图像检索应用程序的用户体验。
3所示。实验
在本节中,我们使用六个数据集:ORL,耶鲁大学,曼彻斯特理工,MNIST, COIL20,叶子28,29日)来验证我们提出的架构。表2列出了在实验中使用的细节,所有的数据集随机分为图像数据集在云服务器和多个原始图像的边缘服务器上上传的用户设备中提到的部分2。因此,原始图像的图像预处理实验。新至28日MNIST数据集28个像素,和其他图像数据集新3232像素。
我们评估拟议的框架方面的准确性和特征匹配的时间。图2显示原始图像的准确性和我们的方法使用不同的训练样本。在图2(一个)在一开始,使用原始图像方法的准确性高于使用我们的方法。当训练图像的数量达到280,我们的方法比原始图像的方法。起初,在图2 (b),我们提出的方法的准确性不如原始图像的方法,但是当训练图像的数量增加到83,原始图像的准确性的方法相对于我们的方法开始下降。在图2 (c),原始图像的精度变化方法,我们的方法类似于图2(一个)和图2 (c),但两个的准确性更相似。然后,在图2 (d)和图2 (e),原始图像的准确性的方法是比我们的方法和精度之间的区别这两个甚至高于其他数据集。在图2 (f),我们的方法的精度一直是比原始图像的方法,和之后的训练图像设置为大于130,我们的方法的准确性提高得更快。在大多数情况下,我们的方法的准确性是类似于使用原始图像。请注意,我们的方法只使用一些功能参与检索任务。
(一)
(b)
(c)
(d)
(e)
(f)
我们的方法达到精度与使用所有功能,这证明了特征提取的方法的有效性。此外,增加训练图像,直接使用原始图像的准确性和我们的方法增加了,这证明收集足够的训练图像的重要性。
我们的方法有最少的功能匹配的时间。图3显示原始图像的匹配时间和提取的特征的匹配时间有相似的精度。我们观察到使用原始图像相比,使用提取的特征匹配可以节省大量时间。例如,相比之下,使用原始图像,在ORL的数据集,我们的方法减少了特征匹配时间约69.5%的相似检索精度。这是因为我们的方法提取少量的特性。与相同数量的图像,因此,更少的特性导致更少的特征匹配的时间。这也表明,使用我们的方法可以节省很多特性匹配时间。此外,COIL20数据集,我们的方法和原始图像之间的匹配时间方法有最大的变化,在耶鲁的数据集,我们有最小的改变原始图像之间的匹配时间方法和我们的方法。其他数据集的大小匹配的时间变化的顺序MNIST数据集,曼彻斯特理工的数据集,ORL的数据集,数据集和树叶。
4所示。结论
在本文中,我们的架构的优点是云服务器和边缘服务器之间的协作。云服务器执行家中图像检索任务的一部分,也就是说,投影矩阵生成和特征匹配。边缘服务器执行轻量级的任务的一部分,即。,extracting features from the raw image with the projection matrix. Although the edge server can also perform feature extraction on the original image uploaded by user equipment, using our method can make the feature extraction of the original image more effective. The experiment also proved this, and the experiment shows that feature extraction is more effective as the number of images in the data set increases. Therefore, the projection matrix generated from the entire data set on the cloud server can better guide the original image feature extraction work on the edge server and make feature extraction more effective. Also, the accuracy of image retrieval and the matching time verify the effectiveness of our proposed architecture. Moreover, our proposed framework uses the KLT algorithm to extract features. In future work, the efficiency of the adopted algorithm for different data sets in different scenarios might prove important. This is an issue for future research to explore.
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称他们没有利益冲突有关的出版。
确认
作者要感谢徐教授职务高级工程师回族和Zhimi程博士在纸上为他们的宝贵意见。这项研究和出版被山东省自然科学基金支持下批准号ZR2019MA012。