目标检测是计算机视觉的基本任务,可以广泛应用于对象跟踪、人群计数、人脸识别等领域。这是一个重要的公共安全算法。目标检测算法基于候选区域,也称为二级目标检测算法,主要包括提出卷积神经网络(R-CNN),快速R-CNN R-CNN更快,其他模型( 11- - - - - - 13]。回归目标检测算法,也称为单程目标检测算法,主要包括YOLO系列算法和ssd(意思 14, 15]。两级对象检测算法包括两个步骤。我们首先生成对象候选人框架基于区域建议,然后筛选候选帧,分类的对象。快R-CNN首先建议使用区域网络(RPN)来生成一个候选帧,然后使用softmax确定候选帧前景或背景。,它利用边界框回归正确的候选人获得更准确的候选人帧,称为提议。然后RPN使用感兴趣的区域(ROI)层池大小不一的提议到相同的大小和使用一个完全连接层对象分类和位置调整回归( 5]。两级对象检测算法具有较高的识别精度,但是候选帧的生成和选择将消耗大量的计算能力和时间,,很难达到24 fps的检测速度,这是不适合实时目标检测。YOLO v5意思直接返回的位置和类别边界框在输出层。它首先使用马赛克数据增强解决问题的许多小对象数据集和不均匀分布在输入端。然后,介绍了重点部分(CSP)和交叉阶段结构骨架提高特征提取能力。除此之外,在脖子上,它使用功能金字塔网络(红外系统)和金字塔的关注网络(PAN)结构融合特征图的语义特征和定位特征在不同尺度和聚合参数对不同检测层。最后,在预测方面,它使用广义交叉在联盟(GIoU)损失处理不一致的边界框。YOLO v5意思有一个更快的运行速度,可以满足实时检测的要求。对象检测算法将产生大量的冗余信息的监视视频帧。从丰富的视频帧的有效选择关键帧对象跟踪是一种有效的方法来提高检测效率和减少计算工作量。

相对应的超分辨率算法可以重构高分辨率图像从一个或一系列低分辨率的图像。这是一个低级的计算机视觉算法和一种高层次的计算机视觉算法的基础。深超分辨率算法基于卷积神经网络可以重建高质量的超分辨率图像丰富的高频信息和清晰的纹理特性,已成为主流的研究方法。超分辨率的卷积神经网络(SRCNN)首次使用卷积神经网络领域的超分辨率和只使用三层卷积神经网络超越最传统的超分辨率方法( 8]。与基于实例相比超分辨率方法,SRCNN不需要复杂的预处理,可以优化超分辨率重建结果几次通过反向传播,这不仅提高了重建结果的质量,也提高了效率。SRCNN的主要缺点是,很难构建深卷积神经网络改进特征提取和描述能力。剩余网络ResNet连接输入侧信息输出端通过快捷连接( 16]。卷积层只需要学习输入和输出的残差,这是构建一个深层神经网络的基础。超分辨率重建的关键是优化高频信息。剩余的残差学习网络含有丰富的高频信息,因为大部分的残差接近0,学习效率很高。因此,残留网络中起着非常重要的作用在提高超分辨率重建的效率和质量,成为骨干网络的超分辨率方法。超分辨率使用很深的卷积网络(VDSR)介绍了残余网络首次超分辨率领域,构建一个超分辨率网络20层的深度,扩大接受域,提高了收敛速度( 17]。VDSR的速度和质量明显优于SRCNN,它使用一个网络重建超分辨率图像不同的倍数。Megvii研究所提出了一个方法,可以实现超分辨率重建任意多个通过单个模型( 18]。张等人的哈尔滨工业大学提出了一个即插即用基于常规深度处理低分辨率的图像超分辨率方法具有任意模糊内核( 19]。SenseTime提出真实场景与原始图像的超分辨率方法( 20.]。四川大学的李等人提出了一个图像超分辨率反馈网络改善低级和高级信息表示[ 21]。武汉大学李等人提出了一个快速时空残余网络视频超分辨率( 22]。顾等人的香港中文大学提出了一种模糊核估计方法在盲人oversegmentation问题[ 23]。清华大学戴等人提出了一个二阶网络图像超分辨率(注意 24,马等人提出了一个限制超分辨率图像结构的方法使用一个渐变映射( 25]。许等人对中国台湾联发科技公司提出了一个动态卷积网络实现超分辨率恢复多个组合模糊内核和嘈杂的图像( 26]。基于像素空间超分辨率方法生产更写实的图像,而高频信息生成的超分辨率方法基于特征空间丰富。通过结合这两种方法的优点在深融合网络,我们可以重建高质量的关键对象。

来解决这个问题,视频监控系统在公共安全领域缺乏基本和智能管理和分析算法,我们提出了一个监控视频对象的超分辨率方法基于深度融合卷积神经网络。它帮助警察和其他监控录像分析师跟踪,识别和分析对象和调查情况。通过优化回归单程对象检测算法,我们可以识别对象的实时监控录像,它帮助观众来跟踪和分析视频内容的视频对象。我们设计了监控视频的关键帧选择算法。通过分析对象类别,数量,和自信程度的视频帧,少数有重大变化的视频帧对象选择从大量的视频协助监控录像查看器快速定位对象,减少工作量。我们使用了基于深度融合网络的超分辨率算法重建对象决定的。它有助于提高分辨率的关键对象,协助监控录像查看器仔细检查关键对象的细节,和完善的质量监控录像内容分析。监控视频的超分辨率方法对象基于深度融合本文构造的卷积神经网络可以有效地用于公共安全领域的协助警察和安全人员跟踪和分析监控录像对象。,它还提供了一个有效的辅助工具,预防和打击暴力恐怖犯罪。

回归单程对象检测方法需要网络的视频帧作为输入,并返回的位置和类别边界框(BBox)在输出端。对于每个网格的视频帧,它预测 nBBox, c类别信息。其中,每个BBox包含四个位置信息项( w , y, w , h信息项)和一个信心。BBox位置信息( x, y)用于校准的中心点BBox,和( w , h)用于校准的宽度和高度BBox相对于视频帧。信心预测对象中包含的信心BBox和BBox的准确性与实际对象框。(定义的信心 1),其中C意味着信心,O意味着对象(如果有一个对象, 公关 O = 1 ;否则 公关 O = 0 ), 借据 精准医疗 tru 预测之间的交集在联盟BBox,真正的盒子。定义为预测帧和B为真正的框架;S是所有帧的集合;和 一个 , B ⊆ 年代 ∈ ℝ n 。可以描述的借据( 2)。根据每个网格的预测类别信息的视频帧和BBox预测的信心,我们可以获得每个BBox的职业专用信心得分,这是定义在( 3)。根据职业专用信心得分,BBox较低分数是通过设置一个阈值,过滤掉,剩下的处理BBox nonmaximum抑制(NMS)来获得最终的检测结果。 (1) C = 公关 O ∗ 借据 精准医疗 tru , (2) 借据 = 一个 ∩ B 一个 ∪ B , (3) C C = 公关 类 我 ∗ 公关 O ∗ 借据 精准医疗 tru , (4) 我 LR = 我 人力资源 ∗ k ↓ 年代 + n , (5) 我 LR = 双三次的 我 人力资源 ↓ 年代 , (6) 我 老 = upsample Res 功能 我 LR 。

相对应的超分辨率重建方法重建高分辨率的图像或视频基于一个或一系列低分辨率的图像(视频帧)。因为它是很难获得一系列低分辨率图像重建相同的对象,当前研究主要主要关注幅图片超分辨率。视频超分辨率重建需要综合利用信息在时间和空间维度和提高重建效果的中心框架使用相邻的低分辨率的信息帧。一个图像或视频帧的降解过程可以被描述为( 4), 我 LR 代表一个低分辨率的图像, 我 人力资源 指的是一个高分辨率的图像, ↓ 年代 代表将采样范围内, k是一个模糊的内核, n代表噪音。在实际场景中,有许多类型的将采样尺度,模糊内核和噪音。为了便于监督深度学习,SR方法通常使用双立方插值downsample高分辨率图像和获得配对图像(LR、人力资源)学习低分辨率和高分辨率的映射关系。超分辨率重建过程中所示( 6)。它通常可以分为三个步骤。首先,我们使用卷积层(功能)中提取低分辨率的初始功能。然后,我们使用剩余网络(Res)学习非线性映射低分辨率和高分辨率。最后,我们使用upsampling层(Upsample)向指定的规模和扩大低分辨率重建超分辨率图像。

视频监控系统广泛分布在社区,道路,街道,和商业场所(超市)是一个强大的公共安全的保证。的结合,传统的视频监控系统和人工智能技术能有效提高视频内容分析的准确性和异常行为的警告,大大提高工作效率的监控视频的观众,并减少劳动力成本。视频的超分辨率框架基于深度学习的检测对象图所示 1。融合的目标检测算法基于深度学习和超分辨率算法,我们可以跟踪对象的实时监控录像,找出变化显著的关键帧,并执行超分辨率重建的关键对象。这为警察和法官提供了清晰、高分辨率的对象,它可以协助调查和审查的相关情况。本文提出的方法可以解决传统视频监控的问题,提供有效的协助监控录像观众,并有效地服务于公共安全领域。

视频的超分辨率方法基于深度学习的检测对象主要分为三个步骤。首先,我们使用回归对象检测算法执行实时目标检测监控视频来自社区,道路,街道,超市,和其他地方。标记范围、类别、和信心的对象实时视频帧协助警察、安全、和其他视频观众跟踪对象。然后,我们使用一个关键帧选择算法选择从大量的视频帧与重大变化并选择从大量的冗余信息的关键信息快速高效地帮助观众分析视频内容。我们最后使用超分辨率重建算法,提高分辨率,和识别的关键对象。

改善社区等公共场所的安全,超市、道路、街道和协助监控录像观众迅速和有效地定位对象,我们设计一个视频对象检测超分辨率算法相结合的目标检测和超分辨率重建。如图 2回归对象检测算法中,我们使用实时检测和投影网络超分辨率重建。应该注意的是,为方便绘画,我们没有详细显示每个功能模块的细节图 2等不同尺度的特征融合模块对象检测和视频帧的特征预测模块,和超分辨率的不对称的递归结构。

对象检测网络由三部分组成。首先,我们使用等骨干由模块重点,CBL (BN, conv ReLU漏水),和CSP提取视频帧特性。重点模块用于片输入图像映射和转换的维数特征。例如,我们可以把608 ∗ 608年 ∗ 3图像到一个304 ∗ 304年 ∗ 根据RGB 12特征映射。然后,它通过一个conv包含32层过滤和转换成304 ∗ 304年 ∗ 32个特征映射。CBL模块由conv层,BN层和漏ReLU激活函数,CBL是物体的基本模块单元检测网络。CSP模块由CBL,剩余单位,conv层,BN层和漏ReLU激活函数。是对象的特征分割模块单元检测网络。其次,我们使用多尺度融合模块由CBL CSP-1 CSP-2和其他模块提取不同尺度的融合特征和加强网络特征融合的能力(CSP-1和CSP-2模块的结构如图 3和相关的描述提供了部分 4.2)。最后,我们使用GIoU损失来解决这个问题,检测帧和真正的不相交优化检测框架,加快模型的收敛性。

在我们进行超分辨率重建,我们将选择避免浪费计算能力的检测对象super-resolve大量无用的对象。对象的选择过程是详细描述部分 4.2。我们的超分辨率重建算法使用深非对称递归网络投影重建的关键对象。超分辨率网络由三部分组成。首先,我们使用两个conv层提取初始图像的特性。然后,我们使用抽样层上下迭代学习低收入和高分辨率图像之间的映射关系几次获得upsampling特性不同的水平。我们建立了一个递归结构,深化网络水平和学习先进的语义特征不增加参数。通过共享downsampling层和设置一个不对称的结构,我们减少网络模型的参数。我们融合同源性残差和级联残差upsampling单位充分利用剩余信息同时投影纠正错误。我们连接级联不upsampling特性改善upsampling特性的高频细节信息( 27, 28]。最后,我们使用conv层重建超分辨率视频帧检测对象。

对象检测算法可以帮助警察和安全人员在分析对象和调查监控录像安全情况。它有助于实时追踪和监视可疑的迹象和对象,以避免刑事伤害。对象检测算法包括两个核心模块,CBL CSP, CSP的残余结构CSP-1和卷积结构CSP-2组成,如图 3。CBL的基本模块,由conv层,BN层和漏ReLU激活函数。CSP-1模块包括两个分支。第一个分支包括CBL特征提取单元,两个CBL残余映射单元,conv层。第二个分支直接使用conv层提取输入低级特征,然后我们融合两个分支的输出通过连接层。CSP-2模块和CSP-1模块共享相同的结构,所不同的是,第一个CSP-2不使用剩余结构的分支。多尺度特性融合模块使用自顶向下的红外系统结构放大深特性信息,融合不同深度的骨干特性使用upsampling单位。我们使用自底向上盘结构downsample upsampled特性和合并颈部不同深度的特点。红外系统结构集成了强大的语义特征从上到下,和潘集强大的定位特性从下到上。多尺度特性融合模块结构如图 3。

我们的目标检测算法首先使用骨架提取输入视频帧的特征;然后使用多尺度特征融合模块来加强网络特征融合的能力;最后使用GIoU损失优化对象框架,通过DIOU_NMS过滤对象框架,和输出对象框架信息,信息分类信息,和信心。目的优化损失函数 GIoU = 借据 − 一个 c − U / 一个 c ,在那里 一个 c 是最小的预测之间的边界框盒和真正的盒B,然后呢 U 预测盒和真正的箱子吗 U = 一个 ∪ B 。 GIoU 可以区分不同位置预测帧之间的关系和实际帧相同的借据和相同的大小,可以优化情况预测帧和真正的框架不相交。DIOU_NMS还考虑重叠区域和两个盒子之间的中心距,当过滤对象框。DIOU_NMS不会删除两个盒子一个中心点因为他们可能会在两个不同的对象。DIOU_NMS相反的NMS可以优化重叠对象的检测精度。它可以提高识别精度的阻挡物体不增加计算成本。实时目标检测可以帮助观众监控录像追踪对象。然而,它仍然需要大量的劳动力成本要面对大量的视频信息。因此,选择有重大场景变化的关键帧可以有效改善关键对象识别的效率。我们设计的关键帧选择算法是算法所示 1。

输入: V #输入视频

根据监控录像的输出对象检测算法,我们可以从视频的类别,选择帧数,和检测帧产生重大变化与前一帧作为关键帧。静态的照片经常出现在监控视频(视频中对象的类别和数量没有改变)。检测对象super-scores所有静态视频帧将导致大量的冗余信息,它不仅浪费计算能力,也不利于视频内容分析。所示的算法 1,我们的关键帧选择算法可以使用信息,如类型、数量、和信心检测输出的比较和分析当前帧与前一帧之间的差异,同时检测对象。如果当前监控录像捕捉静态图像,我们相信这个框架更有价值的信息,不会存储关键帧。如果有下列三种情况的发生,关键帧选择算法可以选择一个小的帧数的显著变化监控录像:(1)当前帧的对象类别的变化相对于前一帧;例如,前一帧的对象有汽车和树木,但当前帧的对象包含了汽车,树和人。(2)与前一帧相比,当前帧中的某个类别的数量发生了变化;例如,前一帧有汽车(5车),树(3),人们(1),和当前帧汽车(5车),树(3),和(2)的人。(3)与前一帧相比,当前帧的检测盒已经改变了。例如,前一帧的检测盒汽车( b _x= 0.2, b _y= 0.7, b w = 0.1, b _h= 0.15),检测盒相同的汽车在当前帧( b _x= 0.5, b _y= 0.5, b w = 0.25, b _h= 0.4)。视频观众能够理解的内容通过查看监控录像几帧来提高工作效率。整个算法的时间复杂度 O T 1 + N ,在那里 T 1 视频对象检测和时间吗 N 是视频帧的数量。

基于像素空间超分辨率方法的目标是使super-resolved图像尽可能接近真实的图像在像素空间的每一个像素点。这些方法使用L1和L2作为损失函数和不使用对抗训练生成视频帧,和重建结果接近真实的视频帧的像素空间。然而,很容易失去高频信息,导致非常光滑和模糊重建视频帧和视觉感知质量差。特征空间超分辨率方法旨在使super-resolved图像的特征空间接近真实世界的图像。这些方法结合感知损失,对峙损失,L1和L2损失函数。他们用敌对的训练来生成高质量视觉感知的视频帧。然而,这些方法容易导致变形和超分辨率图像结构的扭曲。因此,我们提出一个基于像素空间的融合的超分辨率方法和特征空间。基于像素空间超分辨率方法保证了视频帧的真实性而损失函数基于特征空间的融合可以提高视频帧的视觉感知质量。

基于深度投影结构的超分辨率方法学习之间的映射关系LR和SR重建过程中的几次,和将采样单元放置在序列。的结构,将采样单元如图 4。upsampling单元包括2 deconv层和1 conv层。第一deconv层扩大输入LR特性映射到指定的规模,和conv层转换放大特性映射回原尺寸和计算级联投影误差与本单元的输入LR和同源与原始输入LR投影误差。第二个deconv层放大了错误信息到指定的规模,并将其添加到第一个deconv层。它纠正了upsampling单元的输出通过层叠和同源投影错误。将采样单元包括2 conv层和1 deconv层。将采样单元的结构和执行过程类似于upsampling单元。我们没有使用相应的误差将采样单元和只使用级联的错误纠正将采样单元的输出。

提高超分辨率重建的影响,我们需要堆栈几个upsampling和downsampling单位获得高层语义特征。然而,叠加数upsampling单位和downsampling单位将导致大幅增加模型的参数,和模型的训练和使用将变得更加困难。如图 4,我们提出一个递归投影的投影结构增加深度网络不增加参数。我们输入2套,并将采样单元到递归循环结构和递归hyperparameter设置为8。我们使用2 upsampling将采样单元的参数达到16 upsampling将采样单元的性能。此外,我们引入一个不对称结构基于递归的投影,从而进一步减少模型参数,提高模型的鲁棒性在实际的应用程序。如图 4老,我们连接特性的地图upsampling单位在不同深度重建老输出视频帧来改善SR重建的影响。我们使用downsampling单位转换的输出upsampling单位回到原来的大小。因此,我们建议所有upsampling单元共享相同的将采样单元构造深度递归与非对称投影网络结构。 (7) l T = α l 1 + β l c x , (8) l 1 = 1 N ∑ 我 = 1 N F DBPN 我 我 LR − 我 我 人力资源 1 , (9) l c x ϕ 我 老 , ϕ 我 人力资源 , l = − 日志 C X ϕ l 我 老 , ϕ l 我 人力资源 。

图像超分辨率重建的方法基于像素空间缺乏高频细节信息,和纹理特征不够明显。我们试图直接生成超分辨率图像基于生成对抗网络的使用方法。然后,我们发现,这些方法可以提高视觉的清晰度。然而,生成的SR形象遭受结构变形和失真,它是容易模式崩溃在处理现实世界的视频超分辨率重建帧,和模型的鲁棒性是不够的。因此,我们建议使用L1损失函数基于像素空间和上下文损失基于不对称的特征空间深度递归网络投影。上下文损失函数所示( 9), ϕ 我 老 老代表了图像特征映射, ϕ 我 人力资源 代表人力资源图像特征映射, ϕ 使用一个pretrained 19-layer VGG网络。我们选择特性的地图第五层之前max-pooling之后第四层的卷积。我们有 C X x , y = 1 / N ∑ j 马克斯 我 C X 我 j ,在那里 C X 我 j 是地方特色的相似吗 x 我 和 y j 。我们分离的视频帧到当地的集合特性和优化的重建 我 老 特性,通过测量之间的距离本地特性分布 我 老 和 我 人力资源 。基于递归老背投影不对称网络,我们添加上下文损失优化特征空间中的高频信息的重建。结合像素空间的真实性SR方法的优势和高老视觉感知特征空间的质量方法,我们可以重建高质量的视频帧对象与现实的视觉感知。

我们使用PyTorch建立视频超分辨率模型检测对象。在模型训练阶段,我们使用一个高性能的服务器模型训练和验证。在模型中测试阶段,我们使用个人电脑进行测试,以确保模型的可用性和鲁棒性在实际应用场景。高性能服务器上运行Linux操作系统,GPU是NVIDIA泰坦Xp。个人电脑的操作系统进行测试与i5 Windows 10 CPU核心。我们已经采取了一些视频,不涉及个人隐私的社区,道路,街道,超市,和学校。然后提取视频帧的增量训练对象检测模块。我们选择一些高分辨率视频帧的拍摄视频并将它们添加到DIV2K数据集,然后我们扩大了训练集,验证集和测试集1000年到200年。 (10) 精准医疗 = TP TP + 《外交政策》 , (11) 矩形 = TP TP + FN 。

视频的超分辨率方法的评价指标检测对象包括目标检测的准确性和速度、峰值信噪比,老的结构相似图像。我们使用意味着平均精度(mAP)评估对象检测准确性,主要包括精确率和召回率,所示( 10)和( 11)。分子借据的精度检测帧的数量大于0.5,分母是检测帧与借据之和大于0.5小于0.5。召回的分子检测与借据帧的数量大于0.5,分母是检测帧与借据的总和大于0.5和真正的帧,没有检测到。我们使用帧(帧/秒)评估对象检测速度,这是视频帧的数量,每秒可以处理模型。我们需要模型达到30 fps在一台普通的电脑上。PSNR值基于像素误差的敏感性,我们用它来测量SR图像的均方误差和真正的形象。PSNR值的单位是dB。值越大,变形越小。SSIM(结构相似)图像的相似性措施从三个方面:亮度,对比,和结构。SSIM的值范围是[0,1]。 The larger the value, the smaller the image distortion.

我们第一次网上获得一些监控视频,但是我们发现幕后参与这些监视视频相对单一。来验证我们的方法的有效性在公共安全领域,我们已经采取了一些监控视频,不涉及个人隐私的社区,道路,街道,超市,学校,和其他地方。视频帧率是30 fps,视频分辨率为720 p(16: 9),和十秒的视频大小约为1.5 MB。我们使用回归目标检测算法来检测实时监控视频中的对象。对象检测算法协助警察和保安人员实时追踪可疑物品,防止犯罪。另一方面,对象的输出信息为关键帧选择检测奠定了基础和关键对象超分辨率重建。我们使用的视频监控三个场景:超市、社区,和公路,来验证对象检测算法的影响,如图 5。

在超市,主要检测监控录像的对象是人。我们的目标检测算法可以实时准确地检测人。我们可以实时监控贵重物品在超市通过扩大训练数据集。当类型,数量,和信心的贵重物品的变化,我们可以及时提醒超市管理人员。人的实时检测和贵重物品可以帮助超市经理及时跟踪可疑人员,防止贵重物品被盗。在社区的场景中,监控录像的主要监控对象人们和汽车,这有助于在确保人民的生命和财产的安全。因为有许多小物体在社区视频监控和车辆在停车场之间的遮挡是更严重的,对象检测算法需要识别小物体和阻挡物体。我们可以看到,我们的目标检测算法可以确定小对象和模糊对象图 5。它帮助社区经理实时追踪可疑人员和车辆和维护社区的安全。道路场景,监控录像的主要监控对象是人,车辆等。我们使用目标检测算法来协助交警实时追踪可疑人员和车辆,维护公共安全。

当调查犯罪案件时,警察经常需要找到一个非常小的帧数,从大量的视频关键信息。选择关键帧手动需要大量的成本和物质资源,效率低下。在目标检测算法基础上,我们设计了一个关键帧选择算法与重大改变挑选关键帧类别,数量,和信心从大量的冗余的视频帧信息。我们选择12个关键帧来自社区的监控录像(540帧),14个关键帧从超市监控录像(450帧),和16个关键帧的道路监控录像(510帧)。我们的关键帧选择算法可以过滤大量的冗余信息帧生成的静态照片。图 6显示了一些关键帧和关键对象的我们选择场景的社区,超市,和道路。

在社区的场景中,监控录像的主要监控对象是地面停车场。当没有行人和其他对象在地面停车场及周边道路、监控录像是在静态图像所以没有关键帧提取。如图 6,当有行人对象在社区停车场、监控录像对象的类增加和类的关键帧提取。当行人对象接近相机,对象检测框架和信心变得更大,提取关键帧的信心。当行人的数量变化,提取关键帧数。根据提取的关键帧,我们进一步提取关键对象通过设置阈值以下的超分辨率重建信心。主要在超市现场,监控录像监控消费者在产品的数量,和帧记录消费者的数量的变化是关键帧。通过设置阈值的信心,我们可以监测和记录消费者的改变帧之前一定有价值的产品。在道路场景,主要监控录像监控车辆和行人,和帧记录数量的变化,类型,车辆和行人和信心是关键帧。

监控视频遭受低分辨率由于硬件技术,硬件成本,拍摄环境、网络传输等。观察关键信息的细节,警察和保安人员经常需要放大图像4次,8倍,甚至更高。如果你直接放大图像,放大图像高频信息,会错过很多患有低质量和视觉感知差,很难辨认。老的pixel-space-based超分辨率方法可以重建视频帧接近真正的图像通过优化super-resolved之间的距离图像和实际图像的像素空间。然而,重建帧可能缺乏大量的高频细节信息,以及纹理的视觉感知特征尚不清楚。因此,基于像素空间超分辨率方法的基础上,我们进一步整合基于特征空间的上下文的损失。通过优化地方特色super-resolved图像和实际图像的特征空间,我们可以改善的高频信息重建老视频帧并获得高质量的图像清晰的视觉感知。应该注意的是,对象检测和关键帧的基础上选择,我们从关键帧选择关键对象根据阈值的信心。决议和存储容量通常非常小和缺乏高频信息。PIRM2018-SR ESRGAN是冠军的解决方案(3)地区超分辨率竞争,这可以产生自然老和详细的图片。 SPSR adds gradient map branches based on ESRGAN to constrain the structure of the generated image, which improves the authenticity of the SR image and the quality of visual perception. Therefore, the SPSR and ESRGAN [ 29日),它可以生成丰富的高频信息,被选为我们的比较方法。数据 7- - - - - - 10显示SR重建结果的关键对象的三种情况,道路,社区,和超市。

我们设计了非对称深度递归网络投影。我们首先构造一个投影结构的上部和下部抽样单位是堆在序列通过模拟人类的视觉系统。然后,我们使用了层叠投影误差和同源投影误差纠正upsampling的损失,将采样单元。此外,我们改进了SR重建效果的输出级联upsampling单位不同的深度。我们设计了一个递归循环和不对称结构改善SR重建效果不增加参数。在路上,我们选择一个三轮车和一辆出租车重建SPSR和ESRGAN并作出比较。从图 7,我们可以看到老SPSR法重建图像,产生大量的工件,和许多LR线不存在。ESRGAN重建的影响通常是类似于我们的方法,但老的边缘部分视频帧重建我们的方法更清晰,视觉更清晰。重建的出租车在图的影响 8图是一样的吗 7。SR视频帧重建SPSR工件背面的出租车。我们的方法不仅是免费的工件也有更好的清晰度。在社区和超市的场景,我们选择了一个女孩,一个男孩和两个顾客在超市为SR重建的关键对象。在图 10,我们可以看到SPSR重构工件在许多地方,如小女孩的脸和手臂。当使用真实的视频帧重建,SPSR缺乏概括能力和鲁棒性,而ESRGAN遭受大量的参数,困难模式训练,和足够的视觉感知质量。我们的模型使用最少的参数,达到最佳的重建效果。