文摘

我们实现Zynq-based self-reconfigurable系统执行实时边缘检测的1080 p的视频序列。虽然对象边缘检测是计算机视觉中的一个基本工具,视频帧中的噪音影响显著边缘检测的结果。此外,由于计算复杂度较高的1080 p视频过滤操作,硬件实现可重构硬件结构是必要的。这里,提出了嵌入式系统利用Zynq SoC动态重新配置功能,部分重新配置不同的过滤器比特流在运行时执行根据传入的视频帧检测噪声密度水平。普拉特的品质因数(PFOM)评估分析了边缘检测的准确性对各种噪声密度水平,我们证明了自适应滤波器的运行时重新配置比特流显著增加边缘检测结果的准确性,有效地提供计算能力以支持1080 p视频帧的实时处理。性能结果在配置时,CPU使用率和硬件资源利用率也比较。

1。介绍

异构嵌入式系统在物联网时代,多媒体服务和基于流的应用程序被广泛应用于各种类型的便携式设备。这些应用程序是数据密集型和需要高计算能力来满足所需的吞吐量和严格的实时约束。另一方面,低功耗也一样重要对这些便携式嵌入式系统吞吐量,因为他们操作通常在能量受限的环境中(1]。

最近,Zynq SoC芯片(系统)平台包括ARM cortex - a9的双核处理器和FPGA结构一直是嵌入式系统中使用(例如,高级驾驶员辅助系统)来实现计算复杂的信号处理算法利用西南ARM处理器的灵活性和并行处理能力的可重构硬件结构(2]。传感器处理和跟踪、对象分类和评估,边缘检测是一个基本的工具在计算机视觉的应用程序。然而,1080 p分辨率实时视频处理的对象边缘提取是非常耗费时间,成为ARM处理器的计算瓶颈。因此,算法迁移到FPGA结构一直倾向于满足性能要求。先前的研究[3,4)设计不灵活等缺点实现的硬件架构和缺乏适应能力时变输入视频信号部分重构技术在FPGA可以高度可取的解决这些问题。特别是,见先前的研究[5),损坏图像与不必要的噪音造成的错误的记忆细胞,花白传感误差模拟数字转换,或误比特传输显著降低边缘检测滤波器的性能。

在本文中,我们实现了自适应部分可重构系统的输出最大化实现边缘检测滤波器的性能。噪声密度的检测水平的视频自适应自身重构的硬件比特流进行实时为了消除不必要的噪音在边缘提取过程。硬件资源的有效利用,比特流Sobel边缘检测后的中值滤波器也映射到相同的硬件FPGA的地区。

本文的其余部分组织如下。部分2介绍了Zynq SoC平台,提出了部分自适应重构方法3。节4实验结果进行了讨论,我们得出本文的部分5。

2。Zynq SoC平台

zynq - 7000美联社SoC平台是混合FPGA平台结合高性能的ARM处理器和FPGA结构。图1显示Zynq内部架构。它由处理系统(PS)和可编程逻辑(PL)。PS由手臂双核cortex - a9议员核心,缓存,DMA控制器,和各种内置USB等外围设备,UART, SPI,可以和I2C。通过安巴阿喜的PL PS港口拥有大量的硬件资源:可配置逻辑块(CLB),数字信号处理(DSP)块,两个12位数模转换器,串行收发器(6]。

先进微控制器总线架构(AMBA)用于功能块的连接在系统芯片(SoC) (7]。尤其是先进的可扩展接口(AXI)高性能奴隶港口具有可配置32位或64位数据宽度和阿喜通用主/从港口与32位数据宽度可供PS-PL接口。因此,确保用户自定义功能块可编程序逻辑区域可以很容易地相互交换数据和数据可以跨系统转移(8]。

部分重新配置(PR)中扮演着一个关键的角色为提高FPGA适应性允许特定地区的FPGA动态重新配置新的比特流在FPGA的其余部分继续运行。特定区域称为部分可重构区域(PRRs)是用于实现部分可重构模块的比特流(人口、难民和移民事务局)。整个设计方法使用局部调整,可以提供许多优势传统的完整配置,如减少硬件资源利用率和重构时间开销,提高可伸缩性、减少系统停机时间,需要更少的存储大小。此外,降低FPGA的大小会导致降低成本和功耗9]。因此,部分重构技术已经广泛研究在不同领域提供好处,如提高质量、性能和可靠性的系统(10- - - - - -12]。

为了访问FPGA的配置内存部分重新配置,不同类型的接口,如JTAG、SelectMAP, ICAP(内部配置访问端口),已由Xilinx FPGA提供。而外部需要重新配置控制器FPGA外JTAG SelectMAP, ICAP使FPGA内部访问,支持自身重构方法。因此,ICAP接口已广泛应用与soft-IP处理器(Xilinx微火焰)或hard-IP处理器(IBM PowerPC),和许多研究新界面ICAP执行提高重构速度(13,14)或减少硬件资源要求(15]。Zynq SoC,额外的界面,称为处理器配置访问端口(PCAP),提供使PS配置PL地区(16]。

本文提出了滤波器的局部调整比特流执行通过32位PCAP接口时速为100 MHz,可以支持到400 MB / s下载吞吐量。使用PCAP公关界面如图2。第一阶段引导加载程序(FSBL)从外部读取SD卡启动PS和配置完整的PL通过PCAP比特流,和用户应用程序加载部分比特流到DDR内存。从这一刻起,软件控制部分重新配置启用动态重新配置的一部分PL preimplemented IP核的比特流(17]。

3所示。建议的方法

实时对象边缘提取1080 p分辨率视频帧,Sobel过滤器在PL地区已经实现。作为一个正交梯度算子,Sobel算子图所示3用于执行每个像素的二维卷积传入的视频帧。像素值的位置吗(18] 梯度向量的大小和方向

通常,满头花白噪声是由缺陷引起的传感器,错误的记忆细胞,和传动误差,显著降低了边缘检测滤波器的性能。在本文中,我们实现了噪声检测算法提出了(19),简要描述如下。

是一个像素值处理,窗口,被认为是为中心位置。和最小和最大像素值的吗窗口。然后,阈值和被定义为

方程(4)作为标准来确定是一个损坏的噪声像素

然后,噪声密度测量是检测噪声像素的总数除以总数量的像素在一个给定的视频帧。

自边缘检测性能大幅降低满头花白的损坏的图像噪声,中值滤波去噪的实现

在这里,中值邻近像素的窗口被选中作为输出(20.]。

拟议中的自身重构方法取代人口、难民和移民事务局Sobel边缘检测预处理后平均算子(以下称为中位数+ Sobel过滤器)是有效的降噪满头花白噪声时添加到视频帧。

普拉特的品质因数(FOM)来评估在嘈杂的图像边缘检测的准确性是用来确定相应的噪声密度阈值水平。边缘检测精度的性能恶化,部分重构过程触发边缘滤波之前减少噪音。普拉特的FOM定义

在这里,,是边缘点的数量在理想的边缘,是检测到的边缘点的数量优势,是一个校准常数,是发现和理想的边缘之间的距离(21]。的距离””是重要的因素在评估使用PFOM边缘检测。的因素””系数成反比。彩色边缘,距离”增加之间的“理想和检测边缘和因素减少了。

图4显示视频管道架构和噪音检测任务。从HDMI-IN 1080 p视频帧存储在DDR内存。实现过滤器过滤过程主要包括三个子功能,边缘检测过程,总线接口控制输入和输出的视频。视频直接存储器存取(VDMA)从DDR内存读取视频帧并将它们发送给过滤引擎。通过VDMA AXI4-Stream接口相连,AXI互连块高性能奴隶PS(港22]。输出帧的过滤引擎存储回DDR内存,然后存储帧发送到控制器hdmi输出。综合结果表明,管线式边缘检测过程9时钟周期的延迟,和总处理时间需要2059个时钟周期。

噪声密度水平检测触发执行的部分重新配置值+ Sobel过滤器。部分比特流过滤操作是用户从SD卡到DDR内存中加载的应用程序上运行PS。它也提高了重构时间和利用缓存。然后,应用程序可以使用部分比特流修改部分可重构地区PL没有打断PL的其余部分区域。Sobel或局部调整值+ Sobel比特流从DDR内存执行预定义的PL地区通过PCAP接口。如果测量噪声密度高于阈值,然后平均+ Sobel比特流配置为部分可重构区域(PRR)来代替Sobel比特流。

Zynq SoC的AXI-PCAP桥组成的“传播”和“接收”FIFO缓冲区AXI和PCAP之间的接口是实现设备配置界面(DevC) PS。这座桥将32位AXI格式的数据转换为32位PCAP协议,和DMA引擎之间转移数据FIFO和DDR内存部分重新配置。DevC驱动函数,建立sysfs之上,被称为移动数据在PCAP发起DMA接口通过交易,然后等待一个中断信号传输完成。当阿喜和PCAP转移都完成,那么函数调用返回。应用程序不需要知道物理位置的部分可重构的地区,因为部分比特流配置帧寻址信息。过滤器在PL地区重置之前转移部分通过DevC / PCAP比特流。当比特流传输完成后,重新启动复位释放和配置的过滤器VDMA。我们的测量表明,5帧的视频部分重构过程中可以删除。

4所示。实验结果

实验中使用的设备与XC7Z020美联社SoC ZC702评估板,融合模块配备基于ADV7611 / ADV7511 HDMI输入/输出,和1920×1080分辨率监控。ZC702董事会控制通过UART终端模拟器运行在个人电脑(23]。图5显示实验装置提出了可重构的实现边缘检测系统。引导二进制文件启动ZynqSoC由Zynq FSBL SDK中创建工具,充分Vivado生成一些文件,和U-boot称为第二阶段引导加载程序。压缩内核映像,uImage,支持linux操作系统在目标板上(24]。部分开始的文件存储在SD卡和阅读为PS DDR内存执行公关通过PCAP接口。目标板利用uramdisk作为根文件系统。软件开发工具包(SDK)工具用于创建linux应用程序处理器上执行的操作方法和局部调整。

本文提出Sobel和中值+ Sobel过滤块由高层实现合成(HLS)工具(25,26]。HLS工具转换C语言,c++,和SystemC RTL实现,也提供了通过GUI接口函数的管道。

Vivado集成设计环境(IDE)是一个开发工具提供Xilinx集成综合环境(ISE)和Xilinx平台工作室(XPS)。它是用来分析和合成HDL设计和执行时间分析。图6显示完整的整体过程和部分的比特流生成。的HDL设计描述系统和IP核HLS工具生成的合成。然后,如图7,我们楼层平面图部分可重构区域所需的硬件资源实现人口、难民和移民事务局还不到总量的90% PRR硬件资源。硬件资源的比较PRR和人口、难民和移民事务局是总结表1。

因此,一个完整的比特流和两个部分比特流生成。PL系统最初配置了完整的比特流包括静态逻辑和Sobel过滤器。如果发现噪声密度水平就高于阈值,部分比特流中值+ Sobel PRR地区用于重新配置。如果水平低于阈值,部分比特流读取Sobel从DDR内存用于运行时重新配置。

摘要新的重新配置界面称为PCAP(处理器配置访问端口)可以在Xilinx Zynq SoC探讨执行使用ARM cortex - a9过滤比特流处理器的局部调整。虽然理论重构速度时速为100 MHz的32位PCAP接口是400 MB / s,实际重构速度低得多是由于内部ARM互连架构。几个例子使用过滤器和JTAG比特流,ICAP和PCAP接口如表所示2。

由于设计方法使用部分重新配置,我们可以实现显著降低比特流文件大小和重构时间通过PCAP接口。如表所示3,局部调整时间减少到12%的完整的配置时间,和系统停机时间替换的功能提出过滤引擎没有必要了。

全高清视频序列1920×1080分辨率的用于实验。船序列(视频# 1)和美序列(视频# 2)如图8。数据8(一个)和8 (b)显示视频序列# 1和# 2被满头花白噪声20%噪声密度级别,分别。Sobel滤波器输出的原始视频序列# 1和# 2图所示8 (c)和8 (d)。边缘的场景显然是发现。相反,数据8 (e)和8 (f)表明,索贝尔滤波器性能的嘈杂的视频序列# 1和# 2显著降低,导致PFOMs值低。

如数据所示8 (g)和8 (h)值+ Sobel过滤器是嘈杂的高效视频序列# 1和# 2。其边缘检测结果都显著提高主观和客观。对于边缘检测结果的客观评价,PFOM是用来比较的性能Sobel和中值+ Sobel过滤器(31日,32]。视频序列# 1和# 2的斑点蛾噪音噪声密度5%和10%水平。自中间运营商删除满头花白的噪音破坏视频帧,两个过滤引擎性能分析表明,中值+ Sobel过滤器提供了改善PFOM 14到20倍,显示在图9。

在图10Sobel和支持的帧速率值+ Sobel过滤器是表示,CPU的使用情况和运行时的硬件和软件滤波器实现测量图11。而100%的CPU用于S / W Sobel滤波器的实现,帧速率大幅下降为1.5 fps,表明软件实现不适合实时处理的1080 p的视频帧。这里,相机控制器支持输入60帧每秒。由于额外的计算复杂度,H / W值+ Sobel过滤器支持多达29帧每秒(fps),大约不到Sobel H / W实现帧(每秒30帧)。

公关之后,硬件平台的能耗Xilinx FPGA Zynq估计使用电力报告Vivado设计套件(33]。

如图12的功耗值+ Sobel滤波器高于Sobel滤波器因为Sobel +中值滤波器需要在FPGA硬件资源比Sobel过滤器。

5。结论

在本文中,我们提出了自适应部分可重构系统输出最大化实现边缘检测滤波器的性能。FPGA硬件实现过滤引擎到织物提供计算能力实时边缘检测的1080 p的视频序列。根据噪声密度的检测水平的视频中,自适应自身重构的硬件比特流在运行时执行,它使主观和客观结果显著的性能改进。实验结果表明,局部调整时间减少到12%的完整的配置时间,并改善PFOM 14到20倍。

相互竞争的利益

作者宣称没有利益冲突有关的出版。

确认

这项研究受到了基础科学研究项目通过韩国国家研究基金会(NRF)由教育部科学技术(NRF - 2012 r1a1a1008674),也由业务合作研发行业,学院和研究所资助朝鲜中小企业管理局(C03319350100437169)和2014 Hongik大学研究基金。此外,作者要感谢Xilinx和Xilinx大学项目的慷慨的捐赠S / W设计工具和H / W。