文摘
近年来,一些室内景观的常见问题叠加元素,即兴创作,和缺乏艺术美;如何完美的景观设计元素融入室内环境空间尤为重要。高动态范围图像(HDRI)越来越广泛应用于图像处理系统;基于SoC FPGA设计,作者实现了20位高动态视频图像的实时处理系统,以便根据室内环境的特点,提取景观设计元素,作者可以确定类别的图形设计元素应用在室内空间中。根据设计要求的生态、现代室内景观的可持续发展,根据Zynq SoC FPGA芯片,作者意识到高动态实时处理系统的软件设计和可编程逻辑设计基于Verilog;实现模块功能,如图像处理模块的寄存器配置、图像接收和处理,实现了图像数据输出。仿真结果表明作者的客观质量分数高于0.98,平均118.95%的其他经典算法,验证了正确性和作者的算法和系统的优越性。
1。介绍
自改革开放以来,随着经济的繁荣和发展,城市化进程的不断推进,住房建筑随处可见,人们的生活水平越来越好。然而,人们的日常生活中充满了很多不健康的因素:空气污染,水污染,噪音污染,等等,是威胁人类生命和健康;生态环境遭受了前所未有的破坏。为自己的健康和家庭环境,应用绿色环保和生态设计在室内和室外空间迫在眉睫。
室内空间是人们生活的地方在他们的生活中,也是最重要的一个地方。无论工作或生活的人,他们大部分时间都在室内空间;室内空间对我们的重要性不能被夸大。舒适的室内空间直接影响我们的身心健康。如何使室内空间更加健康和舒适,适合人们居住和工作,这是特别重要的景观设计元素引入到室内。国家大力提倡生态保护,人们渴望亲近自然;许多条件和现象表明,在当今社会;这已经成为一种趋势,趋势将景观引入室内空间;它不仅令人赏心悦目的眼睛也非常有利于人们的身心健康。然而,由于很多因素,景观设计元素在室内设计的应用不是很完美的; it is more about the stacking of elements and the single use of a certain element for interior decoration purposes.
目前,采集、传输和处理系统的高动态图像相对少见,和现有的芯片有明显的局限性,无法满足高动态图像处理要求;现有的经典动态图像处理技术如图1。在特殊照明场景,或与特定需求的应用场景,如自动驾驶图像采集和室内景观设计,场景的动态范围,通常需要处理是巨大的;普通的视频图像处理系统收集的图片这些应用场景是不够好,获得的图像是曝光过度,造成的损失细节在明亮的部分场景,或是太暗和图像不能清楚的看到;这需要一个特定的图像采集、传输和处理系统来满足这些应用的需求,因此,高动态图像处理系统具有良好的应用前景和市场价值。
2。文献综述
在21世纪,随着人们的意识的提高和科学技术的不断改进,室内设计的学科视野和研究范围是广泛的。追求生活质量,人们越来越高的要求,室内空间的设计意识和文化水平;设计师更加注重人居质量,环境生态、艺术风格,和区域特征(1]。随着人们渴望宁静和亲近自然,是特别重要的景观设计元素引入室内空间。然而,需求的提高并没有伴随着质量的提高,和一些室内设计不能与整体协调的空间,使景观设计元素显得生硬和不和谐,或盲目地复制其他国家的设计语言和景观符号;没有与当地文化和现场环境,使整个室内设计看起来很奇怪,突然2]。
设计影响过程的发展和人类文明的延续;早在上个世纪,联合国举行一个主题会议”设计一个可持续发展的未来,“会议提出了一系列政策有利于可持续发展(3]。领导下的今天,可持续发展的概念和概念的转变从工业社会文明生态文明社会,已经成为发展的理论基础和指导思想和决策的整个设计行业。目前,高动态图像处理技术主要集中在两个方面:高动态图像合成和高动态图像增强处理。高动态图像合成技术的目的是获得高动态图像合成算法。刘、杨(4)解决相机的响应函数根据multiexposure同一场景的图像序列,使用这个函数和图像序列合成高动态图像。法律(5)上执行拉普拉斯金字塔分解的图像,使用局部对比度,亮度,和饱和度图像的金字塔的重量和融合层;高动态图像。江et al。6)利用multiexposure图像合成高动态图像通过卷积神经网络方法。Rashwan et al。7)获得强曝光帧和弱接触帧的数量在一个成像周期;通过获得的高动态图像延时集成,分别。
高动态图像增强处理技术,即色调映射算法,目的是压缩高动态图像的动态范围,以便它可以显示普通成像设备。郭et al。8)认为,人类的眼睛是只敏感的相对明暗变化;因此,中央窝的亮度根据亮度水平只能算焦点的窝,然后可以采取这些亮度的对数进行直方图均衡化,以及由此产生的图像可以获得。Allahyar和齐米。9)的执行不同的灰度映射根据不同亮度的像素区域;这种方法可以保留的光明和黑暗区域的细节场景,但它会导致图像模糊。张,周10模拟图像的过程中深化和闪电基于传统摄影知识和能够获得更好的图像显示效果,但是这种方法需要太多的计算。Suchocka et al。11]利用双边过滤层图像和压缩动态范围的基本层,反映了图像的整体亮度,细节层反映保留图像的细节,然后压缩基础层和细节层重组获得处理结果;图像细节是好的,但它会导致光环出现在图像的边缘。冯et al。12)提出了生成一个multiexposure序列从左边的观点;结合原始的左视图曝光不足的图像形成multiexposure序列,和生成对抗网络用来实现高动态范围图像融合。
许多学者进行了研究高动态图像硬件处理系统。应,田13)设计了一种高动态图像实时合成系统;二维查找表结构设计基于FPGA和块RAM资源,可以实现1080 p高动态图像合成60 fps。Allahyar和齐米。实现了一个高动态图像处理管道,使用GPU直接合成多个普通图像到一个高动态图像;然后,色调映射算法在GPU上实现,大大提高了图像帧率相比CPU平台。贾巴尔和Hameed14)实现全球联合当地高动态图像显示算法在FPGA上;系统输入一个灰度图像大小的1024 x768,实时显示在一个标准的高动态图像处理后监测。你和李15)基于FPGA实现高动态CMOS摄像头,可以收集高动态图像的动态范围96分贝和输出的图像 像素在24 fps。Pratama [16)对最大熵图像进行硬件加速高动态图像压缩算法和实现了一个12位深度高动态图像动态范围压缩系统使用FPGA。高动态图像的理论研究和工程应用研究发展与进步,但仍然存在以下问题:(1)主要研究高动态图像增强处理算法的目的是保护图像处理算法的细节尽可能多;算法的实时性能不是设计的重点,所以它的计算通常是复杂的,很难适用于硬件实时系统(2)现有的图像处理系统的高度集成与低深度可以处理图像;是不可能收集和处理高动态图像超过20位,所以需要高动态范围图像的应用场景和现有系统难以满足要求
作者设计并实现了一个基于SoC的20位高动态实时视频图像处理系统的FPGA,以便根据室内环境的特点,提取景观设计元素,作者可以确定类别的图形设计元素应用在室内空间中。生态设计要求,现代室内景观的可持续发展。基于Zynq SoC FPGA芯片,实现高动态实时处理系统的软件设计和基于Verilog可编程逻辑设计;实现模块功能,如图像处理模块的寄存器配置、图像接收和处理,实现了图像数据输出。图2的总体设计流程图显示视频图像处理系统实现的作者。
3所示。研究方法
3.1。高动态图像处理系统架构
作者的研究目标是设计和实现一个高动态图像处理系统中,为了更好地提取和图像平面设计元素融入室内景观设计;视频处理系统设计模块图所示3。
图像采集部分主要负责高动态图像的采集和传输,并由图像传感器获得的图像,然后被传输到系统的核心处理芯片。图像处理部分主要负责一些必要的处理收集到的图像,包括接待和高动态图像增强处理。图像图像主要输出处理结果输出部分通过数据接口,可以直接显示或输出到主机,如个人电脑(17]。
高动态图像的色调映射算法实现系统的核心功能的基础,因此有必要研究色调映射算法;作者采用一些经典色调映射算法提供理论依据高动态图像处理算法的设计。
3.1.1。基于摄影色调映射算法
作者首先提出了一种动态范围压缩算法基于摄影;算法的思想是平均原始图像;的亮度值,重构真实场景的亮度;然后图像的动态范围压缩由全球压缩方法;一个图像的一个特别大的动态范围,有必要执行本地动态范围压缩处理的图像通过模拟自动曝光和阴影。首先,把原来的对数平均亮度的图像,如图所示 在哪里是输入图像的亮度分量。
根据现场的平均对数亮度和亮度键值参数,真正的可以重建场景的亮度值,如图所示
的参数控制整个图像的亮度水平,和越大参数,图像的平均亮度越大。
后重建图像亮度,全球动态范围压缩算法压缩图像亮度(1,0),如图所示 在哪里是最小的亮度值将被映射到纯白色。
对于特别高动态范围图像,上面的方法不是很有效;受摄影的启发,作者模拟自动曝光阴影操作,发现一个区域每个像素根据其对比,并介绍了上述亮度键值这个区域来控制这一地区的平均亮度。当上述算法处理图像图像深度较低,处理效果更好,复杂性较低,但在处理图像时图像深度高,算法不能获得良好的效果,有必要介绍部分模拟自动曝光和阴影,和算法的复杂度将大大增加(18]。
3.1.2。色调映射算法基于层次模型
分层模型的主要思想是将图像分解为一个基本层和一个细节层,如图所示 在哪里是输入图像,输入图像的细节层,输入图像的基础层。
的基本层图像显示图像的亮度与一个大动态范围,和细节层是图像的细节纹理跳和变化;根据这个属性,基础层可以分离动态范围压缩,同时保留细节层(19),如图所示
结果图像,是原始图像的细节层,动态范围压缩后是基本层。
作者采用双边滤波器将图像分为基础层和细节层;其过滤窗口和规范化的重量所示 在哪里窗口中心位置,在窗口中,任何像素的位置是过滤窗口,高斯核函数。
图像亮度对数转换后,上述滤波器用于图像分解为一个基本层和一个细节层,如图所示 在哪里输入图像的亮度对数和男朋友是双边滤波器。细节层从对数减去基础层的亮度。
在基础层,基础层的动态范围可以压缩20.),如图所示
其中,压缩参数,控制层底部的压缩程度。
压缩后,基础层和细节层合并恢复图像的亮度分量,如所示
3.1.3。基于梯度的色调映射算法压缩
作者提出了一种基于梯度的算法压缩;主要的思想是,图像亮度变化大的梯度较高;然而,一些细节图像的梯度较低,所以大梯度高动态图像的部分可以被压缩,保持梯度较小的一部分,实现动态范围压缩,同时保留图像细节(21]。算法实现环境指的是系统表所示1。
首先,提出了动态范围压缩方法在一维情况下;其目的是压缩尽可能大规模变化的幅度,同时保护小的变化。这是通过作用于亮度的导数与一个合适的空间不同衰减函数,如图所示 在哪里是空间衰减函数;这个函数的衰减效应在大规模高于小规模的变化(22]。
然后,该方法扩展到二维的情况下,梯度处理;只改变其大小,但它的方向没有改变,如图所示 在哪里 图像梯度和吗 是衰减函数。
为了更好地检测图像边缘信息来避免晕现象,作者介绍了一种多分辨率边缘检测方法对图像进行高斯金字塔分解,如图所示 在哪里是 - - - - - -金字塔和水平的梯度是吗 - - - - - -th级金字塔。金字塔的每一层都对应于一个衰减函数,如图所示
的公式,控制梯度压缩范围,这些比被压缩,小于放大。
最后,合并后,一层一层地衰减函数,通过求解泊松方程,找到亮度图像梯度的近似 ;最后,exponentialize输出图像。图像处理算法显示了更多的图像细节,细节在明亮和黑暗的地方富有,但是算法的复杂度太高了。
3.1.4。直方图均衡化算法
高动态图像,最简单的显示方法是线性映射的动态范围高动态图像显示设备的动态范围,但大多数高动态图像的线性映射的结果并不理想。图4显示了高动态范围图像的处理效应线性映射后,只有少量的突出的区域图像保持在输出图像,和其他深色区域是完全黑色。这一现象的原因是,大多数像素的灰度值在高动态图像很小;线性映射相当于丢弃较低的图像数据;的处理结果,大部分的像素都设置为0或接近0由于小值,导致可怜的图像处理效果。
图5是一个原理图的一个典型的高动态图像的直方图的形状;色调映射算法需要合并稀疏和欠pixel-distributed地区,扩大人口分布的地区。
直方图均衡化是一种常用的图像增强算法;它有一个良好的图像增强效果在图像像素分布不均匀。的直方图均衡化算法处理图像的直方图转化为一个近似均匀分布,以达到增强图像对比度的目的(23];它可以解决图像灰度分布不均匀的问题。自从色调映射算法本质上是一个压缩动态范围的亮度,所以作者将RGB图像转换为HSV颜色空间,只有V分量代表亮度处理的优点是原始图像的色相和饱和度可以保持不变,和V的提取组件所示
获取图像的亮度分量之后,它的直方图是根据计算 在哪里输入图像的亮度分量和吗图像的直方图。
在获取直方图后,计算其灰度映射函数,如所示 在哪里是输出的最大灰度图像,通常255吗是最大的输入图像的灰度,如高动态图像的20位;的价值是1048575。
3.2。第二级直方图均衡化算法
在前一节中,作者讨论了直方图均衡化算法对高动态图像,有良好的处理效果,因为它的简单的计算,其结果是查表的输出;它更适合高动态图像处理系统的实现。然而,在系统的实际开发中,将会有一个问题,直方图占用太多内存;高动态图像的图像深度的20位,灰度范围(0,2);因此,一个图像所需的内存空间统计直方图的图像分辨率720 p 16 Mb;通用嵌入式处理芯片的片上存储器通常不能达到这个要求,如果直方图信息存储在芯片外DDR内存,需要额外的DDR访问时间开销;不容易满足整个高动态图像处理系统的实时性能。因此,作者提出了一种两级直方图均衡化方法,避免了问题,高动态图像的直方图占用太多内存;它可以实现近似的直方图均衡化算法的处理效果的情况下大大减少了内存的使用。
为了减少计算所需的内存主要直方图,作者采用的方法计算直方图后高输入图像的位;例如,对于高动态图像的深度20位,如果上面的13位的输入图像,所需的内存空间统计直方图是32 KB (256 KB);所占据的内存空间就会大大减少。首先,高 - - - - - -一些输入原始高动态图像统计直方图,如图所示 在哪里高输入亮度的图像吗 , 输入图像的比特数,的高阶数字统计直方图,然后呢是一阶直方图。
后获得高阶输入图像的直方图,对直方图进行均衡计算获取一级灰度映射表,如图所示 在哪里的最大亮度输出图像,后的最大亮度高吗输入图像的位,是一个均衡后的灰度映射表,是图像的像素的数量。
获得一级灰度映射表后,输出图像及其灰度直方图可以根据灰度映射表。根据第一级灰度图像映射的映射表,可以看出图像的一些细节丢失;这是由于高的输入图像直方图统计时;因此,大量的像素合并到相同的灰度。直方图,失去细节反映的现象尽可能多的“山谷”,和大量的像素合并成同一灰度反映更高的“山峰”直方图和两者之间的“山谷”“山峰”的人物。“这可以被视为一个时间间隔。
为了丰富的细节图像,灰度扩展可以在这些执行的间隔,使像素积累“山峰”填补这些“山谷,”和重新分配积累到一定的像素灰度实现细节增强的目的。每个区间的直方图,它可以被视为一个图像灰度分布不均匀,所以可以进行直方图均衡化的这一部分区间。
两个参数时,需要确定做二次平衡这些范围:间隔在输出图像的灰度范围,和间隔输入图像的灰度范围。输出图像的灰度范围的间隔可以由一级灰度映射表;在第一级均衡,因为高的输入图像,合并所有的像素都自然的高比特灰色的水平,然后转换为特定的“峰值”价值,所以一定的“峰值”直方图,事实上,包含不同的灰度值的输入图像合并,因为只有高K位;如果执行常规直方图均衡化在高动态图像,灰度的像素的数量“谷”左边的“峰值”值可能不是零;因此,输出图像的灰度范围可以确定根据“峰值”价值和重新分配像素堆积“峰值”值到灰色的水平上“山谷”,增加了图像的细节。
4所示。分析的结果
4.1。亮度直方图分析的效果
根据上面的改进算法中,像素是重新分配后,图像处理结果及其直方图如图6。
从图可以看出6亮的部分图和较暗的背景区域清楚地显示在相同的图像,和细节是相对完整。的亮度分量的直方图直方图均衡化后的输出图像的过程,它可以知道的灰度分布直方图均衡化的输出图像的亮度分量更均匀,它可以显示图像的高亮度区域和低亮度区域在同一个形象和保持图像的亮度值之间的相对关系,实现高动态图像增强处理的效果,和整个算法的计算复杂度较低。
基于这一结果,作者改进了直方图均衡化。为了保持直方图均衡化后的图像的平均亮度不变,一种方法提出了基于图像的平均亮度,这对直方图均衡化图像分为两部分,分别以保存图像直方图均衡化后的细节尽可能多;拟找到几个最小值根据输入图像的直方图,根据这些最小值,直方图均衡化的图像划分为若干个区间,分别。直方图均衡化处理后获得的改善效果如图7。
4.2。峰值信噪比
峰值信噪比(PSNR)是一个客观的标准来评估图像近似效果和用于分析质量处理过的图像和原始图像之间的区别。通常,峰值信噪比的值越大,越接近所涉及的两张图片的对比。
直方图均衡化的内存优化方法是由作者设计;在第一个均衡,高价值影响处理结果,所以作者用不同值测试。图8显示了教会高动态图像的处理结果,和图中处理间隔的数量是4。时的值增加,一级平衡和二级平衡的结果;PSNR值也增加了相对于普通的直方图均衡化的结果;更大的价值 ,处理结果是越接近普通的直方图均衡化算法。与此同时,对于不同的值,相比之下,第二级的PSNR值均衡处理结果和传统的直方图结果,相比之下,第一级均衡处理的结果,并与传统的直方图结果,PSNR值显著提高,表明两级均衡方法可以实现近似传统直方图均衡化的效果。
作者选择5公共代表场景的高动态图像近似效果分析;两级的PSNR值均衡处理结果相对传统的直方图均衡化处理结果如表所示1;比较时,二级均衡过程进行一级的所有间隔均衡结果。表2显示的价值之间的近似程度增加,第二级的均衡结果和直方图均衡化较高,当的价值大于13位,作者的算法有更好的近似传统直方图均衡化。
在二级平衡过程,间隔也会影响处理结果,表3当显示相应的PSNR值一级均衡模块的是13位,和第二级均衡模块需要的数量不同的间隔;间隔越多,越近效果是正常的直方图均衡化,但更大的内存空间被占用;从表中可以看出,当间隔大于4的数量;5高动态图像能达到一个更好的逼近效果。
4.3。结构相似度和客观质量评价
结构相似性SSIM(结构相似)和客观质量评估TMQI色调映射图像质量指数测量亮度,对比,和结构的两个图片,为了判断图像的相似性;SSIM和TMQI的价值越大,两幅图像的相似度就越高。
作者通过传统直方图均衡化的输出图像和计算结构相似度的图像输出二次均衡算法。数据9和10显示教会的一级均衡高动态图像,值从小型到大型,和处理的数量区间图的计算结果SSIM和TMQI是4。从图可以看出,二次均衡处理后,输出的图像处理效果和普通直方图均衡化的效果大大提高,而当的价值较大,二次均衡输出图像的结果更接近传统的直方图均衡化的结果输出图像。
表4和55代表高动态图像的场景;在第一级均衡,SSIM的计算结果和TMQI使用不同数量的数字;当比较,第二级均衡处理执行的所有部分一级均衡输出。从表中可以看出,更大的价值 ,输出图像的结果越接近是传统的直方图均衡化的结果输出图像,这七个高动态图像,当的价值大于13位,SSIM和TMQI值的近似结果更好。
从表中可以看出,作者的算法TMQI得分排名第一的所有图像的处理结果,这表明作者的算法保留了原始的结构高动态图像,图像是更自然;同时,作者的TMQI分数的算法对所有测试图像达到0.98以上;这是其他经典算法的平均价值的118.95%,表明作者的算法具有良好的鲁棒性和优越性。
5。结论
对于室内空间,它贯穿人类社会的各个方面,日常生活,工作,娱乐,学习,等等这些都是相关的。因此,人们越来越重视舒适,健康和室内环境的艺术。
城市化的步伐从未停止,快速发展所带来的环境问题越来越严重,人们渴望接触大自然,回归自然也变得尤为重要。景观设计元素在室内设计中的应用已经成为一种有效的方法来解决这个问题。的入口景观设计元素的室内空间不仅提高了建筑和人之间的关系也在一定程度上缩短了人们之间的距离,消除它们之间的壁垒。
基于这一要求,作者设计并实现了一个高动态视频图像的实时处理系统。两级分段直方图均衡化算法对高动态图像增强处理。改善了高动态图像的问题占据了太多的内存资源的应用直方图均衡化;在大大降低内存资源消耗的前提下,第二级直方图均衡化算法的图像处理效果接近传统的直方图均衡化。高动态图像处理系统的具体功能是基于SoC FPGA实现的。通过FPGA可编程逻辑和C语言软件设计,系统芯片的寄存器配置、图像接收和处理,高动态图像处理和图像数据输出模块实现,系统的设计目标。
除此之外,还有以下缺点,可以提高在未来:作者使用MIPI信号电平转换电路,也可以执行水平转换芯片,这种方案可以支持更高速率MIPI信号,信号更加稳定。在设计电路板时,多种输出接口的设计,和这些接口需要调试。该系统还可以集成其他色调映射算法,以满足更多的应用程序需求和在未来可以继续扩大。
数据可用性
没有数据被用来支持本研究。
的利益冲突
作者宣称没有利益冲突与任何金融机构关于报告的材料在这个手稿。