传统的分形编码方案可以很容易地扩展到彩色图像(视频)等公司的代表红、绿、蓝(RGB)组件。因此每个通道在彩色图像可以压缩为一个灰度级的图像。Hurtgen,摩尔,西蒙提出了一个分形变换的彩色图像编码(
13]。在RGB分量,利用谱冗余的均方根(RMS)误差测量灰度空间扩展到三维颜色空间fractal-based彩色图像编码(
14]。实验结果表明,可获得1.5压缩比提高使用向量在分形编码失真测量固定图像分区比单独在RGB图像分形编码。然而,RGB空间不是感知制服。系统不均匀的小扰动值是线性的可能的变化,感知价值。这意味着一个颜色空间感知距离颜色统一<我n李ne-formula>
一个
和另一种颜色<我n李ne-formula>
b
=
一个
+
Δ
c
将被视为常数独立于<我n李ne-formula>
一个
或<我n李ne-formula>
b
。使用nonperceptually均匀空间RGB的缺点,人类视觉系统(HVS)将受到计算机数字视频处理措施,从RGB值的距离不会均匀的可信度。从这些考虑,欧盟委员会国际歌d 'Eclairage (CIE)定义了一个统一的颜色模型,称为L * a * b *代表人类能够解决所有的颜色。Danciu和哈特(
15)提出了一个分形压缩彩色图像的比较研究L * a * b *颜色空间与Jacquin迭代变换技术,三维的颜色。它已经表明,均匀颜色空间的使用产生了明显的颜色失真压缩图像小于其它方法。在本文中,我们将提出一个新颖的方法编码彩色图像的基础上联合使用L * a * b *颜色空间和挖土机的距离(EMD)测量
16]。EMD适当部署了彩色图像检索应用程序(
17]。这是一个向量度量空间和颜色信息相结合来解决彩色图像之间的相似性。在这个工作我们实现一个分形编码方法,依赖于EMD寻找在彩色图像自相似性在L * a * b *颜色空间。该方法取得更好的结果相比,在客观的质量评估的一个经典的编解码器基于有效值测量。
这种技术的数学基础是收缩迭代变换的一般理论
8,
9]。基本上,图像的分形编码在于建立一个代码<我n李ne-formula>
τ
(即。,一个p一个rt我cular transformation) such that, if<我n李ne-formula>
μ
源自
是原始图像,那么<我n李ne-formula>
μ
源自
≈
τ
(
μ
源自
)
,也就是说,<我n李ne-formula>
μ
源自
下为大约是自我改造<我n李ne-formula>
τ
。如果<我n李ne-formula>
τ
是一个收缩变换,<我n李ne-formula>
μ
源自
大约是吸引子的<我n李ne-formula>
τ
,也就是说,<我n李ne-formula>
μ
源自
≈
李
米
k
→
∞
τ
k
(
μ
0
)
一些最初的形象<我n李ne-formula>
μ
0
。的代码<我n李ne-formula>
τ
是建立在一个分区的原始图像。每一块<我n李ne-formula>
R
我
这个分区称为值域块和编写独立于其他组件的匹配(本地代码<我n李ne-formula>
τ
我
)与另一个块<我n李ne-formula>
D
我
在图像,称为域块。如果<我n李ne-formula>
R
和<我n李ne-formula>
D
范围和域块的大小(平方的块),分别呢<我n李ne-formula>
D
=
p
·
R
与<我n李ne-formula>
p
>
1
缩放因子用于局部自相似性搜索。
经典<我n李ne-formula>
τ
我
等距变换(即。,rotations, flip, etc.) and massive transform (i.e., contrast scaling and grey shifting). If<我n李ne-formula>
l
是范围块的数目,初始图像的分形编码呢<我n李ne-formula>
τ
(
μ
起源
)
=
⋃
我
=
1
l
τ
我
在哪里<我n李ne-formula>
τ
我
:
D
我
→
R
我
和<我n李ne-formula>
τ
我
=
米
我
∘
我
我
∘
r
我
,
p
与<我n李ne-formula>
米
我
(
x
)
=
一个
我
·
x
+
b
我
一个仿射运算符<我n李ne-formula>
一个
我
和一个转变<我n李ne-formula>
b
我
亮度的像素,<我n李ne-formula>
我
我
转换从八个离散选择等距<我n李ne-formula>
r
我
,
p
减少的一个因素<我n李ne-formula>
p
使用一个平均。换句话说,分形编码,为每一个值域块,一个大域块构成,一个适当的转换后,一个好的近似的范围。
原始图像的分形码所以提取当地规程的集合。这种方法,实现Jacquin [
9),给出了图像的表示是由部分本身的副本。经典分形解码阶段包括在一个迭代的过程从任意初始图像<我n李ne-formula>
μ
0
。事实上,如果<我n李ne-formula>
τ
是一个收缩变换,<我n李ne-formula>
τ
的吸引子<我n李ne-formula>
τ
∞
(
μ
0
)
给出了一个近似的原始图像<我n李ne-formula>
μ
源自
独立于最初的形象。从本质上讲,分形编码<我n李ne-formula>
τ
是一家集线性仿射变换<我n李ne-formula>
τ
我
,它没有内在的大小。因此,我们可以假设自相似性,即匹配原始图像大小不同的地区之间是规模无关的。在解码过程,结果”决议独立”,也就是说,在分形解码阶段代码使变焦(
19]。实际上,这个操作包括在增加,在解码阶段,块的大小范围<我n李ne-formula>
R
,因此域块的大小<我n李ne-formula>
D
(被<我n李ne-formula>
D
=
p
·
R
)。变焦的一个因素<我n李ne-formula>
z
,新尺寸<我n李ne-formula>
R
′
=
z
·
R
和<我n李ne-formula>
D
′
=
z
·
D
,但所有的本地代码<我n李ne-formula>
τ
我
因此分形编码<我n李ne-formula>
τ
将保持不变。
在这个工作我们提出一个新颖的解决方案自相似性搜索IFS分形编码的高清彩色视频序列。起初我们变换图像映射的颜色均匀L * a * b *空间。然后,通过一个聚类过程,对于每个范围和领域块,我们提取一个街区<我t一个李c>签名这是一个总结的空间和图像的颜色信息块。得到分形编码如前所述,我们比较的范围和领域块签名通过EMD措施。这里,是我们的方法的新颖性。事实上,我们执行的比较总结空间和颜色信息包含在图像块,反对古典IFS方案,比较他们在像素级别的RMS的措施。一个算法的示意图如图
1。在下面我们给该方案的细节。
分形编码的颜色图片。
2.1。图像块特征提取
一个图像块签名是一组特性提取的聚类过程。集群技术针对分区中的图像块一组条件,(即。集群)形成的像素聚集距离根据一些规则。每个集群是集群相关特性的代表。正式,因为一个图像块<我n李ne-formula>
C
的大小<我n李ne-formula>
n
,它的签名<我n李ne-formula>
年代
(
C
)
=
{
(
c
j
,
w
j
)
}
j
=
1
T
,<我n李ne-formula>
T
数量的集群,<我n李ne-formula>
w
j
重量,<我n李ne-formula>
c
j
质心(即。,the representative element) of the cluster<我n李ne-formula>
j
。聚类过程中,我们使用的经典<我n李ne-formula>
k
均值算法(
20.]。我们测量距离的像素之间的空间和颜色域。空间域,对每一个像素<我n李ne-formula>
{
y
我
}
我
=
1
n
我们限制搜索区域为中心的圆<我n李ne-formula>
y
我
半径为<我t一个李c>r。的长度<我t一个李c>r计算考虑到介质空间之间的距离<我n李ne-formula>
y
我
和初始分布的重心。颜色距离也是HVS的分辨率上有界的制服颜色L * a * b *空间(<我n李ne-formula>
HVS
res
),也就是说,最小距离L * a * b *颜色空间允许HVS区分两种不同的颜色。在形式上,我们定义通用的像素之间的距离<我n李ne-formula>
y
我
和一个重心<我n李ne-formula>
c
j
作为
d
(
y
我
,
c
j
)
=
d
我
年代
年代
2
(
y
我
,
c
j
)
+
d
我
年代
c
2
(
y
我
,
c
j
)
,
d
我
年代
年代
(
y
我
,
c
j
)
=
∥
y
我
- - - - - -
c
j
∥
空间
r
<
1
,
r
=
1
T
∑
j
=
1
T
∥
y
我
- - - - - -
c
j
∥
空间
,
d
我
年代
c
(
y
我
,
c
j
)
=
∥
y
我
- - - - - -
c
j
∥
l
*
一个
*
b
*
HVS
res
<
1
,
在哪里<我n李ne-formula>
d
我
年代
年代
(
y
我
,
c
j
)
和<我n李ne-formula>
d
我
年代
c
(
y
我
,
c
j
)
是他们规范化欧几里得距离在空间域和L * a * b *颜色空间,分别。值得注意的是,<我n李ne-formula>
d
(
·
,
·
)
是负的,对称的,满足三角形inequality-thus我们真的与一个度量空间。聚类过程的同事<我n李ne-formula>
y
我
来<我n李ne-formula>
c
j
根据
d
(
y
我
,
c
j
)
=
最小值
j
d
(
y
我
,
c
j
)
。
在彩色图像自相似性搜索是由IFS比较领域和范围的签名块中定义的部分
2.1。匹配的过程依赖于挖土机的距离(EMD)。EMD是一个有用的和可伸长的距离度量,由斯坦福大学视觉实验室(SLV),基于最小成本必须转换到另一个签名。基于EMD<我t一个李c>运输问题从线性优化,也被称为Monge-Kantorovich问题[
21]。假设几个<我t一个李c>供应商,每个与给定数量的货物,需要提供几个<我t一个李c>消费者,每一个都有能力有限。对于每一对supplier-consumer来说,运输成本的一个单位的商品。运输问题是找到最便宜的商品从供应商到消费者,满足消费者的需求。签名匹配可以自然地扮演一个运输问题通过定义一个签名作为供应商和其他消费者,并通过设置一对supplier-consumer成本相等<我t一个李c>地面的距离一个元素之间的第一个签名和一个元素在第二。地面的距离被定义为基本特征之间的距离聚合成的签名。直观地说,解决方案是那么最少的“工作”需要转变成另一个签名。正式EMD被定义为一个线性规划问题。让<我n李ne-formula>
P
,
问
两块和形象<我n李ne-formula>
年代
(
P
)
=
{
(
p
h
,
w
h
)
}
h
=
1
N
,<我n李ne-formula>
年代
(
问
)
=
{
(
问
k
,
w
k
)
}
k
=
1
米
他们的签名<我n李ne-formula>
N
和<我n李ne-formula>
米
集群,分别;让<我n李ne-formula>
d
h
k
是地上两个重心之间的距离<我n李ne-formula>
p
h
和<我n李ne-formula>
问
k
,让<我n李ne-formula>
f
h
k
之间的流动<我n李ne-formula>
p
h
和<我n李ne-formula>
问
k
,定义为的重量<我n李ne-formula>
p
h
匹配<我n李ne-formula>
问
k
我们想找一个流,最小化总成本:
工作
(
年代
(
P
)
,
年代
(
问
)
,
f
h
k
]
=
∑
h
=
1
N
∑
k
=
1
米
d
h
k
·
f
h
k
以下约束:
f
h
k
≥
0
,
1
≤
h
≤
N
,
1
≤
k
≤
米
,
∑
k
=
1
米
f
h
k
≤
w
h
,
1
≤
h
≤
N
,
∑
h
=
1
N
f
h
k
≤
w
k
,
1
≤
k
≤
米
,
∑
h
=
1
N
∑
k
=
1
米
f
h
k
=
最小值
(
∑
h
=
1
N
w
h
,
∑
k
=
1
米
w
k
)
。
第一个约束保证单向物资运输<我n李ne-formula>
年代
(
P
)
来<我n李ne-formula>
年代
(
问
)
。第二个我们限制供应,集群可以发送的<我n李ne-formula>
年代
(
P
)
他们的重量。第三个约束允许集群<我n李ne-formula>
年代
(
问
)
不再接收物资比他们的重量,而最后的约束力量尽可能多的供应。我们称之为总流量。运输问题一旦解决,我们已经找到了最优流<我n李ne-formula>
f
h
k
,EMD被定义为规范化的工作总流程:
EMD
(
年代
(
P
)
,
年代
(
问
)
]
=
∑
h
=
1
N
∑
k
=
1
米
d
h
k
·
f
h
k
∑
h
=
1
N
∑
k
=
1
米
f
h
k
。
正常化时需要两个签名有不同的总重量,避免给予更多重视小签名。一般来说,地面的距离<我n李ne-formula>
d
h
k
可以是任何距离和将选择根据手头的问题。我们需要定义一个地面距离匹配我们的目的。提取的范围和领域块签名我们部署一个聚类过程基于距离度量定义在(
1)。这样的距离是一个Euclidean-based指标能够比较像素和重心的空间色域。比较是在空间域限制<我n李ne-formula>
r
,即中像素之间的空间距离和质心的初始分布。在颜色空间中搜索仅限于质心不同不到人类视觉系统的分辨率(即。,高压<我n李ne-formula>
年代
res
)。定义地面的距离<我n李ne-formula>
d
h
k
,我们使用一个类似的,但稍微不同的方法。虽然我们仍然保持颜色组件的边界,我们使用高压<我n李ne-formula>
年代
res
规范化欧几里得度量值,我们没有元素在空间域限制搜索区域。因此,在空间域,我们不设置任何限制,我们只是正常的距离组件的最大测量质心之间的欧氏距离。此外,在基于签名的匹配过程如上定义,成功的搜索空间组件的重要性是不一样的颜色分量的相关性。事实上,在两个图像块相似的颜色分布,颜色的位置是非常不同的,这可能导致疲软的最佳匹配算法。正是基于上述考虑,我们提出以下的地面距离的测量:
d
h
k
=
λ
d
我
年代
年代
2
(
p
h
,
问
k
)
+
(
1
- - - - - -
λ
)
d
我
年代
c
2
(
p
h
,
问
k
)
,
λ
∈
ℝ
,
0
<
λ
<
1
,
在哪里<我n李ne-formula>
d
我
年代
年代
(
·
,
·
)
和<我n李ne-formula>
d
我
年代
c
(
·
,
·
)
是一样的(
1前),但是,在这里,<我n李ne-formula>
r
=
马克斯
h
,
k
∥
p
h
- - - - - -
问
k
∥
空间
。事实上,参数<我n李ne-formula>
λ
在(
6)权重重要性的颜色距离的空间距离是选为最大化重建图像的质量。值得注意的是,<我n李ne-formula>
d
h
k
,以及<我n李ne-formula>
d
(
·
,
·
)
(
5)非负、对称和满足三角不等式,因此它是一个真正的度量。提取分形编码,如果寻找相似性范围和领域块通过比较他们的签名。IFS与收缩转换减少域块的大小范围的一个街区。因此,匹配过程比较签名相同的总重量。在这种情况下,由于地面的距离<我n李ne-formula>
d
h
k
是一个真正的度量,也EMD (
5)定义了一个度量空间。此外,它可以表明,在这种特定的情况下
EMD
(
年代
(
P
)
,
年代
(
问
)
]
<
d
p
问
,
p
=
1
w
∑
h
=
1
N
w
h
p
h
,
问
=
1
w
∑
k
=
1
N
w
k
问
k
,
w
=
w
p
=
w
k
,
在哪里<我n李ne-formula>
w
两个签名和总重量是<我n李ne-formula>
p
,
问
他们的平均重心。换句话说,地面的平均质心之间的距离两个签名相同的总重量是EMD的下界之间的两个签名(
16]。这个属性使用IFS过程减少相似性搜索算法的复杂性。使用EMD IFS最佳匹配搜索有几个优点。事实上,比较摘要信息的图像块提取的聚类过程导致增加鲁棒性的搜索过程来弥补错误。这不是真正的基于像素的RMS方法。此外,它不太敏感的量子化错误由于内在的“平均”性质的聚类过程。
一个交互式HDTV应用程序框架内,用户应该选择感兴趣的一个场景(即。,一个年代ubsequence corresponding to the desired time interval) to be spatially zoomed and replayed in slow motion. The scene of interest is then passed to the proposed architecture shown in Figure
3并解释了在这一节中。
包选择考虑时间序列的方差估计的最小平方误差(MSE)帧之间的度量:
均方误差
(
h
,
k
)
=
∑
我
=
0
N
- - - - - -
1
∑
j
=
0
米
- - - - - -
1
(
F
我
,
j
h
- - - - - -
F
我
,
j
h
+
k
)
2
米
·
N
,
h
,
k
∈
(
1、2
,
…
,
n
]
,
在哪里<我n李ne-formula>
F
我
,
j
p
是像素<我n李ne-formula>
(
我
,
j
)
框架的,<我n李ne-formula>
p
在序列帧位置,<我n李ne-formula>
米
·
N
帧大小和<我n李ne-formula>
n
序列的帧的数量。的整体框架构成的序列,选择一定数量的关键帧。包的定义是由一组相邻帧之间的暂时位于两个consecutives关键帧,如图
4。
共和党提取。
一开始分裂过程的第一帧序列扩大选择的初始帧。更一般来说,一旦一个框架<我n李ne-formula>
h
已被确定为第一帧包,一个连续帧<我n李ne-formula>
k
被标记为结束帧数据包如果
均方误差
(
h
,
k
)
>
T
h
,
在哪里<我n李ne-formula>
Th
是阈值选择这样
Th
=
均方误差
(
1
,
n
)
2
。
换句话说,对于每个数据包时序方差必须低于50%的时间整个序列的方差。方程(
10)保证至少two-packet细分的序列扩展。根据(
9)和(
10),每一个数据包都可以由一个变量的帧数。在分包过程结束时,每个数据包编码作为一个单元是:以这种方式计算负载,因此,消耗的时间编码都显著降低。
这个分组过程的缺点是,它引入了一个不连续沿着时间轴。限制这种效果,使用时间重叠:每个共和党是编码作为一个边界条件的运动信息。由于这一点,一个缓冲区的存在是必要的保证因果的过程。更一般的约束是共和党大小一定的倍数<我n李ne-formula>
R
、大小的块,不小于<我n李ne-formula>
D
域块的大小。这保证了数据包被划分范围和领域块,和不喜欢的部分。
应对高计算负担,用小波的方法(
7]。活动对象的三维小波子带分析计算。为整个低通组件然后使用ORB分区提取分形编码。高通组件,执行下列系数分类程序(
24]。让<我n李ne-formula>
年代
米
是<我t一个李c>米th部分波段;我们表示<我n李ne-formula>
{
x
我
米
}
的小波系数<我n李ne-formula>
年代
米
并通过<我n李ne-formula>
p
米
(
x
)
的柱状图<我n李ne-formula>
{
x
我
米
}
。在<我n李ne-formula>
p
米
(
x
)
从最大的开始<我n李ne-formula>
x
马克斯
和移动的尾巴分布(见图
7),两个阈值确定,<我n李ne-formula>
t
1
米
,
t
2
米
:
∫
t
1
t
2
p
米
(
x
)
d
x
=
K
,<我n李ne-formula>
K
∈
(
0 1
]
。
小波系数分类过程。
这些阈值确定小波系数构成的活跃区<我n李ne-formula>
年代
米
,也就是说,<我n李ne-formula>
年代
米
阿兹
=
{
∀
x
∈
{
x
我
米
}
,
x
∉
(
t
1
米
,
t
2
米
]
}
。换句话说,一个活跃的区域是由这些系数位于分布的尾巴被上述阈值。分类过程后,一个二进制数值面具,表明积极的位置区部分波段内的系数,提取。这些系数,不属于一个活跃的区域被丢弃,而<我n李ne-formula>
年代
米
阿兹
系数是ORB分区,然后分形编码。的<我n李ne-formula>
K
参数是独一无二的部分波段并控制加速,,另一方面,分形编码过程的准确性;更高的值<我n李ne-formula>
K
对应更高的加速因素,而且降低最终的视觉质量。在解码阶段OSO / OCO过滤应用独立部分波段。一个额外的优势方面的节省时间的小波分析的“并行”的整个过程,增加速度在多线程环境中。
一个三维(即。,空间和temporal) expansion of the active object and two-dimensional spatial zoom (i.e., frames of bigger size) of the background are performed. After the inverse wavelet transformation, an OSO/OCO filtering is performed on the background/active object, respectively. Combined ORB code and OSO/OCO filtering enhance visual quality performance of fractal, by coding reducing blocking artifacts generated by the block based nature of the IFS approach. Finally, an active scene merging and a packets merging processes are applied to release the desired output video sequence.
4所示。实验结果
我们测试了该方法的有效性通过比较获得的结果实现了这些,在同样的约束(即。,应用相同的慢动作因素)帧复制和经典插值技术。五个高清电视测试序列在10秒镜头1280水平像素和720年垂直像素(行),逐步扫描在50帧/秒(即720 p / 50),用于实验测试。这些序列是免费在[
25]。序列命名<我t一个李c>CrowdRun、ParkJoy DucksTakeOff IntoTree,<我t一个李c>OldTownCross。这些序列的一个快照如图
8。前三个序列被归类为“困难”问题编码复杂度而IntoTree和OldTownCross被归类为“简单”。
时空梯度是非常有用的,因为他们生产措施的感知信息,或视频场景的变化。令人惊讶的是基于标量特征(即参数。,一个年代我ngle quantity of information per video frame) have produced significant good correlation to subjective quality measurement (producing coefficients of correlation to subjective mean opinion score from 0.85 to 0.95) [
26]。这表明所需的参考信息,从视频输入进行有意义的质量测量远小于整个视频帧。一个完整的描述的所有特性和参数
27是超出了本文的范围。在下面简要总结上述特性,一个数学提供了上述特性测定(
27]。
急动。运动最初是光滑连续被认为是一系列不同的快照。文献[
27)定义了一个失去了运动的能量和重复帧参数测量百分比急动障碍。百分比参数重复帧数的百分比TI重复样本;而失去了运动的能量参数集的比例平均失去运动(即。,年代ums the vertical distances from the input samples to the corresponding repeated output samples, where these distances are normalised by the input before summing).