文摘

我们引入一个量叫做Renyi 's-Tsalli熵的秩序并讨论了它的一些主要属性与香农和其他文献中熵。进一步,我们给它的应用程序在编码理论和编码定理类似于普通无噪声信道编码定理的证明。定理,提出了熵是平均码字长度的下界。

1。介绍

让 , 被设置的推进概率分布。对于任何一个概率分布 ,香农1定义一个熵给出 在该公约 采用(见香农(1])。在这篇文章中,对数来基地 。参数归纳的香农熵提出了许多作者在文学生产(1)为特定值的参数。熵参数的存在使一个更灵活的从应用程序的观点。第一个概括的1)提出了Renyi [2] 另一个著名的熵是Havrda和Charvat[提出的3] 独立,Tsalli [4)提出另一个参数泛化的夏侬熵 方程(3)和(4)本质上有相同的表达除了归一化因子。Havrda和Charvat熵标准化为1。也就是说,如果 然后 而Tsalli熵不是标准化的。的熵产生同样的结果,我们称这些熵Tsalli-Havrda-Charvat熵。方程(2),(3)和(4)降低(1)当 。

n . r . Pal和s . k .朋友5,6)提出了一个指数熵 这些作者声称指数对香农熵的熵有一些优势,特别是在上下文的图像处理。这样的一个说法是,指数熵具有固定的上限,如均匀分布 和熵的(5)。 相对于无限的限制(如 )的熵(1)和(2)和(3)当 。方程(5)被Kvalseth进一步推广7)引入一个参数 在这篇文章中,我们介绍和研究新的信息度量叫做Renyi 's-Tsalli熵的秩序和一个新的码字长度和讨论彼此的关系。节2,Renyi和Tsalli熵引入并讨论了它的一些主要属性。节3测量中的应用,提出信息编码理论,证明了测量信息指的是码字长度的下界。

现在,在下一节中,我们提出一种新的测量参数信息。

2。一个新的广义信息的措施

然而,在文献信息的理论,存在各种概括的香农熵;我们引入一个新的信息测量 第二个案例(8)是一个著名的香农熵。

数量(8)介绍了目前部分Renyi和Tsalli熵的联合表示 。这样的一个名字将是合理的,如果股票与香农熵和其他一些主要属性熵的文学。我们学习一些这样的属性在接下来的定理。

2.1。提出了熵的性质

定理1。参数熵 具有以下特性。
(1)对称。 是一个对称函数的 。
(2)非负。 对所有 。

(3)会膨胀的

(4)决定性

(5)极大性

(6)凹度。熵 是一个凹函数 的概率分布 , 。

(7)连续性。 该地区是连续的吗 对所有 和 。

证明。属性(1),(3),(4)和(5)立即跟随的定义。财产(7),我们知道 该地区是连续的吗 对所有 。因此, ,也持续在该地区 和 和 。
财产(2)
案例1( ) 从(13),我们得到 自 。
因此,我们得到 也就是说, 。
因此,我们得出这样的结论: 对所有 。
案例2( )。证明在相同的行 。(注意,不平等(14)将得到扭转 。)
属性(6)。现在,我们证明是一个凹函数的 。
区分(8对两次) ,我们得到了 现在,对于 , 这意味着是一个凹函数的

3所示。长度的测量

让一组有限的输入符号 使用字母编码符号;然后它被范斯坦(显示8)有一个独特的可解释的代码与长度 当且仅当卡夫的不平等拥有;也就是说, 在哪里是代码字母的大小。此外,如果 是平均码字长度,那么代码满足(18),不平等 也是实现平等 当且仅当 如果 ,然后通过适当编码到单词的长序列,平均长度可以任意接近(见范斯坦(8])。这是香农的无声的编码定理。通过考虑Renyi的熵2),一个编码定理类似于上面的无声的编码定理建立了坎贝尔(9),作者获得的界限的 。

麻醉品(10类定义的规则和显示 的决定哪些是最好的决策规则两个方面可以与预期成本编码序列的长度吗当 ,编码序列的成本被认为是一个函数的长度。此外,在内克(11),结果表明,编码对坎贝尔的平均长度是有用的在最小化缓冲区溢出的问题发生在源符号是产生在一个固定利率和码字是暂时存储在一个有限的缓冲区。

有许多不同的代码的长度满足约束(18)。比较不同的编码和挑选一个最佳的代码检查平均长度,是一种惯例 ,和这个量降到最低。这是一个很好的过程如果使用的序列长度的成本成正比 。然而,可能有次成本更近一个指数函数 。这可能是这样,例如,如果编码和解码设备的成本是一个重要的因素。因此,在某些情况下,它可能是更合适的选择一个最小化的代码数量 在哪里是一个参数相关的成本。将成为明显的原因后我们喜欢单调函数的最小化 。显然,这将减少 。

为了使本文更直接可比的结果与通常的编码定理,我们引入一个类似于数量的平均长度。让代码长度被定义为

备注2。如果 ,然后(23)成为著名的香农研究的结果。

备注3。如果所有都是一样的, ,然后(23)成为 这是合理的测量长度的拥有财产。

在接下来的定理,我们给一个下界而言, 。

定理4。如果 ,表示一个独特的长度可解释的代码满足(18);然后

证明。通过Hld的不平等, 对所有 , ;或 ;对一些人来说,平等成立当且仅当 , 。请注意,H的方向ld不等式是反向的 。(Beckenbach和贝尔曼(12),看19页)。替换, ; ; ; ,(26)和简化使用(18)。下列情形出现。
情况下1(当 ) 从(27),我们得到 同时, 因此,从(28)和(29日),我们可以得出这样的结论: 。
情况下2(当 ) 从(30.),我们得到 同时, 从(31日)和(32),我们得到 情况下3。很明显,平等(25)是有效的 。这个条件平等(的必要性25)在H遵循平等的条件ld的不平等:在反向Hld上面给出的平等,平等拥有当且仅当对一些 , 将这个条件插入我们的情况, 和 规定,使用这一事实 ,需要是真正的一个。这证明了定理。

备注5。霍夫曼(13)引入了一个衡量一个可变长度的设计源代码实现性能接近香农熵的绑定。对个人码字的长度 ,的平均长度 霍夫曼编码的总是在一个单位的香农熵的测量;也就是说, ,在那里 是香农熵的测量。霍夫曼编码方案也可以应用于码字长度码字的长度 ;的平均长度霍夫曼编码的满足 在表1,我们已经开发出熵之间的关系和平均编码长度 。

从表中1,我们可以观察到平均编码长度超过了熵 。

4所示。单调的行为意味着码字长度

在本节中,我们研究了单调的意思是码字长度的行为(23)对参数 。让 的概率。为不同的值 ,的计算值显示在表2和3。

单调的图形表示形式的行为为 如图1。

单调的图形表示形式的行为为 如图2。

数据1和2解释了单调的行为为 和 ,分别。从这些数据,很明显,是单调递增的 以及 。

的利益冲突

作者宣称没有利益冲突有关的出版。