第三节 熵的性质

马尔可夫

作为高贵的熵，它满足以下性质：

1．非负性（好像也没人定义负熵是啥意思）

2．对称性 

3．确定性

4．扩展性

5．可加性

进一步，如果两个信源X，Y独立，则 

6．香农辅助定理(记住这个定理)

对于任意r维概率矢量

下列不等式成立：

这个证明有一点点复杂，在这里就不写了，但是我们可以知道：该定理表明，给定任意概率分布，对其它概率分布的自信息量取数学期望，必然会大于信源本身的熵。 

7．最大熵定理 

离散无记忆信源输出个不同的消息符号，当且仅当各个输出符号的概率相等时，信源的熵最大。 

8．条件熵小于无条件熵

条件熵小于无条件熵

当且仅当X与Y相互独立时等号成立。

从字面意思理解，知道一些东西东西总比啥也不知道的情况不确定小，除非这两件事啥关系也没有，同样，我们也可以通过数学来证明一下：

证明： 根据条件熵的定义

为了利用香农辅助定理，将上述公式中的看作香农辅助定理中的p(),现在需要构造合适的 ，这里由于证明目标是为了找出条件熵H(X|Y)与熵H(X)之间的关系，所以令，于是得到 :

代入，有：

利用熵的这些性质，我们可以做进一步的研究了。

第四节 离散信源序列的熵

        前面一直讨论的是只发的是单个消息的离散信源的熵，然而大多数情况下信源实际输出的消息是在时间或空间上的离散随机序列，有些是无记忆信源，即序列的符号之间没有关联性，这些家伙好办，但更多的是记忆信源，即序列中的符号之间有相关性。那么我们应该如何处理这些东西呢？        根据前面讲的，我们大概也可以推测出，对于离散随机序列，需要使用联合概率分布或者条件考虑分布函数来描述信源输出符号之间的关系：

消息序列信息量的一般表达式

当然，它满足完备性：

我们现在来把它扩展亿点，扩展N次后得：

我们将之等效为一个新的信源，这个公式里的X没啥特别的

它只是让一大串的更好写的工具人罢了。

这里也满足完备性：

需要注意的是，这里的不是一个单独的消息符号，而是一个N重序列。

我们可以这样来求算某个信源输出某个序列的概率：

当然，如果信源是无记忆的,那么前后消息符号之间就不存在关系，则有：

好了，我们现在大概也许可以知道这么描述一个消息序列了,所以现在问一个进一步的问题：这玩意的熵咋算。换句话讲，如何计算一个能输出一个每个消息符号都是消息序列的消息序列的信源（套了两层娃）的不确定度该怎么算？

通过抄课本，我们得到序列熵的一般表示形式为：

即：

这是一种基本形式

对于离散无记忆信源的熵，我们可得：

还妹完，我们把这一坨代到通过抄课本知道的那个序列熵的表达式：

则平均每个符号熵为：

进一步地,如果信源是平稳的

对于离散无记忆平稳信源而言，平均每个符号的熵等于对应单个符号信源的熵。

然鹅，对于离散有记忆信源的熵，情况就复杂起来了，实际情况非常复杂，这里只讨论离散平稳有记忆信源，即：

1.信源X的一维概率分布与时间起点无关;

2.信源的各维联合概率分布与时间起点无关

特别地，如果当N=2时上述条件成立，即满足,对不同的i,j, 那么该信源称为二维平稳信源。下面就重点讨论下：

二维平稳信源：

设离散二维信源对应的概率空间为：

我们将作为一个新的信源 ,然后算个熵：

由前文讨论可知，H()表示联合熵，它表示信源每输出一对消息()能够提供的信息量，或者每一对消息的平均不确定性。而信源X每个可能符号的平均不确定性，或者每个符号携带的信息量为 ：

称为二维平稳信源X的信息熵，也称为平均熵。

同样的，我们定义二维平稳信源X的条件熵：

类似地，它们也满足关系：

联合熵与条件熵之间的关系

这里需要注意一下的是：形式上H(X2|X1)与条件熵H(Y|X)相同，但是两者不是等价的，两者定义的信源不同，所代表的含义也不相同.H(X2|X1)描述的是同一个信源X输出前后符号之间的依赖关系;H(Y|X)描述的是两个不同信源之间的关系。

好了，也许你迷糊了，也许你没有，没关系，我们可以接着讨论：当前后输出符号之间不存在依赖关系时

二维平稳信源X的熵具有下列性质： 1)由于、均属于信源X，而且信源是平稳的

2)条件熵不大于无条件熵

二维平稳信源条件熵小于信源X的信息熵，只有当输出前后符号之间统计独立，也就是没有相互依赖关系时，两者才相等。

3)(貌似不配拥有解释)

当前后两个输出符号之间统计独立时等号成立。

前面讨论的都是二维的，对于更加一般的情况，即一般离散平稳信源符号之间的相关性不仅仅存在于相邻的两个符号之间，而且存在于更多的相邻符号之间，因此一般离散信源更为复杂。但好消息是，我们可以将二维平稳信源的结论加以推广，得出一般离散平稳信源熵的性质。

1.条件熵是随N的增加而非递增的

2.当N给定时，平均符号熵不小于条件熵

注意：是N-1个条件，少一个就是错误的 3.平均符号熵是随N增加而非递增的

4.极限熵是存在的

H∞ 称为离散平稳信源的极限熵或极限信息量 对于一般离散平稳信源，当N不是很大时就能够得出非常接近的H∞，对于平稳信源而言，随着N的增加，相关性迅速减弱，当N足够大时，即使再增加相关长度N，平均符号熵的几乎不再减小，所以没有必要求出信源的极限熵。在工程上往往根据研究需要或者实际情况，简化模型，当序列长度N能够满足要求时，就可以利用HN(X)代替信源的熵，便于展开研究； 即使信源不是严格平稳的，为了便于研究问题，可以将之视为平稳的，以便得到有意义的结果。 在下一篇里我们就继续讲来研究研究这种不平稳的情况。