什么是信息熵【转】

什么是信息熵【转】

“熵”是德国物理学家克劳修斯在１８５０年创造的一个术语,他用它来表示任何一种能量在空间中分布的均匀程度.能量分布得越均匀,熵就越大.如果对于我们所考虑的\x0d那个系统来说,能量完全均匀地分布,那么,这个系统的熵就达到最大值.\x0d　　在克劳修斯看来,在一个系统中,如果听任它自然发展,那么,能量差总是倾向于消除的.让一个热物体同一个冷物体相接触,热就会以下面所说的方式流动：热物体将冷却,冷物体将变热,直到两个物体达到相同的温度为止.如果把两个水库连接起来,并且其中一个水库的水平面高于另一个水库,那么,万有引力就会使一个水库的水面降低,而使另一个水面升高,直到两个水库的水面均等,而势能也取平为止.\x0d　　因此,克劳修斯说,自然界中的一个普遍规律是：能量密度的差异倾向于变成均等.换句话说,“熵将随着时间而增大”.\x0d　　对于能量从密度较高的地方向密度较低的地方流动的研究,过去主要是对于热这种能量形态进行的.因此,关于能量流动和功－能转换的科学就被称为“热力学”,这是从希\x0d腊文“热运动”一词变来的.\x0d　　人们早已断定,能量既不能创造,也不能消灭.这是一条最基本的定律；所以人们把它称为“热力学第一定律”.\x0d　　克劳修斯所提出的熵随时间而增大的说法,看来差不多也是非常基本的一条普遍规律,所以它被称为“热力学第二定律”.\x0d　　举例来讲果我们能看到橡皮筋的分子结构,我们会发现它的结构在拉紧和放松的状态时是不一样的.放松的时候它的分子结构像一团乱麻交织在一起.而在把橡皮筋拉长的时候,那些如同链状的分子就会沿着拉伸的方向比较整齐地排列起来.于是我们可以看到两种状态：一种是自然,或者自发的状态.在这种状态下结构呈“混乱”或 “无序”状.而另一种是在外界的拉力下规则地排列起来的状态.这种“无序” 的状态还可以从分子的扩散中观察到.用一个密封的箱子,中间放一个隔板.在隔板的左边空间注入烟.我们把隔板去掉,左边的烟就会自然 (自发)地向右边扩散,最后均匀地占满整个箱体.这种状态称为“无序”.\x0d　　在物理学里我们可以用“熵”的概念来描述某一种状态自发变化的方向.比如把有规则排列的状态称为“低熵”而混乱的状态对应于“高熵”.而熵则是无序性的定量量度.热力学第二定律的结论是：“一个孤立系统的熵永不减少.”换句话说,物质世界的状态总是自发地转变成无序；“从低熵”变到“高熵”.比如,当外力去除之后,整齐排列的分子就会自然地向紊乱的状态转变；而箱子左边的烟一定会自发地向右边扩散.这就是著名的“熵增定律”.\x0d　　信息熵的定义与熵的定义相似,我们说的信息熵一般是指信息论的香农理论.\x0d在日常生活中,信息是指“消息”,“情况”等.看电视、看报纸、看书、打电话、听广播、上网浏览,乃至聊天、开会,人们都获得了“消息”.消息通过“消息传递系统”传递,各种系统可以抽象为通讯系统模型.这一模型并不只限于通信系统,对于生物神经系统,遗传系统,市场的经济信号感知反馈系统,管理系统,都可以运用这个模型.\x0d在消息传递系统中,其传输的是消息；但消息传递过程中,最普通,却容易被忽视的一点是：收信人在收到消息以前是不知道消息的具体内容的.消息的传递过程,对收信人来说,是一个从不知到知的过程,或者说是一个从不确定到确定的过程.\x0d从通信过程来看,收信者的所谓“不知”就是不知道发送端将发送描述何种运动状态的消息.例如,看天气预报前,不清楚天气的将出现何种状态；看天气预报后,这种不确定性就大大缩小了.所以通信过程是一种从不确定到确定的过程.不确定性消除了,收信者就获得了信息.所以香农认为, 信息是不定性的减少或消除.即\x0dI = S(Q/X)-S(Q/X')\x0dI代表信息,Q 代表对某件事的疑问,S 代表不定性,X为收到消息前关于Q的知识,X' 为收到消息后关于Q 的知识.\x0d信息熵并不是负熵,它描述的是信源 不确定性而不是 不确定性的减少.信息熵大表示信源的不确定程度较大,同样是一种无序性.香农的信息概念是人们对事物了解的不确定性的减少或消除,这一定义关注的是通信中的信息问题,所以香农信息是一种与信道相关的“信息”.信源、信道是信宿成了认识过程的不可分割的部分,主客体是不可分的；香农的概率,是主体对客体（信宿对信源）的一种先验主观认识,这本身就加入了主体的因素.因此,作为“通信中的数学理论”,信源与信宿在信道联系下的“互信息”,才是香农的“信息”.\x0d信道的任务是以信号方传输和存贮信息,通过信息处理后,一般只会增加信息的损失,不可能增加原来获得的信息.这意味着,在任何信息传输系统中,最后获得的信息至多是信源所提供的信息；信息一旦丢失,如不触及信源,就不能再恢复.这就是 信息不增原理,又称 数据处理定理,熵只是平均不确定性的描述,而不确定性的消除才是接受端获得的信息量,信息量不应该与不确定性混为一谈.\x0d信息论并不是香农一个人建立的,实际上它是由好几位科学家差不多在同一时候提出来的.香农从通信编码方面,维纳从滤波理论方面,统计学家费希尔（Fisher ）从古典统计理论方面,研究了信息的理论问题.但维纳与香农在信息概念的理解上有些不同\x0d信息论并不是香农一个人建立的,实际上它是由好几位科学家差不多在同一时候提出来的.香农从通信编码方面,维纳从滤波理论方面,统计学家费希尔（Fisher ）从古典统计理论方面,研究了信息的理论问题.但维纳与香农在信息概念的理解上有些不同\x0d信息熵并不是负熵,它描述的是信源不确定性而不是不确定性的减少.信息熵大表示信源的不确定程度较大,同样是一种无序性.香农的信息概念是人们对事物了解的不确定性的叫少或消除,实际上是“互信息”；因为这一定义关注的是通信中的信息问题,所以香农信息是一种与信道相关的“信息”.