所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。
根据Charles H. Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。
一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。
扩展资料
应用：
信息如果持续保持混乱，没有系统化，那么结果就是信息死亡，信息熵是解决信息处理的问题，如信息的数量变化，产生的冗余信息统计，从熵增定律来看，信息从A到B的传递，类似于能量守恒定律，总量是不变的，但会产生冗余。
人们经常会对一条信息跟帖、转发和收藏，这些行为就是在信息传递过程中的动能，结果是信息冗余越来越多，反而信息本身被关注越来越少，所以信息其实就是一个本身不断降维和冗余不断升维的过程，当冗余超过信息本身时，这条信息已经不重要了，或者从熵的角度定义为信息熵死。
参考资料来源：百度百科-信息熵
温馨提示：答案为网友推荐，仅供参考
第1个回答 2021-01-05
一分钟了解信息量与信息熵
第2个回答 推荐于2017-11-25
在信息论中，熵被用来衡量一个随机变量出现的期望值。它代表了在被接收之前，信号传输过程中损失的信息量，又被称为信息熵。信息熵也称信源熵、平均自信息量。本回答被提问者采纳
相似回答