1948年,香农将统计物理中熵的概念,引申到信道通信的过程中,从而开创了”信息论“这门学科。香农定义的“熵”又被称为“香农熵”或“信息熵”,即 其中
变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大。
关闭