情報理論の基礎の確立－シャノンの功績－

シャノンが築いた情報理論

シャノンは、アメリカ生まれの数学者で、ミシガン大、ＭＩＴで電気回路に関する数学的な方法を研究しています。

同じ頃、日本では、中島章が同様な研究を進めており、ブール代数を使った計算機の回路設計の研究をしています。

シャノンは、中島の講演を聞き、その考え方を直ちに理解し、同じ理論を作り上げました。情報理論の基礎も、日本の研究者が初期から関わっていたのです。

シャノンの数学上の業績

シャノンの数学的な業績は、情報理論の数学的な基礎を構築したことがあげられると思います。シャノンが、アメリカのベル研究所にいたころに発表した、「通信の数学的理論」のなかに発表されています。

試行αの結果が、\(A1、A2、A3、･･････、Am\)　有界であるとき、そのおこる確率をそれぞれ、\(ｐ1、ｐ2、･･･････、ｐm\)　とするとき、この試行の曖昧さの程度を
エントロピーという概念であらわしました。

試行Tのエントロピーは、
\(－ｐ1logｐ1－ｐ2logｐ2－･･･････－ｐmlogｐm\)　で定義されます。これを試行αのエントロピーといい、H（α)であらわしました。

また、\(H(α)は、ｐ1＝ｐ2=････････＝ｐm＝1/ｍ\)　のとき最大値をとり、このときに限ることを示しました。

シャノンは、このエントロピーの概念を用いて、重要な情報理論を導き出しました。また、シャノンの理論は、ウイーナーによってサイバネチックスの基本概念になりました。

シャノンの理論の厳密化

シャノンの理論には、数学的に厳密性にかけるところがあったため、ロシアのヒンチンによって厳密化が行われた。その後、情報論の研究は、アメリカでも進められましたが、ロシアの数学者のコルモゴルフによって研究がすすめられました。