「通信の数学的理論」 クロード･Ｅ･シャノン 2009年 ちくま学術文庫
歴史的名著が文庫になりました。これは読まなくっちゃいけません。
シャノンの通信理論と言えば、現在でも色褪せることがない、どころか、ますます輝きを増す、希代の名著なのですから。
シャノンは、通信を構成するものが、情報源、情報源符号器、通信路符号器、通信路、通信路復号器、情報源復号器に分類されるとしました。
そして、エントロピーによって通信路と情報源を記述できることを数学的に証明したのです。
このエントロピーは、統計力学のエントロピーと違って、とてもリアルなもので、しかも身近な存在です。ですから、式を追って「確かにそうだよね/そうだけど･･･」という統計力学と違って、「フムフム、なるほど」と具体的にイメージできるのです。
解説者のウィーバーによれば、「シャノンの研究は、ノイマンが指摘したように、ボルツマンの洞察に起源を持っている」。そして、シャノン自身は、通信理論はウィーナーに負うところが大きいと強調しています。
ボルツマン、ウィナー、シャノン。なんと凄い顔ぶれでしょうか。現代を切り開いた巨人の勢揃いです。
さて、シャノンの通信論は、ごく簡単にまとめてしまえば、メッセージが信号に変換され(符号化)、この信号の自由度と通信路の速度がエントロピーによって計測される、というものです。
ポイントはこの符号化です。アナログの連続的なメッセージもデジタル化されることで、我々が認識する世界を変えることができるのです。
「送信機はメッセージを受け取り、信号に変え、信号が通信路を通過して受信機に到達する」「送信機の機能は符号化することであし、受信機の機能はメッセージを復号することである」
これらの洞察は「当たり前」に思うかも知れませんが、とんでもなく凄いことなのです。メッセージは符号化することによって通信できる。メッセージのまま通信する方法では、糸電話程度のことしかできません。
通信の効率は、メッセージにではなく「符号化する記号と、先行する記号列と、それら記号列の符号化法に依存する」ので、あらゆるメッセージを伝送する技術が開発できることを理論的に証明したのです。
通信の数学理論の根底をなす情報量の単位は“binary digit”。ビットです。情報量は２を底とする対数で定義されます。そして、記号の列を生成する確率過程を、直前に起きた事象に確率が依存する確率過程(マルコフ過程)とみなすならば、通信理論は、(その証明を除けば)高校数学で理解できるシンプルな数学でクリアに理解できてしまいます。
例えば、「ｎ個の独立な記号の集合がそれぞれｐ1,…,ｐnの確率で選ばれるという状況において、情報量は［Ｈ＝−∑ｐi*logｐi］」で記述されるというのは、何をどう考えても納得するしかないほどリアルです。
そして、「情報源のエントロピーをＨ、通信路の容量をＣとすると、送信メッセージが受信者に常に正しく伝送されるという条件の下で、通信路上における平均伝送速度がＣ/Ｈに任意に近くなるように符号化することは可能である」というシャノンのオラクル(御神託)が、ネットワーク社会を創ったと言っても過言でありません。
この本は、情報と通信に多少なりとも関わっている人間なら、数学が好きとか嫌いとか、出来るとか出来ないとかに一切関係なく、全ての人間が読まなくてはならないものです。シャノンの洞察は、世界共通語である数式の形でこそ伝わるものでしょう。そして、シャノンの語り口は数式を読めなければ味わうことは難しい部分もあります。ですが、数式以外の部分を拾い読みしただけでも、シャノンの洞察の幾分かは感じることができるでしょう。通信論の基礎を理解していないネットワーク学者の言い草をいくら聞いたり読んだりしても、ネットワークの何たるか、その本質は理解できないからです。
最後に、シャノンの通信理論の［定理２］を引用してみましょう。
１）Ｈはｐiについて連続である
２）全てのｐが等しくｐi＝1/ｎであるならば。Ｈはｎに関する単調増加関数である
３）選択が２つの連続した選択に分けられたならば、元のＨは個別のＨの値の加重和にならなければならない
上記の３つの仮定を満足するただ一つのＨは
Ｈ＝−Ｋ∑(ｐi*logｐi) ∑：ｉ＝１〜ｎ Ｋ：正の定数
何度読んでも「背中の毛が立つ」ほどの洞察(インサイト)です。
この定理に続くシャノン氏の記述も、背中がゾクゾク、身震いブルブルものです。
「統計力学においては、ｐiは、ある位相空間のセルｉにシステムが存在する確率を示している。そのときＨは、例えば、ボルツマンの有名なＨ定理のＨとなる」「Ｈ＝−∑(ｐi*logｐi) を確率の集合ｐ1,…,ｐn のエントロピーと呼ぼう」
ボクサーがノックアウトされた時は「天にも昇る気持ち」だと言います。生禿はボクサーではないのでわかりませんが、学生時代にシャノンにノックアウトされたときには、頭が真っ白になって一日中ボーとしていました。
歴史的名著が文庫になりました。これは読まなくっちゃいけません。
シャノンの通信理論と言えば、現在でも色褪せることがない、どころか、ますます輝きを増す、希代の名著なのですから。
シャノンは、通信を構成するものが、情報源、情報源符号器、通信路符号器、通信路、通信路復号器、情報源復号器に分類されるとしました。
そして、エントロピーによって通信路と情報源を記述できることを数学的に証明したのです。
このエントロピーは、統計力学のエントロピーと違って、とてもリアルなもので、しかも身近な存在です。ですから、式を追って「確かにそうだよね/そうだけど･･･」という統計力学と違って、「フムフム、なるほど」と具体的にイメージできるのです。
解説者のウィーバーによれば、「シャノンの研究は、ノイマンが指摘したように、ボルツマンの洞察に起源を持っている」。そして、シャノン自身は、通信理論はウィーナーに負うところが大きいと強調しています。
ボルツマン、ウィナー、シャノン。なんと凄い顔ぶれでしょうか。現代を切り開いた巨人の勢揃いです。
さて、シャノンの通信論は、ごく簡単にまとめてしまえば、メッセージが信号に変換され(符号化)、この信号の自由度と通信路の速度がエントロピーによって計測される、というものです。
ポイントはこの符号化です。アナログの連続的なメッセージもデジタル化されることで、我々が認識する世界を変えることができるのです。
「送信機はメッセージを受け取り、信号に変え、信号が通信路を通過して受信機に到達する」「送信機の機能は符号化することであし、受信機の機能はメッセージを復号することである」
これらの洞察は「当たり前」に思うかも知れませんが、とんでもなく凄いことなのです。メッセージは符号化することによって通信できる。メッセージのまま通信する方法では、糸電話程度のことしかできません。
通信の効率は、メッセージにではなく「符号化する記号と、先行する記号列と、それら記号列の符号化法に依存する」ので、あらゆるメッセージを伝送する技術が開発できることを理論的に証明したのです。
通信の数学理論の根底をなす情報量の単位は“binary digit”。ビットです。情報量は２を底とする対数で定義されます。そして、記号の列を生成する確率過程を、直前に起きた事象に確率が依存する確率過程(マルコフ過程)とみなすならば、通信理論は、(その証明を除けば)高校数学で理解できるシンプルな数学でクリアに理解できてしまいます。
例えば、「ｎ個の独立な記号の集合がそれぞれｐ1,…,ｐnの確率で選ばれるという状況において、情報量は［Ｈ＝−∑ｐi*logｐi］」で記述されるというのは、何をどう考えても納得するしかないほどリアルです。
そして、「情報源のエントロピーをＨ、通信路の容量をＣとすると、送信メッセージが受信者に常に正しく伝送されるという条件の下で、通信路上における平均伝送速度がＣ/Ｈに任意に近くなるように符号化することは可能である」というシャノンのオラクル(御神託)が、ネットワーク社会を創ったと言っても過言でありません。
この本は、情報と通信に多少なりとも関わっている人間なら、数学が好きとか嫌いとか、出来るとか出来ないとかに一切関係なく、全ての人間が読まなくてはならないものです。シャノンの洞察は、世界共通語である数式の形でこそ伝わるものでしょう。そして、シャノンの語り口は数式を読めなければ味わうことは難しい部分もあります。ですが、数式以外の部分を拾い読みしただけでも、シャノンの洞察の幾分かは感じることができるでしょう。通信論の基礎を理解していないネットワーク学者の言い草をいくら聞いたり読んだりしても、ネットワークの何たるか、その本質は理解できないからです。
最後に、シャノンの通信理論の［定理２］を引用してみましょう。
１）Ｈはｐiについて連続である
２）全てのｐが等しくｐi＝1/ｎであるならば。Ｈはｎに関する単調増加関数である
３）選択が２つの連続した選択に分けられたならば、元のＨは個別のＨの値の加重和にならなければならない
上記の３つの仮定を満足するただ一つのＨは
Ｈ＝−Ｋ∑(ｐi*logｐi) ∑：ｉ＝１〜ｎ Ｋ：正の定数
何度読んでも「背中の毛が立つ」ほどの洞察(インサイト)です。
この定理に続くシャノン氏の記述も、背中がゾクゾク、身震いブルブルものです。
「統計力学においては、ｐiは、ある位相空間のセルｉにシステムが存在する確率を示している。そのときＨは、例えば、ボルツマンの有名なＨ定理のＨとなる」「Ｈ＝−∑(ｐi*logｐi) を確率の集合ｐ1,…,ｐn のエントロピーと呼ぼう」
ボクサーがノックアウトされた時は「天にも昇る気持ち」だと言います。生禿はボクサーではないのでわかりませんが、学生時代にシャノンにノックアウトされたときには、頭が真っ白になって一日中ボーとしていました。
