TECHNOLGY,  TOP

「人が犬を噛んだ」と聞いて驚くのはなぜか?

 次の2つの状況を耳にした時、あなたはどちらの状況に驚きをあらわすだろうか?

 1. を噛んだ。 2. を噛んだ。

おそらく多くの人が2の状況を耳にした時に驚く事だろう。しかし、それはなぜなのか?どうして人が犬を噛む事に多くの人は驚くのだろうか?その疑問に数学的に答えてくれるのが情報量(自己エントロピー)という概念である。情報を科学的に扱ったシャノンの情報理論の最も基本的な概念である。今回は、その情報量(自己エントロピー)という概念について上の例を参考にしながら簡単に説明してみようと思う。

1. 情報量の定義

 まず、情報量とは何なのか。確率 p(1>p>0)で起こる事象を観測したときに得られる(自己)情報量は数式で表すと

log2p bit

と定義される。つまり、起きる確率が小さい事象になればなるほどその事象から得られる情報量は大きくなり起きる確率が大きい事象になればなるほどその逆となるという事である。

2. 情報量の定義から我々がなぜ人が犬を噛む事に驚くのか直感的に理解してみる

情報量(自己エントロピー)の定義を見てみると、その事象が我々に与える情報量の大きさは、その事象が起こる確率の大きさ次第である事がわかる。一般的に、犬が人を噛む事はまあよく聞く話だが人が犬を噛むという話は滅多に聞かない。このことから人が犬を噛むというは、起きる確率が低いと考えられるので我々に与える情報量も大きくなる。情報量の大小と驚きの度合いが相関すると考えれば、我々がなぜ人が犬を噛む事に驚くのか直感的に理解する事ができる。

3. いろいろなところで利用される情報量という概念

 今回紹介した情報量の性質や定義は、我々が普段抱いている情報に対する理解とも乖離はしていない(実際は異なるが)。上の定義を利用するとさらに我々の直感と反することのない式が導出される。それがシャノンの基本不等式というもので

H(A|B) ≤ H(A) H(B|A) ≤ H(B)

という不等式がある。この不等式が表すのは、情報を得る前よりも,情報を得た後の方が情報のエントロピー は小さい (曖昧さが減少する) ことを意味している。これは、我々の経験に反するものではない。

情報量の概念は、情報を物理量と同様に定量的に捉えることができるようにした。この事は今日の情報化社会を支える基礎技術の根幹をなしているといっても過言ではない。情報量とは,数学的に定義された情報源モデルから生成されるデータの本質的部分を(工学的立場から)定量化したもので,情報に対してわれわれが抱いている直感的な性格を反映しており,情報機器の設計にとって大きな指針を与える概念である事がわかる。

にほんブログ村 科学ブログ 科学情報へ
にほんブログ村

ブログランキング・にほんブログ村へにほんブログ村

参考記事

https://kotobank.jp/word/%E6%83%85%E5%A0%B1%E9%87%8F-4582

http://web.tuat.ac.jp/~s-hotta/info/slide5.pdf

https://ocw.kyoto-u.ac.jp/ja/academic-center-for-computing-and-media-studies-jp/information-and-society/pdf/is02.pdf

https://wwws.kobe-c.ac.jp/deguchi/sc180/info/ent0.html

 

 

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください