超幻日記

素粒子、量子論、宇宙論のことを辺境にいる一人の視点から改めて眺めてみます。単なる勉強帳になるかも。。

自己エントロピーとはなんだろうか。

自己エントロピーとはなんだろうと漠然と考えていました。

エントロピーというのは自己エントロピーの平均値です。そして確率(P)は自己エントロピー(I)と対数で関係します。I = -log P。これはP = e^-Iとも書けます。
つまり、自己エントロピーは高いと確率が低くなります。

もし、N本中nの当たりくじがあるおみくじがあると、当たる確率はP(当たる)=n/Nなので、自己エントロピーはI = -log(n/N) = log N - log n です。

必ず当たるくじの自己エントロピーは0になり、N本中1本しか当たらないくじの自己エントロピーはlogNになります。

ここで I(n) = -log(n/N)と書くことにすると

I(n) = logN - log n
です。

式変形してやると

n = (1/N) e^-I(n)

という関係式が得られました。これは何を意味しているのでしょうか。