自己エントロピーとはなんだろうか。
自己エントロピーとはなんだろうと漠然と考えていました。
エントロピーというのは自己エントロピーの平均値です。そして確率(P)は自己エントロピー(I)と対数で関係します。I = -log P。これはP = e^-Iとも書けます。
つまり、自己エントロピーは高いと確率が低くなります。
もし、N本中nの当たりくじがあるおみくじがあると、当たる確率はP(当たる)=n/Nなので、自己エントロピーはI = -log(n/N) = log N - log n です。
必ず当たるくじの自己エントロピーは0になり、N本中1本しか当たらないくじの自己エントロピーはlogNになります。
ここで I(n) = -log(n/N)と書くことにすると
I(n) = logN - log n
です。
式変形してやると
n = (1/N) e^-I(n)
という関係式が得られました。これは何を意味しているのでしょうか。