ToDo : ちゃんと勉強
自己情報量 / 自己エントロピー
ある出来事の珍しさ度合
期待情報量 / エントロピー
出来事を起こすシステムが、起こす出来事の珍しさ度合平均量
@t_kun_kamakiri: エントロピーとは「取りうる状態の数」に関係している。
「部屋にモノをどこでもおいてもいいですよ」と言われれば取りうる状態の数は大きく部屋が散らかりエントロピーは大きい。
「部屋でのモノの配置はこれ」と決めておけば取りうる状態の数は小さく整理されエントロピーは小さい。
#エントロピーこれは期待情報量の話っぽい
観測者がシステムをどう捉えるかでエントロピーが増減しそう
だけど、システムのことを知り尽くすと観測者が予測した確率とシステムの実際の確率が一致するから本当のことを知れば知るほどシステムの実際のエントロピーに収束しそう
システムのことを知り尽くしたとしても情報量が 0 になるわけではないことは、普通のサイコロのことを考えれば分かるが、これくらい情報量（6面サイコロで言えば約 2.585）が含まれてるよねと断定できてしまいおもんなくなる（？）
なので、確率 / エントロピーの予測できなさ、つまりエントロピーへのエントロピーが高いと面白いんじゃないんすか（？）
高校の時の教師が給食で出た味噌汁に対してエントロピーが大きいと言っていたことを思い出す
ベーコンやキャベツなどが具材として入っていたため、一般的な味噌汁のイメージとかけ離れていたからだろう
味噌汁の具材が取り得る値としてベーコンやキャベツが入ってくることの発見により味噌汁の具材確率を調整して、ベーコンやキャベツの自己情報量を計算した結果その値が大きいと思い、その味噌汁を作る料理人の料理の予測できなさ、どんな料理が来てもおかしくないと思ってしまう平坦気味な確率分布を思い浮かべたのかな
🔗