解説191 相互情報量（ベン図、条件付きエントロピー、サイコロの例、情報伝送量、汎化性能）

147 بار بازدید - پارسال - Character: 紲星あかり相互情報量は、確率変数Xが確率変数Y について有する情報量の尺度です。/確率変数XのエントロピーとXとYの条件付きエントロピーが分かっている場合、/相互情報量は、これらの差として表せます。/ベン図で書くと、HXとHYの共通部分になります。/ベン図全体の面積を、 結合エントロピーと言います。/実際は、条件付きエントロピーを計算し、/相互情報量は最適化の対象になります。/サイコロの例で説明します。/６つの目のサイコロを振ったときの不確かさは2.58です。/ここで、サイコロの出る目が偶数か奇数が分かれば、/不確かさ（エントロピー）は1.58に減少します。/言い換えると、サイコロの目が偶数か奇数かの情報量（情報利得）は、１です。/相互情報量の、通信工学と機械学習でのそれぞれの解釈を見てみましょう。/通信工学では、相互情報量はノイズのある通信路上で伝送される情報量になります。/先程の平均情報量と条件付き情報量の差です。/通信路でのノイズをBとしています。/機械学習では、端的に言うと、相互情報量は、 予測の性能です。/汎化性能と呼ばれることもあります。/正確には、教師あり学習の予測器の出力と教師信号との乖離度、/または類似度になります。/予測誤差の下限をこのように定式化することもあります。/相互情報量は、相対エントロピーを使って計算します。/相対エントロピーは、カルバックライブラーダイバージェンスとも呼ばれます。/相対エントロピーは、二つの確率変数XとYの分布の類似度です。/相対エントロピーは、期待値とログで計算できます。/詳しくは、解説18をご視聴ください。/相対エントロピーの非負性は、熱力学第二法則がベースになっています。/相互情報量は、同時分布と周辺分布を使って、相対エントロピーを計算する式になります。/