hatunina’s blog

メモと日記です

「ベイズ推定入門」を読みました

読みました。

shop.ohmsha.co.jp

完全に息抜きです。
余裕のあるうちにちょっとでも語彙力を増やす。

以下目次です。

第1章 こんなところにベイズ推定
第2章 確率分布とベイズ推定
第3章 機械学習ベイズ推定
第4章 不可能を可能にするベイズ推定
第5章 カーネル法ベイズ的最適化
第6章 無限の可能性を考えるベイズ推定
その後の兵士さん(参考文献)
あとがき
索  引

ベイズ推定入門 モデル選択からベイズ的最適化まで | 理工学専門書,情報科学,情報科学一般・情報社会 | Ohmsha

ベイズに関しては大学の時にちょろっと聞いて、なんやこれめっちゃ便利やんって思った記憶があります。
あとは、「はじパタ」の第3章で出会った以来の再会です。

「はじパタ」ではクラス条件付き確率は密度関数とか言われた時点で思考停止しました。

この本の場合、「ベイズ推定は点推定ではなく分布推定」という話をしてくれます。
分布の形を見て推定するので強力とのことです。
詳しい部分は全く理解できていませんが、今後、別の本を読む時にイメージできていればいいかな、と。

あと、ちょっと副産物なんですが4章でL1ノルムとL2ノルムの話が出てきます。
今までは、正則化でオーバーフィッティングを防ぐよ〜、正則化パラメータに応じて重みパラメータが変わるよ〜程度の認識でしたが、ちゃんと図を書いてくれているのでL1ノルムとL2ノルムの使い分けが理解できます。

ついでに、TJOさんのブログを読むとさらによくわかる

tjo.hatenablog.com

L2ノルムは円形ですがL1ノルムは正方形(ひし形?)なので誤差項とぶつかる箇所はどこかの軸が0になり不要なパラメータを削ることができるということですね(スパースな解が出てくる)。


この辺もちゃんと勉強しなきゃな〜