第11回PRML読書会: 第8章グラフィカルモデル (後半)

PRML

第11回PRML読書会に参加してきました．今回は下巻8章の後半，グラフィカルモデルにおける推論の前半部分を担当しました．8.4グラフィカルモデルにおける推論の最初の部分，すなわちノーテーション地獄の前座を担当しました．


今回も45分くらいで終わるだろうと思っていたのですが，90分近く喋っていました．参加者の皆様お疲れ様でした．質問，議論，わからない部分をフォローしてくださった皆様ありがとうございました．


発表資料を公開します．PPTはこちらにupしています．

8.4 グラフィカルモデルによる推論
View more presentations from sleepy_yoshi.


id:nokunoさんがustreamを撮影してくださっています (ありがとうございます!)．7:00あたりからスタートします．残念ながらiPhone充電切れにより，他の発表者の発表内容はありません．

輪講内容の簡単なまとめ

同時分布，周辺分布を求めるために，あるノードに対するメッセージとして確率を伝播を行います．条件付き独立性を利用して計算をサボろうというのがメッセージパッシングのモチベーションです．


担当部分の最初でいきなりつまづきました．なぜここにベイズの定理の例が出てくるか理解できませんでした．メッセージパッシングの節にも関わらずいきなりベイズの定理の例が出てきて，その後使われないためです．
「ベイズの定理の例を見せて，大きなグラフではそんなことできないよね，そこでメッセージパッシングですよ，というイントロなのでは？」というご指摘をid:smlyさんに頂きました．ありがとうございます．


因子グラフの部分で大切なことは，あくまで変数と因子の関係しか規定しないので，どのように因数分解されるかは，一意に解釈できないいうこと．これだけ苦労して，グラフィカルモデルのさわりしか触れていないということに驚愕．本当の地獄はこれからですね．

有向グラフ，無向グラフ，因子グラフの関係をこう解釈しています．有向グラフを一般化すると無向グラフになり，更に一般化すると因子グラフになります．因子グラフではとりあえず有向グラフ，無向グラフで表現できる情報は表現可能です．
それぞれのグラフにおける確率の計算方法を括弧で記述しています．

  有向グラフ   <->     無向グラフ     <->  因子グラフ
(条件付き確率)     (ポテンシャル関数)      (因子関数)


もっと詳しい内容については参加者の方々がブログ記事を書いているので，大変参考になります


輪講の雰囲気も，本を読むだけではなく論文情報も発表したり，議論するような雰囲気が出きてきたので，大変勉強になります．質問，議論も活発なので，本当に素晴らしい勉強会だと思っています．


自分の宿題

  • 信念伝播 (BP; belief propagation) の勉強
  • 連鎖においてふたつの離れたノードの同時分布を求めるときにメッセージパッシングだけで解決できるのか．
  • マルコフ過程の元論文
  • k-medoidの定義