PRML復々習レーン#12に参加して発表してきました

PRML復々習レーン#12に参加して発表してきました．会場を提供してくださったニフティさん，会場係の @who_you_me さん，幹事の @Prunus1350 さん，発表者，参加者のみなさまありがとうございます．改めて感謝申しあげます．

今日発表した前回のあらすじ資料をアップしました．

PRML復々習レーン#12 前回までのあらすじ from sleepy_yoshi

以下のような質問をいただく．

• 超事前分布をどこまで取るか?
• RVMの貢献ってベイズ線形回帰にデータ毎にARD適用したこと? -> YES
• グラフィカルモデルは誰か提唱したか

元々ベイジアンネットワーク，信念ネットワーク (Belief network) とは別にマルコフ確率場のような手法が出てきて，いつのまにかグラフィカルモデルという言葉が出来て，その分類としてふたつが語られるようになったということ．

久々参加の @shuyo さんの「グラフィカルモデルは矢印のリンクの (2013-07-22修正) あるところに意味があるのではない．矢印のリンクの(2013-07-22修正) ないところに意味がある」というフォローでかなり理解が進む．

ナイーブベイズのところで，矢印反転したらどうなるのか? というところでひと議論．矢印を反転すると，tail-to-tailになってしまうので，クラスが観測されると全ての単語に依存関係が発生してしまう．というわけで矢印の方向はクラスから単語という方向が正しい．

実は1つの依存だけ考えてあげるAverage One-Dependence Estimator (AODE) というものがある．元論文は以下のつぶやきの通り．

"Not So Naive Bayes" というタイトルが大変面白い．そういえばふと思い出したけれど，M1の夏休みだったかを使って研究室でナイーブベイズ輪講というものをやっていたことをふと思い出す．しかし，内容を全く思い出せない．ちょっと資料を漁ってみよう．

条件付き独立については昔本レーンで発表担当した記憶だけあるけれど，すっかり忘れていた．

• 観測すると親と親 (子) が条件付き独立になる
  • head-to-head
  • head-to-tail
• 観測すると親と親が独立にならない (観測されなければ親同士は独立)
  • tail-to-tail

これを元にしたd分離について次回の復習資料でフォローするのが宿題．

イジングモデルのところでは，学習に用いるアルゴリズムの違いは組み合わせ最適化をどれだけ正確に解くのか，ということと理解した．ICM (Greedyな方法)，Gibbs sampling，Max-prodcut，そして厳密解を求めるグラフカットアルゴリズムで，@naoya_t さんおすすめはグラフカットアルゴリズム．

というようなことを感じながら聞いていた．次回は8/24の予定．各自夏休みの課題をやってくるようにと言ってしまったので何をやろうかネタを考えておこう．

勉強会後はひさびさのご飯．エクセルの行列入れ替えの相談をしたり(笑)，勉強に関する話をしたり．@shakezo_ さんとMLaPP読みたいけれど，だれか興味を持つ人はいるのだろうか，という話をしたり．なおMLaPPは以下の1000ページ超の武器．

Machine Learning: A Probabilistic Perspective (Adaptive Computation and Machine Learning series)

右手にPRML (原書)，左手にMLaPPを装備すればそこらへんのモンスターは撲殺できるのではないだろうか*1．

さて今回からグラフィカルモデル本番に入り，次回はいよいよノーテーション地獄．今度はちゃんと理解できるだろうか．

*1:FF3ネタ．分からない人はFF3 学者で検索してみてください