PRML復々習レーン#9に参加して発表してきました

本日開催されたPRML復々習レーン#9に参加してきました.会場係の @hagino3000 さん,会場を提供してくださった株式会社VOYAGE GROUP様ありがとうございます.また,幹事のみなさま,発表者,参加者のみなさまにも感謝です.

さて,前回体調不良により欠席してしまったPRML.前回参加から約3ヵ月ぶりの参加で,今回は (も) 公私ともにばたばたしていたため一夜漬けで臨むことになりましたが,相変わらずハイレベルな参加者に囲まれ,濃密な時間を過ごすことができました.


前回までのあらすじ資料.今回はボリュームが多いのでいつもより流し気味に.


6.3 RBFカーネルから6.3.1 Nadaraya-Watsonモデルの発表資料.

本当は実装して検証したいところだったのだが,準備時間切れでネタを用意できなかったたところ,@__youki__ さんが素晴らしいLTをしてくださったので感謝感激 (別に僕のためではないのだけれど).

他にも @risuoku さんがガウス過程の実装LTなどがあり,さらに本章に対する理解が深まった気がする.

今日のLTはレベルが高い.やはりパラメータに対する結果の変化はこうやって可視化しないとわからないよなぁとかんじた.次回は自分も何かしらやろう,と心に誓うのであった.


ようやくガウス過程を理解できた気がするので自分メモ.

とにかくポイントは訓練データと未知のデータが与えられた際の同時分布p(\mathbf{t}_{N+1}) (6.64)式を求め,N番目までのデータを観測した条件付きガウス分布として,t_{N+1}の分布を求める(6.66)式,(6.67)式ということ.

その際,分散共分散行列にカーネル行列が現れる.これにより,無限個の基底関数でしか表現できない共分散を表現できるという利点があるという (p.22).が,そもそも共分散に対してカーネルを設計するメリットってなんだろう? ということを考えてしまう.

明示的なデータに対する類似度の知識導入に比べて,アプリケーションの観点からわかりやすいガウス過程のキラーアプリってなんだろう? と考えたりした.

メモ & 宿題

  • k-Meansで基底関数を選ぶ方法について (宿題)
  • フィッシャー情報量の意味
  • フィッシャーカーネルがうれしい場面 ([Hoffman 00] を読む)
  • カーネルは半正定値でなくてもよい?
    • NO. すくなくともSVMの双対形式においてラグランジュ乗数が下界を持たなくなる (7.10)式 p.39
  • (6.45)式に書かれていないカーネル回帰における3つの問題
    • (1) エッジバイアスが起こる
      • 逆エッジバイアス問題に気を付ける
      • もっと高度な情報を利用するとよい
    • (2) Bandwidth optimization
      • AIC & CV [Hurvich] をチェックする
    • (3) モデルの当てはまりの良さを評価
  • ガウス過程の復習

次回は4/7の予定.記念すべき第10回です.既に1ヵ月を切っているけれど,何かしらのネタが発表できればいいなぁ.まずは計算論的学習理論入門的な発表しますと言ってしまったので,3年前から暖め続けているトークネタを完成させよう.勉強から始めないと….