第17回PRML読書会 (最終回): 13章残り + 14章: モデルの結合

PRML読書会の最終回に参加してきました．今回はスペシャルゲストのしましまさんが参加され，ラスボスを迎えての感動の最終回となりました．

最終回は前から気になっていた14章ブースティングの発表を担当しました．ブースティングは使ったことがあったけれど，なんでそれでうまく学習できるのか，という部分を全然知りませんでした．PRMLではVC次元による解釈はせずに，それまでの試行で得られた弱学習器とその重みを固定して現在の試行の弱学習器とその重みを損失関数を最小化するように決定している逐次最適化という解釈で式の導出を説明しています．ここの導出は非常に簡単で，いつも演習問題をサボ微分ができないゆとりにも優しい，とても簡単な微分で導出することができました．

また，尤度演習14.7では変分最小化によって式(14.28)の導出を行うのだけれど，ゆとりに自信を与えてくれるような非常に優しいパターンになっていて，変分法の練習になりました．

ブースティング (AdaBoost) は，アルゴリズム自体は直感に合っているので覚えやすいけれど，ではなぜちゃんと動くのか，ということはけっこうわかりづらいです．最後にちらりと回帰のために二乗誤差を使う場合についても言及しており，ブースティングを改造できそうな気分にさせてくれます．

12.4 補足: 独立成分分析

あまり補足になっていない．要するに詳細独立成分分析を読め，ということ．

Chap12 4 appendix_suhara

View more presentations from sleepy_yoshi.

14.3 ブースティング

珍しく演習問題をいくつか解いています．

PRML14.3 Boosting

View more presentations from sleepy_yoshi.

発表のときにもお伝えしましたが，この一年間PRML読書会で学んだことは本当に大きく，毎度ぐだぐだ発表をしたり，ネタに走ったり，多々迷惑をかけたにも関わらず我慢して僕の発表を聞いてくださった皆様に本当に感謝しています．機械学習を仕事でも使うようになって本格的に勉強しなければなぁ，と思っていたところPRML読書会の存在を知って参加するようになって早一年と3ヶ月くらい．曳舟に通った日々を懐かしく思います．

全ての方の名前を挙げるとキリがないのでここでは挙げませんが，参加者の皆様，そしてなにより幹事としてこの長い闘いをずっと指揮し続けてくださったid:naoya_tさんに深く感謝申し上げます．

PRMLの半分も理解していない気がしますが (ヲイ)，それでも今までわからなかったことがずいぶんとわかるようになった気がしています．知識やスキルもそうですが，なによりも一緒にPRMLを読み切ったという戦友 (とも) を得たということが一番大きいと思っています．

PRML読み始めたときは最適化という言葉もロクに知らなかったし，微分も積分もできなかったのですが，最適化の方法は (名前だけは) 一通り覚えたし，微分もできるようになりました．ゆとりだってやればできるもんだなぁ，としみじみ思います．まだまだPRMLでも理解していないところがあるので，そこらへんを理解しつつ，機械学習という軸足を作れるよう精進したいと思っています．

学園祭の打ち上げが終わってしまったような感じでとてもさびしいですが，またどこかでお会いできることでしょう．復習レーンとか?

ではまた来週!