ACL2011読み会でQuery Weighting for Ranking Model Adapationを発表しました
ACL2011読み会に参加して発表してきました．会場を提供してくださったサイボウズラボ様，@shuyoさん，参加者のみなさま，ありがとうございました．
発表した論文はこちら．
Query Weighting for Ranking Model Adapation. by Peng Cai, Wei Gao, Aoying Zhou and Kam-Fai Wong PDF
本日の発表資料にちょっと修正を加えたものを公開します．
自分の発表について解説を少々．
本研究は，事例転移と呼ばれる転移学習のいちアプローチをランキング学習用にうまく適用する話．ランキング学習では，サンプルの最小単位である文書単位よりも，クエリ単位で重み付けをした方がよいのではないかという方法．
クエリの重み付けを計算した後は，RankingSVMでヒンジロスに対する重みという方法で学習を実現している．これは[1]と同じ方法 (本論文では引用されていないけれど．．)
クエリ重み付けについては，2種類の方法が提案されているけれど，いずれも実験的によかったけれど，直感的にうまくいくという感じがよくわからなかった．理論的裏付けがあるわけでもないし，計算量の面で改善の余地はあるので，もう少し改善の余地はあるかもしれない．
転移学習は実用的なのか? というような質問も頂いたけれど，まだその結論を出すにはノウハウや知見が足りないような気がする．議論でも盛り上がったけれど，xxは転移学習の問題で解かざるを得ない，xxというアプリケーションを実現するためには転移学習のアプローチが一番妥当，というようなキラーアプリが出てくるとよいのかなぁ．キラーアプリがなくても，転移学習自体は産業的には価値のある技術(になりうる)と思うけれど．
発表中にも述べたように同じ著者らがSIGIR2010で発表した先行研究[2]があるので，どうもインパクトが薄いような気がするが，近い分野の嫉妬によるものだろう．それにしてもjoint workでSIGIR，ACLを二人ではんぶんこ，というのが素敵．
他の方の発表については，@nokuno さんのまとめ記事をご覧ください．
個人的には@shuyo さんが発表した "Interactive Topic Modeling" が気になった．LDAってトピックモデルの結果を制御できないよね，それが"interactive"にできるんです，というのはサービス/アプリケーションに近い人間にとって，ヨダレが出るような手法．LDAの実装は一度しかしたことないので，@shuyo さんの実装があるので，きちんと理解したい．
もうひとつ気になったのは，@tsubosaka さんが発表した "A Scalable Probabilistic Classi?er for Language Modeling"．言語モデルを識別モデルで実現するのに，超多クラス分類問題として解く，という発想がなかったので斬新だった．アクティブな素性だけを使う，というアイディアが気になったので，ここらへんで何かできないか，というワクワク感があった．
自分自身はNLPが専門ではないけれど，少しずつ知識がついて来たような気がする．まだForward-Backwardとかデコーダとか言われて，ぱっと頭に浮かばないのだけれど，こうやって最新の研究や実装を聞いて，アプリケーションイメージを連想しながら学ぶのが一番頭に残るなぁ，と感じた．最近，勉強をかなりサボり気味だったのでがんばらねば．
