機械学習
Machine Learning Advent Calendar 2013 の最終日を担当します @sleepy_yoshi です． ふだんはブログ記事をである調で書いていますが，なんとなく今日はですます調で書きます．あとクリスマスのノリで適当なことを書いているので，ネタをネタとしてとらえて…
ICML2013読み会に参加して発表してきました．幹事の @sla さん，会場提供してくださった東大中川先生，発表者，参加者のみなさまに改めてお礼申し上げます．タイムテーブルは以下のとおり． 18:00-18:20 @sla : "Learning Spatio-Temporal Structure from RG…
適切なタイトルは「SVMの主形式を制約なし非線形最適化で解く」だと思う．きっかけはSEXI2013/WSDM2013読み会で @harapon さんが担当された論文 Identifying Users' Topical Tasks in Web Search (WSDM2013) ．ここにLinear SVM (SMO) とLinear SVM (L-BFGS)…
こんばんは @sleepy_yoshi です．Machine Learning Advent Calendar 2012 の11日目を担当します．サモア時間ではまだ12月11日なので間に合いましたね．今日はバイナリ素性ベクトルの内積計算にSSE4.2のpopcnt命令を用いて高速化することでk-NN分類器を高速化…
ICML2012読み会に参加して発表してきました．主催の@nokunoさん，会場を提供して頂いた@shuyoさん，サイボウズさん，参加者のみなさまありがとうございました!自分は以下の論文を紹介 C. Scherrer, M. Halappanavar, A. Tewari, D. Haglin, "Scaling Up Coor…
SVMツールで有名なLIBSVMの作者らがまとめた "A Practical Guide to Support Vector Classification" という良資料[1]の日本語解説資料をまとめてみたので公開． SVM実践ガイド (A Practical Guide to Support Vector Classification) View more presentatio…
前回の記事でパーセプトロンの収束には学習率が関係ないということを検証した．前回に言及するのを忘れていたが，重みベクトルの初期値が0でない場合は一致しない気がする．というわけで初期値が0でない場合には学習率によって収束までの誤り回数が変化する…
(2012-06-20追記) ただし，重みベクトルの初期値が0のときだけということの記述忘れ．これについて以下の記事参照 (パーセプトロンの収束に学習率が関係ないのは初期値が0のときだけ)前回の記事に @shuyo さんから以下のコメントを頂いた．前半部分を引用す…
昨日公開したパーセプトロンのデモに対して「パーセプトロンに学習率って必要だっけ?」というコメントを頂いた．結論から言えば「収束性の保証には要らない．ただし，適当な値に設定すると経験的には収束が速くなる．」という回答になる *1．パーセプトロン…
前回k-NNデモを作った後に「これパーセプトロンも同じようにデモ作れるんじゃね?」と思ったので実装してみた．今度はクリックでデータ点を追加できるようにしたり，サンプル選択方法を可変にしたり，PAの更新の様子を可視化すると面白いかもと思って後からPA…
研究室の後輩向けに機械学習実装レクチャのようなものをやってみたのだけれど，知識ゼロの学生を対象にした場合にはk-NN (特に1-NN) から始めるのがよかろうと思ってそこから解説してみたk-NN->パーセプトロンという流れがよいとおっしゃっている．[http://n…
SVMの定番ツールのひとつであるlibsvmにはcross validationオプション(-v) があり，ユーザが指定したFoldのcross validationを実行してくれる．実行例 % ./svm-train -v 2 heart_scale * optimization finished, #iter = 96 nu = 0.431885 obj = -45.653900,…
第1回データ構造と情報検索と言語処理勉強会に参加して発表をしてきました．幹事の@overlast さん，ボランティアのみなさま，会場を提供してくださったmixiさんに感謝申し上げます．ランキング学習に関するハードな発表を依頼されたので，気合いを入れて2晩…
久しぶりにブログ記事を書いてみる．リハビリがてらに軽いノリの記事を．機械学習の勉強を始めてロジスティック回帰あたりに来ると出てくるカルバック・ライブラーダイバージェンス (以下KLd) ．機械学習以外の文脈でも分布同士を比較する場合にまっさきに出…
昨日，CRFの更新式の導出を行ったけれど，@nokunoさんのご指摘で，僕が算数が出来ないことが世に広まったわけだけれど (誰も見てないから広まってないか)，普通の人が計算すれば昨晩の展開はもっとシンプルにできる．というわけで訂正版をアップすることにし…
(2011-03-29追記) 訂正版を書きました．もっとシンプルに導出できます． 昨晩，Twitterで@tkngさんがCRFの更新式の導出の計算をしていたことを知る．実は僕も時を同じくして計算していた．しかし，なかなか答えが合わない．そうこうしているうちに@tkngさん…
