ブログ記事を収集しようと思って色々調べていたら こんな記事を見つける． どうやらスパイダとクローラは別物らしい． Search engines consist of five discrete software components: Spider : a robotic browser like program that downloads webpages. Cr…