どうやらspiderとcrawlerは別物らしい

memo

ブログ記事を収集しようと思って色々調べていたら
こんな記事を見つける．
どうやらスパイダとクローラは別物らしい．

Search engines consist of five discrete software components:
  1. Spider : a robotic browser like program that downloads webpages.
  2. Crawler : a wandering spider that automatically follows links found on pages.
  3. Indexer : a blender like program that dissects webpages that are downloaded by spiders.
  4. The Database : a warehouse of the pages downloaded and processed.
  5. Search Engine Results Engine : digs search results out of the database

(How Do Search Engine Robots Work?より抜粋)

検索エンジンの５プログラム
  1. スパイダー：ウェブページをダウンロード
  2. クローラ：ページのリンクを追跡
  3. インデクサ：ダウンロードしたページを調合して索引付け
  4. データベース：ダウンロードし処理したページの倉庫
  5. リザルトエンジン：データベースから探し検索結果を出す

(検索エンジンの５つのプログラム - スパイダーとクローラって別物？より抜粋)


どうでもいいけどデータが欲しい．．．