クローラー

クローラーはインターネットの中を巡回しているプログラムでです。

クローラーの役割はインターネットの中にあるウェブページを巡回し、新しいホームページや更新されたホームページがあるとそれをデータベースに登録をしていくと言う役割が在ります。
ホームページの中にはハイパーリンクが張られており、このリンクを辿って別のホームページも巡回していきます。
検索エンジン最適化では被リンクにおける対策を重要視しているのですが、これは被リンクをクローラーが辿ることからも重視されてるのです。

尚、インターネットの中を巡回するクローラーは新しい文書を見つける度にデータベースに登録を行い、データベースに登録されることで検索結果の中で上位に表示されやすくなると言われているのです。