検索エンジンの中にはロボットと呼ばれるプログラムが在ります。
ロボットはインターネットの中にあるWEBサイトを巡回し、ページ情報のクローリングを行います。
新しいWEBページや更新されたWEBページが見つかるとそれをデータベースに登録していきます。
しかし、クローリングは検索エンジンが無限に巡回を行う事で、WEBサイトに対して負荷をかけてしまう事も有ります。
これを防止する目的でrobots.txtを利用する事で検索エンジンのロボットはクローリングをしないようにする事が可能になります。
尚、robots.txtはWEBサイトのルートディレクトリーに配置する事でクローリングをしないようにする事が可能になりますし、特定の検索エンジンを指定する事も可能になります。
ウェブ制作用語辞典
robots.txt
イケサイ新着登録サイト
イケてるWebサイト制作会社をお探しの方へ
イケサイに掲載されているようなウェブサイトを作りたい、スマートフォンサイトを作りたいという方は下記の見積もり依頼フォームからお問い合わせ下さい。