ウェブ制作用語辞典

robots.txt

検索エンジンの中にはロボットと呼ばれるプログラムが在ります。

ロボットはインターネットの中にあるWEBサイトを巡回し、ページ情報のクローリングを行います。
新しいWEBページや更新されたWEBページが見つかるとそれをデータベースに登録していきます。

しかし、クローリングは検索エンジンが無限に巡回を行う事で、WEBサイトに対して負荷をかけてしまう事も有ります。
これを防止する目的でrobots.txtを利用する事で検索エンジンのロボットはクローリングをしないようにする事が可能になります。

尚、robots.txtはWEBサイトのルートディレクトリーに配置する事でクローリングをしないようにする事が可能になりますし、特定の検索エンジンを指定する事も可能になります。

イケサイ新着登録サイト

イケてるWebサイト制作会社をお探しの方へ

イケサイに掲載されているようなウェブサイトを作りたい、スマートフォンサイトを作りたいという方は下記の見積もり依頼フォームからお問い合わせ下さい。





WEBデザイン登録

イケてるWEBデザインのサイトを募集中です。リニューアルされたサイトのご報告もお待ちしています。