robots.txt

ロボット巡回からのアクセスに対して、サイトへのアクセス方法を依頼するファイル。
あくまでも依頼なので、強制力はない。

全てのロボット巡回に対して、全てのフォルダへのアクセスを拒否する例。

User-Agent: *
Disallow: /