robots.txt
ロボット巡回からのアクセスに対して、サイトへのアクセス方法を依頼するファイル。
あくまでも依頼なので、強制力はない。
全てのロボット巡回に対して、全てのフォルダへのアクセスを拒否する例。
User-Agent: *
Disallow: /
ロボット巡回からのアクセスに対して、サイトへのアクセス方法を依頼するファイル。
あくまでも依頼なので、強制力はない。
全てのロボット巡回に対して、全てのフォルダへのアクセスを拒否する例。
User-Agent: *
Disallow: /