robots.txt

クローラーの動きを制御するためのテキストファイル。クロールから除外するURLなどを記述する。

【読み】ろぼっつてぃーえっくすてぃー

投稿者 takano : 2006年10月19日

用語集TOP > > robots.txt