海外SEO情報ブログ・メルマガさんで面白いことが書かれていて、
robot.txtをまず見に行くgoogleにとって robot.txtで404が返ってこないで
変なとこにリダイレクトされたりすると、そのサイトをクロールしなくなるらしいです。
あとで、ほんとかどうかやってみたいとおもいます（といっても遊びとはいえキャッシュ消されるとか痛い。。）
ついでにステータスチェッカーがどうのっていう下りがあったため、ザクっとつくってみた。
※URLがかわったので更新（2024/04/08）
ステータスチェッカー
なんという手抜きｗ
