海外SEO情報ブログ・メルマガさんで面白いことが書かれていて、
robot.txtをまず見に行くgoogleにとって robot.txtで404が返ってこないで
変なとこにリダイレクトされたりすると、そのサイトをクロールしなくなるらしいです。
あとで、ほんとかどうかやってみたいとおもいます（といっても遊びとはいえキャッシュ消されるとか痛い。。）
ついでにステータスチェッカーがどうのっていう下りがあったため、ザクっとつくってみた。
なんという手抜きｗ
海外SEO情報ブログ・メルマガさんで面白いことが書かれていて、
robot.txtをまず見に行くgoogleにとって robot.txtで404が返ってこないで
変なとこにリダイレクトされたりすると、そのサイトをクロールしなくなるらしいです。
あとで、ほんとかどうかやってみたいとおもいます（といっても遊びとはいえキャッシュ消されるとか痛い。。）
ついでにステータスチェッカーがどうのっていう下りがあったため、ザクっとつくってみた。
なんという手抜きｗ
