海外SEO情報ブログ・メルマガさんで面白いことが書かれていて、
robot.txtをまず見に行くgoogleにとって robot.txtで404が返ってこないで
変なとこにリダイレクトされたりすると、そのサイトをクロールしなくなるらしいです。
あとで、ほんとかどうかやってみたいとおもいます(といっても遊びとはいえキャッシュ消されるとか痛い。。)
ついでにステータスチェッカーがどうのっていう下りがあったため、ザクっとつくってみた。
なんという手抜きw
海外SEO情報ブログ・メルマガさんで面白いことが書かれていて、
robot.txtをまず見に行くgoogleにとって robot.txtで404が返ってこないで
変なとこにリダイレクトされたりすると、そのサイトをクロールしなくなるらしいです。
あとで、ほんとかどうかやってみたいとおもいます(といっても遊びとはいえキャッシュ消されるとか痛い。。)
ついでにステータスチェッカーがどうのっていう下りがあったため、ザクっとつくってみた。
なんという手抜きw