Neo Inspiration

Live Searchのクローラ

Jakk — Wed, 02 Jul 2008 09:41:28 +0000

バグで自分がいじってるサイトのTOPページ以外のすべてのコンテンツが404かえしてる
（404のヘッダーだけ出してコンテンツ表示してる）
という恐ろしいことになっていたんですが、

当たり前ですが、 yahooもgoogleもキャッシュは１（TOPページだけ）

なのに Live Search は・・・

すごいな 404返しててもコンテンツがあるとキャッシュしてくなんて・・・

携帯サイトとして認識させる@google

Jakk — Fri, 27 Jun 2008 03:48:52 +0000

前にやっていた実験の続きをざっくり。
一度PCサイトと認識されたドメインはモバイルサイトになれない？

追加施策

・PCサイトからのリンクをはってみた
・モバイルサイトからのリンクをはってみた

結果

1:ウェブマスターズツールにモバイル登録してるだけではだめらしい。
　⇒登録2日後にモバイルクローラがきて、１～２週間モバイルクローラが定期的にきていたが、
　3週間たって突然通常クローラに戻った。
　（キャッシュが進まなかったので、コンテンツ量を増やしたからかも？）
　それ以降はGoogleモバイル検索でもPCサイト　として表示された。

2:PCサイトとして運用したドメインを焼きなおすのはだめらしい。
　⇒PCリンクもあるせいか、1ヶ月たってもモバイルクローラはこなかった。

3:携帯サイトからのリンクは有効
　⇒携帯サイト　として認識されているサイトからのリンクはSEOというよりは
　　モバイルクローラをひっぱってくるのに結構有効だった
　⇒PCサイトだったドメインもこれで、モバイルクローラがくるようになった。
　以降Googleモバイル検索で携帯サイト　として表示されるようになった。

結論

・モバイルサイトとして認識させるにはサイトマップ登録だけじゃ不十分。
・モバイルサイトとしての適切なコンテンツ量みたいなのがあるのかもしれない　⇒　要調査
・モバイルサイトからのリンクはかなり有効というか確実にやるなら必須っぽい

どうやってモバイルサイトと判断してるかというのは
Googleらしくリンク重視なのかなーと。
あと感覚的には　デフォルトPCサイト。なんかのフラグで携帯サイトに変更みたい。

Google Webmaster Tools のApiが公開

Jakk — Tue, 24 Jun 2008 08:42:47 +0000

Google Webmaster Tools のApiが公開

Google Webmaster Tools API
Get Cooking with the Webmaster Tools API

Your client application can use the Google Webmaster Tools Data API to view sites in your account, add and remove sites, verify site ownership, and submit and delete Sitemaps.

たいしたことできないみたいで、
サイトの追加、認証、削除とサイトマップの更新、追加、削除だけ。
サテライトサイト量産するときに使うくらいしか思いつかないんだけど。。
10000サイトのくらいの管理が若干楽になるツールとか。
Wordpressの管理画面からサイトマップ更新かけれるとか、そんなもんかなぁ。

飛んでくるデータで使えそうなのを探してみる

・wt:indexed（インデックスされたかどうか）

・ wt:last-crawled（最終クロール日付）
　⇒これウェブマスターズツールの画面にある最終クロール日ってやつ
　でもログみりゃわかるけど、クロール日じゃなくて　インデックス日だとおもう。

・sitemap-last-downloaded（サイトマップ取得日付）
　⇒これも実際にアクセスしてきた日付とずいぶん離れてる。

このくらいかな。。すくなっ

つまるとこ

肝心の情報がないじゃんー
被リンクとか発リンクとか。

ってことがトラックバックに入ってた記事にかかれまくってて笑ったｗ
やっぱりみんなそろって
「リンクデータもきっと開示してくれるでしょう！」って書いてありますねｗ
まあ　APIが拡張されたらツールでも作ってみましょうか。

httpステータスチェッカー

Jakk — Fri, 20 Jun 2008 02:18:14 +0000

海外SEO情報ブログ・メルマガさんで面白いことが書かれていて、
robot.txtをまず見に行くgoogleにとって robot.txtで404が返ってこないで
変なとこにリダイレクトされたりすると、そのサイトをクロールしなくなるらしいです。

あとで、ほんとかどうかやってみたいとおもいます（といっても遊びとはいえキャッシュ消されるとか痛い。。）

ついでにステータスチェッカーがどうのっていう下りがあったため、ザクっとつくってみた。

ステータスチェッカー

なんという手抜きｗ

Wordpressのログ取り

Jakk — Wed, 18 Jun 2008 04:52:50 +0000

バージョンあげる前はずっと　firestats とかいうのを使っていたのですが、
結構重いのと、DBがたくさんできて美しくなかったので、
今は、単純にテキストファイルにアクセスログを吐き出すプログラムを作ってまわしています。

まあ一応それを公開しますってことで。

wp-logger

別にwordpress以外でも使えるんだけど。
なんとなく wp　ってかいてみただけですｗ

使い方

１：ZIPファイルを解凍すると wp-logger.php なるものができるので、
　それをwordpressのフォルダ（wp-config.phpとかがあるフォルダ)にアップする

２：wordpressの管理画面から
テーマエディタを使って　footer.php （フッター）にこのタグを貼り付けてください。

以上！

＊うまくいかなかったら　カキコミ権限とかいじってみてくださいまし。

これで

勝手に200806.log　とかいう感じで月ごとのアクセスログがポンポン書き出されます。

こんな感じのログ（カンマくぎり）です。

日付,アクセスされたURI,IP,リモートホスト,ユーザーエージェント
2008/06/18 12:03:22,/,192.168.0.1,＊＊＊＊.ocn.ne.jp,Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14,

simplexml_load_string で CDATAもとってくる

Jakk — Fri, 06 Jun 2008 07:38:46 +0000

最初できないと思ってたんですが、
optionつければできるようですね。
こんなとこに書いてありました。
PHP5’s SimpleXML Now Passes CDATA Content

PHP要件とか

ただこんな要件が
http://phpspot.net/

導入
以下の関数/定数は、PHP 5.1.0 以降、 DOM, SimpleXML および XSLT のような libxml に基くエクステンションのどれかをコンパイルしている場合に利用可能です。

要件
このエクステンションは、libxml >= 2.6.0を必要とします。

こうやる

これで

$xml = simplexml_load_string($rssUrl, ‘SimpleXMLElement’, LIBXML_NOCDATA);

echo $xml->item[0]->description;

みたいな。

さくらで動かしたら動いた～

js を使わずに PHPだけで、loading メッセージを出して終わったら消す

Jakk — Fri, 30 May 2008 06:44:39 +0000

どうでもいい php tips

こんなことがあるので

管理画面を作っていて
長い処理とかでブラウザのタイムアウトとかを防ぐ為に
php だと

echo “Now Loading…”;

処理やってる間１ループごとに
echo “.”;

処理が終わってから
echo “End.”;

とか echo したりすると思うんですが、
それがお客にも見せるようなものだったりする特殊な場合
（ユーザがタイムアウトしそうな処理全部かもしれないけど）

echo した Now Loading… が画面にずっと残っちゃってうざいね

ってことで、　それを js を使わずに消してしまおうと。

魔法を使って解決します

魔法でも　なんでもないんだけどｗ

こうする。

echo “
Now Loading…”;

処理やってる間１ループごとに
echo “.”;

処理が終わってから
echo “End.
”;

とPHPで書いておいて
CSS で

#loading {
display:none;
}

こう書けばOK。

これで、処理中は …. がどんどん増えていって
End が表示されて、
その後PHPの残りのプログラムが処理されて、
最後に html を生成して、display:none が当たって見えなくなるわけです。

HTMLの読み込み時間差を利用するかんじ。

応用するとこんなことが

PHPとCSSだけで可能です。

こんなこともできます。

ちなみにこれのソースはこんなかんじ。

echo “
\n
\n
\n
\n”;

for ($i=0;$i<10;$i++) {
echo “
|
\n”;
ob_flush;
flush;
sleep(1);
}

echo “
\n
\n
\n
”;

?>

html>

ローディングテスト

全部完了したらこれだけが表示されます。

一度PCサイトと認識されたドメインはモバイルサイトになれない？

Jakk — Wed, 28 May 2008 07:12:19 +0000

モバイルサイトの実験をしてる過程でこんな状況になったのでメモ。

仕込み

携帯用CMSフレームワークを作ったので、
それを

・テストサイト1:既存にあるドメイン（被リンク自前サイト100本くらい&PCのGoogleでキャッシュされてる）
・テストサイト2:新規取得ドメイン（被リンク0）

にのせて、コンテンツボリュームもほぼ同じに調整した状態で、
Google Web Masters Tool にケータイ/cHTMLで登録。

2週間での経過

テストサイト1のクロール状況
⇒モバイルクロールすらされず。
　もちろんキャッシュもされず。

ものの見事に初日にきた通常BOTしかきていなくて、
かつクロールしていったのにPC版Googleでみてもキャッシュが変更されていない
（これはモバイルコンテンツだからコンテンツボリュームが少ないから？）

で以下履歴

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.70.214,crawl-66-249-70-214.googlebot.com
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.70.214,crawl-66-249-70-214.googlebot.com
Google-Sitemaps/1.0,66.249.85.88,ff-in-f88.google.com
Google-Sitemaps/1.0,66.249.85.88,ff-in-f88.google.com
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.70.214,crawl-66-249-70-214.googlebot.com
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.67.236,crawl-66-249-67-236.googlebot.com
・
・
・
以下ずっとこれ。

テストサイト2のクロール状況
⇒モバイルクロールされた。それもすぐに。
　キャッシュは1ページだけだけどこれはコンテンツボリュームの問題かな。

サイトマップ突っ込んで2日でにいきなりモバイルクロール開始。
初日は通常のクローラ、3日後にモバイルクローラがきてページをガンガンクロールしていく。
（ちなみにGoogleのサイトマップ　しか　ないのになぜかこんなとこからもアクセスがくるという219.118.188.122）

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.73.20,crawl-66-249-73-20.googlebot.com
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.70.214,crawl-66-249-70-214.googlebot.com
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.67.236,crawl-66-249-67-236.googlebot.com
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.67.236,crawl-66-249-67-236.googlebot.com
Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html),66.249.67.236,crawl-66-249-67-236.googlebot.com
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.67.236,crawl-66-249-67-236.googlebot.com
Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html),66.249.67.236,crawl-66-249-67-236.googlebot.com
・
こっから携帯BOTで全クロール
・
・
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.67.236,crawl-66-249-67-236.googlebot.com
Google-Sitemaps/1.0,66.249.85.88,ff-in-f88.google.com
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),66.249.67.236,crawl-66-249-67-236.googlebot.com

結論

ってことで2週間たっても音沙汰ないあたり、
一度PCサイトと認識されたドメインはモバイルサイトとして
認識されるのにすごい時間がかかるってことですかね。

つかまだ認識すらされてないので、
どのくらいで認識されるのかもおいおい検証ってとこですね。

MySQL server has gone awayで吹いた

Jakk — Tue, 27 May 2008 10:31:56 +0000

出社してサイトチェックしようとしたら繋がらない。

ちょうどタイミングよくメールでＤＢのパス（同じサーバの別ＤＢ）
を変更したとか言うアナウンスがきたので
それ関係するのかなと調査開始。

原因がまずわからん

パスはどうも大丈夫なよう（当たり前だけど）

で　繋がらないのはなぜか。。ＤＮＳ？
いやでもＤＢ接続しないただのテキストファイルとか開けるし。。
と　30分くらいうだうだ悩みつつＦ５押しまくってたら
突然繋がった。

が。。

真っ白。

管理画面にアクセスしてみると
「MySQL server has gone away」
の文字が。

どっかいったってどういうことだｗｗｗｗｗｗｗｗｗ

DBを直すか。。

とりあえずgoogle先生に聞こうってことで
聞いてみると　どうやらDBがぶっ壊れてるかアクセス過多か
クエリーがでかすぎだと出るらしい。

・アクセス過多はない（ローンチして1週間くらいのサイトだし）
・クエリーも最適化はある程度してある（と信じたい）
・まさかぶっ壊れた？？

ってことで直でDBにつないで SELECTしてみる。
⇒普通にOK

CHECK TABLE ぽぃ。
⇒「Table is already up to date」しかでない。
#「Table is Table is marked as crashed」って出れば話ははやかったのに。
#SELECTもUPDATEもできるのに Table is marked as crashed なんてでないか。。

だがサイトにアクセスしてみるとやっぱDbに繋がらない。

ええいめんどくせー　ってことで repair table 発動。

。
。
。

直った。

結局

「Table is marked as crashed」
以外でもぶっ壊れてるってことがあるんですね。

Wordpressをバージョンアップしてみた

Jakk — Fri, 23 May 2008 09:04:44 +0000

Me だったのでいい加減と思って最新版2.5にアップしました。

アップといってもDB構成からなにから全部違ったので
全部消して再インストール。。

まあおかげで、2002年から使ってたDBに
イオナズンならぬ drop database かますことができて <-人生初
ちょっとすっきり。

はまったのは　カテゴリーとタグのところ。

何気なくエントリーのインポートしてたら、
「カテゴリーからタグへの変換」

とか書いてあるから、お　これはいいね。
ってことでポチしたら。。

カテゴリーが表示されなくなりました orc
削除というよりは厳密には　カテゴリーのカラムがタグ　に全部書き換わって
（なぜか2こづつでてきてましたが。）いるようなので。

なおせるには直せるがめんどくせーー

とりあえず　SQLでちまちま直しました

ついでにタグも作ってみたけど

１から記事に割り振るのがめんどくさくてやめやめ。

とりあえず管理画面はかなりよくて

特にウィジェットがはんぱなく使いやすいです。

アップデートしてよかった～