Neo Inspiration

リファラでさっくり簡単かなーって思ったけどそうでもなかった・・

Googleだと

検索結果URL: http://www.google.co.jp/search?hl=ja&rlz=***&q=***&btnG=***&lr=

PPCリンクをクリック

PPCのURL先: http://www.google.co.jp/aclk?sa=l&ai=***
そのときの
　リファラ: http://www.google.co.jp/search?hl=ja&rlz=***&q=***&btnG=***&lr=
　ステータスコード: HTTP/1.x 302 Found
　転送先: http://www.googleadservices.com/pagead/aclk?sa=***

転送されてきたURL:http://www.googleadservices.com/pagead/aclk?sa=L&ai=***
そのときの
　リファラ: http://www.google.co.jp/search?hl=ja&rlz=***&q=***&btnG=***&lr=
　ステータスコード: HTTP/1.x 302 Found
　転送先: http://PPCの対象URL

さらに転送されてきて:http://PPCの対象URL
そのときの
　リファラ: http://www.google.co.jp/search?hl=ja&rlz=***&q=***&btnG=***&lr=

Yahooだと

検索結果URL: http://search.yahoo.co.jp/search?p=***&search.x=1&fr=top_ga1&tid=top_ga1&ei=UTF-8

PPCリンクをクリック
↓

PPCのURL先: http://wrs.search.yahoo.co.jp/S=***/K=***/v=2/SID=w/TID=***/D=E/OV=0/S***
そのときの
　リファラ: http://search.yahoo.co.jp/search?p=***&search.x=1&fr=top_ga1&tid=top_ga1&ei=UTF-8
　ステータスコード:HTTP/1.x 302 Found
　転送先: http://rc20.overture.com/d/sr/?xargs=***

転送されてきたURL:http://rc20.overture.com/d/sr/?xargs=***
そのときの
　リファラ: http://search.yahoo.co.jp/search?p=***&search.x=1&fr=top_ga1&tid=top_ga1&ei=UTF-8
　ステータスコード: HTTP/1.x 302 Found
　転送先: http://PPCの対象URL

さらに転送されてきて:http://PPCの対象URL
そのときの
　リファラ: http://search.yahoo.co.jp/search?p=***&search.x=1&fr=top_ga1&tid=top_ga1&ei=UTF-8

見ればわかるように 302で飛ばしながらくるので、
リファラは常に検索結果ページのURL
つまり、リファラだけみてもPPCからきたのか、SEOなのかわからないという。
まあPPCでも検索ワードが拾えるわけだけど。

で結局送られくるデータだけだと
どうしようもないので、ひと手間かけて、実現しました。

やり方としては Webmater Tool系 ＋ PPCの機能 ＋ PHP　ってかんじ。

近いうちにツールでも公開しますかね。

こちらとかのエントリーを見て思ったことをつらつら
コメントに書こうとして長すぎてエントリーに。。

http://www.algoritmi.jp/seo/20081204010749.html
http://www.suzukikenichi.com/blog/googl-must-have-more-than-one-partitions/

（先にいってくと、私はGoogleもYahooも2つのインデックスは使っていないと思ってる人です）
とりあえずインデックスってどんなものなのか
イメージできていないとおもうので、
ここらへんを参考にしてみてください。
http://ja.wikipedia.org/wiki/%E8%BB%A2%E7%BD%AE%E3%82%A4%E3%83%B3%E3%83%87%E3%83%83%E3%82%AF%E3%82%B9
（転置インデックスの説明@wikipedia）

まあこんなかんじで
サイトがインデックスされると
ほんとに索引に近いものができるわけです。
（実際には転置インデックスはつかってないとおもいますが
　イメージとして）

クロール > インデックス

ここで簡単にクロールから検索結果までのフローを書くと

○クローラー
1:クロールする
2:クロールしたものがキャッシュするに値するかを判定
　⇒キャッシュしない場合終了

○インデクサー
1:キャッシュされたリストを順にみていってインデックスに値するかを判定
　⇒インデックスしない場合終了
2:サイトを分析
3:（検索エンジンが独自に考えた理論で）インデックス
4:ついたインデックスに対してさらに独自の操作をしてポイントさらに操作
（ドメインエイジとかスパムみたいな文書解析とは別のレイヤーの作業）
5:検索結果を出すためのインデックス完成

このできたリストから検索結果を出すわけです

Yとかはこのインデクサーの作業が追いついていなくて、
定期的に　更新しました！　といって全サイトのインデックス作業をやるわけです。
（Yahooの場合このインデクサーの作業4だけはこまめにやってる感じ）
が Googleはたぶん余裕で追いついているので、
随時やってるわけです。　だから随時変動。

—-

というのを踏まえて

・補足結果っていうのはたぶん　インデクサーの作業の4でしてる作業の一つの集合
・Matt Cuttさんの言及 -> 4の作業をしない状態で5にいってしまった
・ヨーヨー現象 -> インデクサーの処理が早くなっただけじゃないのかな？
・ghost data-set -> こんなのあったらあのスピードで検索結果は出せないと思う。。
・site:とか -> Googleのインデックスは他のサイトからの影響を強く受けるわけだから
　　　　　　　 被リンク元のページにインデクサーが走った時、被リンク先のページの
　　　　　　　 評価が変わるのは自然だと思う。

というお話でした。
長ひ。。

結論

hyperestraierを使ってみよう（ぇ

ちょっと思うところがあって作ってみました。

ずいぶん前につくった Keyword Suggest Tool があったので、
それに Plus とかつけて公開しました。

http://refeed.in/keywords/

どこまで動いてくれるかはわからないけど、
とりあえず、近しいデータが出せるはずです。

色々とデータは工夫して近しい数値にしてるんですが、
このくらいの精度以上になったら、現物データとってくるしかないですねｗ

まあそれは　それこそGとYがマネタイズできちゃう部分なので
無料じゃ１００％のものは無理でしょうｗ