Ngramを利用したページ類似度チェッカー＋Ngram計算のphpクラス
月曜日, 4 月 21st, 2008
Ngramを利用したページ類似度チェッカー＋Ngram計算のphpクラス
Ngram
まあ何がやりたかったって
スパムチェック的な類似度チェッカーです。
こんなかんじ。
類似度チェッカー
全く違うURLだと5~10%くらいになって
ちょっと関係がある（リンク紹介してたり）すると20%くらいかな
同じブログの違う記事とかだと40%くらいになって
60%超えたらかなり似てるページってかんじのラインです。
例えば wikiの アイスランドのページとアイルランドのページとかでやると
重複度77%とかになります。
Googleは言語にとらわれない解析方法を使っているとのことなので、
高確率で、どっかにNgramは使ってると思うので、
デュプリケイトコンテンツとかの参考に使えるかなーと。
一応ソース公開
たいしたものじゃないんですが、たいしたものじゃないだけに
ソースくらい出しとけというお話です。
アルゴリズム的には単純に
・URLからタグを引っぺがす
・出てきたテキストのNgram(3)を抽出
・2個URLの共通項を出す（php の array_instersect 使っただけ）
・（共通項の数 / Ngram(3)の個数） ％
まあなんか array_intersect とarray_diff がま逆の動きをしないので
あやしいんですが。。
ソースを追うのもめんどいので後で検証。
使い方
Newして（引数でNgram2,3とかコントロール）
RunメソッドにURL突っ込むだけです。
こんなかんじです。
（以下見やすくする為にインデントを全角スペースに変換してあります。）
$Ngram = new CreateNgram();
if($Ngram->run(”http://neoinspire.net/archives/92″,”http://neoinspire.net/archives/90″)){
print($Ngram->result);
echo”<pre>”;
print_r($Ngram->mainNgram);
print_r($Ngram->checkNgram);
echo”</pre>”;
}else{
echo “対象のURLを解析できませんでした。”;
}
以下ソースです。コピペしてUTF8で保存してください。
<?php
/*
*2つのURLのNgramを比較して類似度を出すクラス
*引数を一つで出した場合単純に対象URLのNgramを抽出する
*/
Class CreateNgram{var $mainNgram; //第一引数URLのNgram
var $checkNgram; //第二引数URLのNgramvar $ngram; //Ngramをいくつでやるか
var $result; //類似度function CreateNgram($ngram=3){
$this->ngram = $ngram;
}function run($mainUrl=null,$checkUrl=null){
if(!empty($mainUrl) && !empty($checkUrl)){
if($mainHtml = mb_convert_encoding(@file_get_contents($mainUrl), ‘UTF-8′, ‘auto’))
$this->mainNgram = $this->_ngram($this->_solid($mainHtml));if($checkHtml = mb_convert_encoding(@file_get_contents($checkUrl), ‘UTF-8′, ‘auto’))
$this->checkNgram = $this->_ngram($this->_solid($checkHtml));if(!empty($this->mainNgram) && !empty($this->checkNgram)){
$mainResult = @array_intersect($this->mainNgram,$this->checkNgram);
$checkResult = @array_intersect($this->checkNgram,$this->mainNgram);
$result1 = count($mainResult);
$result2 = count($checkResult);
$cnt1 = count($this->mainNgram);
$cnt2 = count($this->checkNgram);
$this->result = @round((($result1 + $result2) / ($cnt1 + $cnt2)),3);
return true;
}else{
return false;
}
}else{
return false;
}
}function _ngram($query=null){
$query = trim($query);
if(!empty($query)){
$len = mb_strlen($query,’UTF-8′);
for($i=0; $i< $len; $i++){
$buf = trim(mb_substr($query, $i, $this->ngram,’UTF-8′));
if(isset($buf))$ngrams[] = $buf;
}
}else{
$ngrams = “”;
}
return $ngrams;
}function _solid($html=null){
if($html){
$pat[]=”/<script.+?\/script>/is”;
$pat[]=”/<style.+?\/style>/is”;
$pat[]=”/<\!\-\-.+?\-\->/is”;
$pat[]=”/<.*?>/is”;
$pat[]=”/\r|\n|\s/is”;
$rep=”";
return preg_replace($pat,$rep,$html);
}else{
return “”;
}
}
}
?>