人間誰でもそうだけど、いいものも悪いものも含めて、僕にはいろんな癖がある。この間、あるクライアントのWebサイトに取り組んでいるとき、いつものようにXMLサイトマップを作って検索エンジンに送信したんだけど、そのときに考え始めたんだ。XMLサイトマップって本当にサイトの役に立っているんだろうかってね。XMLサイトマップを検索エンジンに登録すると、どんな効果があるんだろうか。
そこで、そこそこ人気のあるブログを運営していて、WordPressとGoogle XML Sitemaps Generator for WordPressというプラグインを使っているクライアントに頼んでみたんだ。僕が作ったトラッキング用のスクリプトをサイトにインストールして、検索ロボットの動きを追跡させてくれないかってね。Google XML Sitemaps Generatorがどんなものか知らない人のために説明すると、WordPressで投稿を編集したり作成したりするたびに、新しくXMLサイトマップを作って主要な検索エンジンに送信してくれるものだ。
そのクライアントは、ブログに新しいコンテンツをだいたい週に2～3本は投稿している。僕がそのサイトにインストールしたスクリプトはPHPで記述したもので、ロボットがサイトマップにアクセスしたとき、サイトマップが送信されたとき、ロボットがWebサイトのページをクロールしたとき、逐一その動きを追跡する。そして集めた情報を、タイムスタンプ、IPアドレス、ユーザーエージェント名と一緒にMySQLデータベースに保存した。さらに僕はGoogle XML Sitemaps Generatorにも手を加えて、サイトマップを検索エンジンに送信するたびにタイムスタンプを挿入できるようにした。
結果はいかに！
この実験の目的は、グーグルやヤフーにXMLサイトマップを登録すると、グーグルがクロールして、そのページのインデックス化するのにかかる時間が短縮されるかどうかを見ることだった。で、このブログを使った実験結果には驚いた！ ボットが新しいブログ投稿を訪問するのにかかった平均時間は、次のとおりだった。
- サイトマップを送信した場合
- グーグル：14分
- ヤフー：245分
- サイトマップを送信しなかった場合
- グーグル：1375分
- ヤフー：1773分
この時間は12本の異なる投稿の平均だ。うち6本ではサイトマップを送信し、6本ではサイトマップを送信しなかった。
データを集計してみて、何かの間違いがあったに違いないと思った。僕は、自分のサイト（GR Web Designs：宣伝になってしまって申し訳ない）ですぐに新しい投稿を作成し、グーグルとヤフーにサイトマップを送信してみた。30分後、トラッキング用スクリプトをチェックしてみると、グーグルはすでにクロールし終えて新しい投稿をインデックス化しており、ヤフーもすぐ後に続いた。
サイトマップがない場合にロボットがクロールに要する時間も計ったけど、サイトの構造に問題があって、ロボットが新しいページをクロールできないことがわかった。自分でサイトをチェックして、ほかの人にもクロール可能かどうか見てもらったけど、何も問題は見つからなかった。さらに調べてみた結果、ロボットは新しく投稿した記事に対するリンクを追加したページを調査したものの、その場ですぐにはリンク先のページをクロールしなかったこともわかった。
この記事を書くために調査していて、SEOmozの「グーグルのサイトマップに関するアドバイス——サイトの確認は行ってもサイトマップは送信するな」というランドの記事を見つけ、僕は混乱してしまった※。サイトマップを登録するとこんなすごい結果が得られるのに、どうしてランドはXMLサイトマップを送信しないように言うんだろうってね。だけど、記事をもう一度読み返したら、ランドが関心を持っていたのは貴重な通常のクロールデータを入手することがわかった。WordPressを使っていて、すべてのページがクロール可能だとわかっているんだったら、XMLサイトマップを送信しない理由はない。とりわけ、上のようなすばらしい結果が得られるのならね。
今回の実験で使ったような、通常のクロールに何の問題もないことがわかっているサイトに関しては、XMLサイトマップを送信することをお勧めする。クロールとインデックス化にかかる時間が短縮できるからだ。リンク構造が適切かどうかはっきりしないサイトの場合には、サイトマップを登録しないほうがいいだろう。これはサイトに問題があるかどうかを判断する材料にもなる。すばらしいリンク構造のサイトを持つみなさんには、時間短縮のために今すぐグーグルとヤフーにXMLサイトマップを送信することをお勧めする。
サイトマップの利用について、SEOmoz読者の意見をぜひとも聞きたい。ただ、今回の実験は1つのサイトだけで行ったもので、みなさんからの反応がよければ、サイトマップの利用についてさらに研究を進めるかもしれない。
この記事は、Daily SEOmoz Blog に掲載された以下の記事を日本語訳したものです。
原文：「Do Sitemaps Affect Crawlers?」 by chenry （2009/01/06 12:50 PST）
必見！ Facebookいいね! 人気記事
最近（過去90日間）の記事で、Facebookの「いいね！」が多かった記事をお見逃し無く。
Facebookいいね!の多い記事
Twitterで言及の多い記事
はてなブックマーク人気記事
コメント
本当に効果があるのですね。
私も常々XMLサイトマップの有効性というモノに疑問を抱いていたのですが、ページ解説からクロールまでの時間短縮という意味では本当に役に立つのですね。
参考になりました。
Re: 本当に効果があるのですね。
編集部の安田です。
XMLサイトマップの送信が具体的にどういう影響があるかをデータで示したのは今までなかったですから、私もこの記事は非常に有益だと思います。良記事認定ですね！
これは有益ですね。
SEOMOZが前言撤回したのにもびっくりですが・・・
結局mozでは実証はしていなかったということですかね。。。
Re: これは有益ですね。
編集部の安田です。コメントありがとうございます。
> SEOMOZが前言撤回したのにもびっくりですが・・・
いや、当初の意図は、「XMLサイトマップを送信しちゃうと、クロールに問題があってもそれがわからないから良くない」というものですから、前言撤回というよりは、フォーカスを変えたというところだと認識しています。
当時はまだCMSなどでもXMLサイトマップ作成に対応しているものも少なく、手動でXMLサイトマップを作るようなことも行われていたので、サイトのクローラビリティに問題を残したままXMLサイトマップに頼ってしまうと、万が一XMLサイトマップの更新がされなくなったときに問題が生じるということですね。
ですから、基本的なクローラビリティは確保しておいたうえで、XMLサイトマップを使うのが良いのではないかと。XMLサイトマップを送信しても送信したページへのクロールが保証されているわけではないですから（基本的に大丈夫という前提で問題ないと思いますが）。