ウェブマスター ツールのクロール エラーの機能が新しくなりました | Google ウェブマスター向け公式ブログ

クロール エラーは、ウェブマスター ツールで最も重要な機能の 1 つです。本日は、このクロール エラーが改善され、さらに便利になりましたので、お知らせします。

今回の改善により、数多くの新しいタイプのエラーを検出してレポートできるようになりました。それに伴い新しいエラーは、識別しやすいよう「サイト エラー」と「URL エラー」の 2 つに分けて表示しています。

サイト エラー
サイト エラーとは、特定の URL だけでなく、サイト全体に影響するエラーです。たとえば、DNS の解決エラー、ウェブ サーバーとの接続エラー、robots.txt ファイルの取得エラーなどです。これまではサイト エラーを URL 別にレポートしていましたが、URL 固有のエラーではないためあまり意味がありませんでした。実際これらのエラーでは、Googlebot が URL のリクエストをすることすらできません。そこでこれを変更し、サイト エラーはタイプ別にエラー発生率を記録することにしました。また、サイト エラーの頻度が上がり、注意を要するレベルに達した場合にはアラートを送信することも検討しています。


ほとんどのサイトは、これらのエラーが発生しないのが普通です。最近サイト エラーが発生していないのであれば、これらのセクションを逐一チェックする必要はありません。そこで、緑色のチェックマークを表示して、すべてが正常に稼動していることを一目で確認できるようにしました。


URL エラー
URL エラーは、特定のページにのみ関係するエラーです。つまり、Googlebot がその URL をクロールしようとして DNS を解決し、サーバーに接続し、robots.txt ファイルを取得して読み込んだ後に、この URL をリクエストしたら問題が発生した、というエラーです。ウェブマスター ツールでは、URL エラーをその原因に基づいていくつかのカテゴリに分類しています。サイトで Google ニュースやモバイルのデータ（CHTML/XHTML データ）を提供している場合、それらのエラーは別のカテゴリで表示されます。


少ない方が効果的
これまでのウェブマスター ツールでは、タイプごとに最大 10 万件のエラーを表示していました。これほどの量の情報をすべて消化しようとするのは、消防車のホースの水をすべて飲むのと同じくらい困難だったのではないでしょうか。どのエラーの重要性が高く（たとえばホームページがダウンしている）、どのエラーの重要性が低いか（たとえばある個人サイトからのリンクにタイプミスがある）を識別する方法も用意されていませんでした。10 万件のエラーを効率的に確認する手段、たとえば並べ替えや検索、「修正済み」のマークを付ける機能も用意されていませんでした。新バージョンのクロール エラー機能では、最も重要なエラーを強調することに重点を置きました。最も重要と思われるエラー、対処する必要のあるエラーが、カテゴリごとに 1,000 件ずつ表示されます。これら上位 1,000 件のエラーは並べ替えたり検索したりでき、修正済みのマークを付けたり、詳細を表示したりすることもできるようになっています。


サイトによっては、特定のタイプのエラーが 1,000 件を超えるかもしれません。その場合でも、そのタイプのエラーの総数を確認したり、過去 90 日間の履歴データをグラフで表示したりすることは可能です。1,000 件のエラーの詳細と累計エラー数だけでは不十分という場合に備え、API を使ってプログラム的にアクセスし、すべてのエラーをダウンロードできるようにすることも検討しています。

また、robots.txt によってブロックされたページのリストも削除しました。この情報が robots.txt ファイルによる問題を診断する際に役立つこともありますが、大抵の場合はサイト運営者が「意図的に」ブロックしたものです。[クロール エラー]は緊急性の高いエラーを重点的に確認するための項目に特化させるため、robots.txt でブロックされた URL の情報は近日中に [サイト設定] の [クローラのアクセス] に移設する予定です。

詳しい情報を手に入れる
エラー リストの個々の URL をクリックすると、詳しい情報が記載されたウィンドウが表示されます。このウィンドウでは、その URL を最後にクロールしようとした日時、最初に問題が通知された日時、そのエラーの簡単な説明などを確認できます。


このウィンドウでは、エラーの原因になった URL のリンクをクリックすることで、実際にアクセスするとどうなるかを試すことができます。他にも、エラーに「修正済み」のマークを付けたり（後ほど詳しく説明します）、エラー タイプのヘルプ コンテンツを見たり、その URL を含むサイトマップを生成したり、その URL にリンクしている他のページを確認したりできます。また、Googlebot に今すぐ URL を取得させて、詳しい情報を入手したり、正しく修正できているかどうかを確認したりすることもできます。


エラーに対処する
新バージョンのクロール エラー機能で最も注目してほしいのが、重要なエラーに重点を置いて先に修正できる点です。エラーをランク付けして、対処が可能なエラーほど優先順位リストの上位に表示されるようにしました。対処可能なエラーとは、たとえばサイト内のリンク切れの修正、サーバー ソフトウェアのバグの修正、リンク切れの URL を除去するサイトマップの更新、ユーザーを実在するページに移動させる 301 リダイレクトなどです。ランク付けは、その URL がサイトマップに含まれているか、その URL へのサイト内またはサイト外からのリンクがいくつあるか、その URL への検索トラフィックが最近発生したかなど、さまざまな要因に基づいて行われます。

エラーの修正が完了したら、Googlebot にその URL を取得させることで、正しく修正できているかどうかを確認できます。フル アクセス権のあるユーザーであれば、エラーに「修正済み」のマークを付けることもできます。マークを付けると、そのエラーがリストから削除されます。修正済みのマークを付けたエラーは、URL を再クロールして同じエラーが発生しない限り、再びエラー リストの上位に表示されることはありません。


新しいクロール エラー機能にはさまざまな工夫を凝らしてあります。皆様に「これは便利」と感じていただけることを願っております。この記事に関するコメントやご意見・ご感想は、ウェブマスター ヘルプフォーラム までお寄せください。

Written by Kurt Dresner, Webmaster Tools team
Original version: Crawl Errors: The Next Generation