クローラとインデックスの制御について詳しい資料を code.google.com で公開しました！ | Google ウェブマスター向け公式ブログ

今回は英語の資料となりますが、非常に有益なものですのでご紹介させていただきます。

Google のクローラ（Googlebot）と インデックス登録の制御に関する詳細な情報が code.google.com でご覧いただけるようになりました。

例えば

• robots.txt ファイル内に矛盾した記述がある場合に、Googlebot はどのように処理するのでしょうか？
• PDF ファイルがインデックスに登録されるのを防ぐ方法はどうすればいいのでしょうか？

その疑問の答えは、こちらからご覧ください。
Controlling crawling and indexing （英語）


このサイトでは、robots.txt ファイル、robots メタ タグ、HTTP ヘッダーの X-Robots-Tag ディレクティブ について、サイト所有者の皆さまに役立つ情報がまとめられています。ぜひ、ご活用いただければと思います。また、クローラの働きやインデックスの作成など Google がどのように検索結果を生成しているかについての基礎的な情報は、ヘルプ記事「Google の基本」をご覧ください。

ご不明な点がありましたら、お気軽に ウェブマスター ヘルプ フォーラム までご投稿ください。

Posted by Jonathan Simon, Webmaster Trends Analyst
Original version: Controlling crawling and indexing now documented on code.google.com