FTPサイトでも、Googlebotのクロールをrobots.txtでブロックできる | 海外SEO情報ブログ

海外SEO情報ブログ - 2012年12月27日(木) 06:00

このページは、外部サイト海外SEO情報ブログの情報をRSSフィード経由で取得して表示しているため、記事の一部分しか表示されていなかったり、画像などが正しく表示されなかったり、オリジナル記事が意図したデザインと異なっていたりする場合があります。
完全な状態のオリジナル記事は「FTPサイトでも、Googlebotのクロールをrobots.txtでブロックできる」からご覧ください。

ファイル転送に使用するFTPプロトコルのサイトもGooglebotの場合はrobots.txtでクロールをブロック可能。利用方法はHTTPによる通常のウェブサイトと何も変わらない。対象となるFTPサイトのルートディレクトリにrobots.txtをアップし、クロールを拒否/許可するディレクトリやファイルを disallow/allow で指定する。

- FTPサイトでも、Googlebotのクロールをrobots.txtでブロックできる -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM