クローラをブロック“しない”時のrobots.txtの設定 | 海外SEO情報ブログ

海外SEO情報ブログ - 2011年9月1日(木) 06:00
このページは、外部サイト 海外SEO情報ブログ の情報をRSSフィード経由で取得して表示しているため、記事の一部分しか表示されていなかったり、画像などが正しく表示されなかったり、オリジナル記事が意図したデザインと異なっていたりする場合があります。
完全な状態のオリジナル記事は 「クローラをブロック“しない”時のrobots.txtの設定」 からご覧ください。
クローラのアクセスを何も拒否しないのでrobots.txtが必要ないサイトではrobots.txtをどうするといいのだろうか?1.何も記述しないrobots.txtを設置する、2.「User-Agent: *, Disallow:」を記述する、3.robots.txtを置かない。どれが適切か?

- クローラをブロック“しない”時のrobots.txtの設定 -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM

メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

CMS
Web コンテンツの構成要素とサイト上での表示を一元的に管理するためのソフトウエ ...→用語集へ

連載/特集コーナーから探す

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]