404ページが増えたらrobots.txtでブロックするというのはどうだろう？

海外のSEO/SEM情報を日本語でピックアップ

404ページが増えたらrobots.txtでブロックするというのはどうだろう？
まったく必要なし （John Mueller on Twitter）

404エラーがレポートされているページをrobots.txtでブロックするのは、良い方法ですか？

こんな質問をツイッターのフォロワーに尋ねられたグーグルのジョン・ミューラー氏が、次のように返信した。

404が出ていても問題ない。ウェブというのは、そういうものだ。隠す必要はない。

そのURLが存在しないこと（正確には、見つからないこと）を検索エンジンに伝えるためにも、404のHTTPステータスコードを返すことは重要だ。

そして、ウェブのコンテンツがどんどん変わっていくものだし、さまざまな人やプログラムがさまざまな形でウェブを使う。となると、404を返すURLもおのずと増えていくものだ。

つまり404を返すことが重要であるとともに、404を返すURLというものは、存在していて当然なのだ。悪いことでは全然ない。

ウェブ担当者として、次の2点をきちんと認識しておこう。

• 存在ないページが404を返すのは当然のこと
• 404は（数が多くても）、検索エンジンのクロールやインデックス、ランキングに悪影響を与えない

サーチコンソールでレポートされるからといって、無理に隠す必要はないし、そうした工数をかけるだけ時間の無駄だ。

JSON-LDの構造化データはどこに設置すべきか？
なるべく下のほうがオススメ （John Mueller on Twitter）

JSON-LDでマークアップしている構造化データを、ページの上部から下部に移動しても問題ないでしょうか？

グーグルのジョン・ミューラー氏は、こうした質問に、次のように答えている。

テストツールで検証してみるといい。

基本的に、JSON-LDで構成した構造化データはHTMLのどこに配置してもかまわない。ブラウザのコンテンツ表示にはまったく影響しない。技術的に正しいかどうかだけが問われる。極端な例を言えば、記事の途中に置いてもグーグルには正しく認識する。

技術的に正しく構成されているかどうかは、ミューラー氏がコメントしたように構造化データテストツールを使う。

筆者の個人的な意見としては、JSON-LDの構造化データは、可能な限りHTMLドキュメントの下部に配置することを推奨する。JSON-LDのコードはページに表示されることはないので、見える要素の表示を妨げないようにしたいからだ。JSON-LDの読み込みがページ処理の最後になっても、何も問題ない。

AMPエラーがあるスタンドアロン型AMPページは検索結果に表示されるのか？
HTMLが正しくないページと同じ扱い （John Mueller on Twitter）

AMP対応しているサイトでは、モバイル向けページとAMPページを別々に配信している構成が大半だ。この構成では、サイトのCMSはモバイルページとAMPページの2つをそれぞれ生成して管理するものだ。

だが、サイトを完全にAMP HTMLだけにして、AMPページがモバイル向けページも兼ねる構成にしても問題ない。この構成はスタンドアロン型のAMPサイトと呼ばれる。AMPの公式サイトはこの作りになっている（レスポンシブ ウェブ デザインなので、PC向けページも兼ねている）。

では、スタンドアロン型のAMPページで、AMP HTMLが文法的に間違っておりエラーが発生していたらどうなるのだろうか？

ジョン・ミューラー氏によれば、AMPページとしては認識されないが、通常のWebページとしてインデックスされるとのことだ。

ウェブには、文法的に間違っているHTMLページがごまんとある。しかし、そうしたページでも検索結果にはちゃんと出てくる。

それと同じで、AMPとしては正しくなくても検索結果にはきちんと出てくるのだ（もちろん、HTMLが文法的に完全に破綻していれば出てこないだろうが）。

ただし正当なAMPではないので、モバイル検索でもAMPマークが付くことはなく、検索結果からAMPページ（AMPキャッシュ）をユーザーが閲覧することもない。インデックスされるとはいえ、AMPにした意味がないと言われれば、たしかにそのとおりだ。

ボットのアクセスを99.9%除外できるGA対応プラグイン
ウェブのトラフィックの40%は人間ではなくボット？ （MarTech Today）

アクセス解析には、人間のユーザーではなくコンピュータのプログラム、いわゆる「Bot（ボット）」のアクセスが記録されてしまうことがある。程度によっては、解析レポートを不正確なものにしてしまう。

米Distil Network（ディスティル・ネットワーク）社が、Googleアナリティクスでボットのアクセスを遮断するプラグインを公開した。「Distil Bot Discovery」（ディスティル ボット ディスカバリー）という名称だ。

製品の説明文には次のように書かれている。

ウェブの40%のトラフィックはBotによるもの。しかし、Googleアナリティクスが除外できているBotのアクセスは1%未満。

Distil Bot Discoveryはほぼ100%のBotのアクセスを除外できるそうだ。

無料で利用できるとのことなので、興味があればGoogleアナリティクスと連携させてみるといい。