【悲劇】グーグルの検索インデックスからサイトをうっかり削除してしまうとどうなるのか【実録】

タイトルを見て、その恐ろしさにちょっとしたパニックになった人がいるかもしれない。

まさにタイトルにあるとおりのことを経験したので、その不安がもっともなものだということは保証できる。

僕の悪夢を一緒に追体験したい人のために、そのときのことを時系列に沿って説明しよう。不安の発散と同時にSEOの研究にもなるだろう。

用意はいいだろうか。

悲劇の幕開け（2019年8月4日）

日曜の朝だった。僕はコーヒーを飲みながらSEOツールをいじっていた。いつものことで、とんでもないことが起きるなんて思ってもいなかった。

そこに飛び込んできたのがこれだ。

いったい何が起こったって言うんだ？。

SEOの人間なので検索順位の自然変動は見慣れている。変動には慣れているが、消滅は話が違う。

ステップ1：否定

まず頭に浮かんだのは、これは間違いだということ。ツールの「Ahrefs」がおかしくなったのかを確かめるため、他のツールに切り替えた。

Googleアナリティクスで確認しても、これに対応したトラフィックの落ち込みがあり、「何かが起きていること」が確実になった。SEOの人間として、当然、最悪の事態を想定した。

ステップ2：パニック「アルゴリズムのアップデートか？」

アルゴリズムのアップデート。お願いだからそれは勘弁してほしい。

同じ時期にアップデートが確認されていないか、BarracudaのPanguin Toolで調べた。

アップデートはなかった。やれやれ。

ステップ3：診断

脳のなかで原始的な部分である「爬虫類脳」が関わってくると、考えがすっきりまとまらなくなる。パニックを起こし、考え方が不合理になり、判断が鈍る。心が安まらない。

ぼくは少しの時間を経てようやく平常心をいくらか取り戻して、何が起きたのかをしっかり考えた。キーワードランキングが完全に消えてしまうなんてまずないことだ。きっと技術的な問題だ。

インデックスに違いない。

キーワードランキングが消えたページをグーグルでざっと検索したところ、確かに実際にページがなくなっていた。Search Consoleのレポートも同様だった。

下の方の警告に注目してほしい。

Indexing Allowed? No: 'noindex' detected in 'robots' meta tag

インデックス登録を許可？ いいえ、'robots' メタタグで 'noindex' が検出されました

だんだんわかってきた。続いてページのHTMLソースコードで確認した。

インデックスから外すようにページがマークアップされていた。しかし、実際に外されたページはどれくらいあるのだろう？

ステップ4：被害の調査

すべてのページがnoindexになっていた。緊急のメモを数件、開発担当者に送ったところ、約3日前の木曜（2019年8月1日）の夜に本番環境に反映した修正によってすべてのページでnoindexが誤って有効化されたことを担当者が確認した。

しかし、サイト全体がインデックスから外されたのだろうか？

その可能性はとても低い。というのも、そのためにはグーグルが3日以内にサイトのすべてのページをクロールして、「noindex」というマークアップを見つけなければならない。

この点に関しては、Search Consoleは参考にならないだろう。Search Consoleはデータの反映が常に遅いので、修正するまでの間に変化がまったく拾われない場合がある。

いま振り返っても、Search Consoleへのデータ反映は遅かった。

というのも、インデックスに登録されていた8000を超えるページのうち、Search Consoleは影響を受けたページを最大でも249しか捕捉していなかったのだ。

そんなはずはない。問題を見つけて修正してから丸1週間たっても検索プレゼンスは3分の1も減少していたのだから。

具体的に何ページがグーグルのインデックスから外されてしまったのかは調べられなかったが、すべてのページが「noindex」とマークアップされたことはわかっている。

ちなみに、「site:brafton.com」という検索オプションを使ってグーグルで検索すると、インデックスに登録されていたページのおよそ8分の1が表示されたことは覚えている（スクリーンショットを取っておけばよかった、申し訳ない）。

まずは問題を解消

インデックスから消えてしまったページを改めてインデックスさせなければいけない。次のようにした。

ステップ1：問題の修正

問題が特定されると、開発担当者が更新を巻き戻し、サイトを「noindex」とマークアップされる以前の状態にした。

次の問題はコンテンツのインデックスへの再登録だった。

その2：サイトのすみやかな再クロールを求める

僕は古いサイトマップを削除し、新しいものを作ってSearch Consoleにアップロードしなおした。

また、主力製品のランディングページをかき集めて、インデックスへの再登録を手作業でリクエストした（もっとも、Search Consoleは最近のアップデート以降、リクエストしても何かしてくれるとは信じきれなくなっている）。

その3：待つ

ここまでくると待つ以外にできることはなかった。疑問はいくつもあった。

• ページは以前と同じキーワードで掲載されるのだろうか？
• 同じ順位で掲載されるのだろうか？
• しばらく消えていたことによるなんらかの「ペナルティ」がグーグルからあるのだろうか？

答えを出してくれるのは時間だけだ。

回復への道

悲劇から1週間（2019年8月8日）――検索プレゼンスは33％低下

間違ったコードがすべての有効なページに行き渡った日（8月2日）を出発点として被害を評価することにする。最初の測定は、8月2日から8月8日までの丸7日間だ。

検索プレゼンスへの影響についていちばんいい指標が得られるのはSearch Consoleだろう。

検索トラフィックがおよそ33.2％失われていた。これは痛い。

幸いなことに、これが今回の試練を通じてもたらされた損害のピークだった。

悲劇から2週間（2019年8月15日） - トラフィックはマイナス23％

この間、僕は、次の2点に目を光らせていた。

• 検索トラフィック
• ページのインデックス登録

サイトマップを提出しなおし、Search Consoleから手作業でページを読み込んだにもかかわらず、インデックスに登録されないページがまだたくさんあった。その中には重要なランディングページも含まれていた。このことは今回、最後まで課題となる。

インデックスに登録されないページが残ったので、トラフィックへの影響は続いていた。

問題の発生から2週間が経っても、まだ検索トラフィックは減ったままだった。トラフィックの減少に伴って、（コンバージョン率は上がっていたものの）売り上げにつながるコンバージョンも減少した。

悲劇から3週間（2019年8月22日）――トラフィックはマイナス13％

ページのインデックス登録は相変わらずのスローペースだった。うんざりするほど遅い。僕にできるのは、営業目標が確実に達成できなくなっていくのを見守ることだけだった。

とはいえ、少なくとも検索プレゼンスが回復してきていることは明らかだった。そこで、その回復がどう進んでいるのかに僕は関心をもった。

• すべてのページがインデックスに再登録されたが、各ページの検索プレゼンスが落ちているのだろうか。

• 各ページの検索プレゼンスは完全に回復しているが、インデックスへの再登録がまだ完全ではないだろうか。

この問いに答えを出すため、インデックスから外されてから再度インデックスに入った個々のページを見ていった。一例を挙げる。

次は、インデックスを外れていた期間がもっと短いページの例だ。

いずれのケースでも、個々のページの検索プレゼンスは完全に回復していることを確認できた。問題はプレゼンスの回復ではなく、インデックスへの再登録がいつかということのようだ。

そういえば、Search Consoleにはエラーになっているページを「検証」する新機能がある。僕は8月26日にこのプロセスを開始した。以降、Search Consoleはゆっくりとページを再クロールしていった（のだろう）。週に約10ページのペースだった。これは通常スケジュールのクロールよりも速いのだろうか。Search Consoleのツールが何かしてくれているのだろうか。

はっきりわかっているのは、3週間経ってもインデックスから外れたままのページが数多くあることだった。トラフィック獲得で頼りにしている営業用のランディングページも含まれていた（この件の詳細は後ほど）。

悲劇から4週間（2019年8月29日）――トラフィックはマイナス9％

この時点でかなりフラストレーションがたまってきていた。150ページほどが未だインデックスに再登録されておらず、Search Consoleで検証と新たなインデックス登録のリクエストを何度も繰り返してもうまくいかなかったからだ。

Search ConsoleのURL検査のレポートによると、残りのページは完全にインデックス登録できる状態だったのに、クロールしてもらえなかった。

結果、1カ月近くたっても検索トラフィックは元の水準を9％下回っていた。

どうしてもインデックスに再登録されないページがあった。コンバージョンで頼りにしていた商業価値の高い製品ページだった。

インデックスへの再登録を促すために次のようなことを試した。

• URL検証とインデックス登録のリクエスト（1カ月で15回）
• 公開日付の更新とインデックス登録のリクエスト
• コンテンツと公開日付の更新とインデックス登録のリクエスト
• サイトマップをSearch Consoleに再送信

どれもうまくいかなかった。このページはどうしても再登録してもらえなかった。同様のページが、営業への影響はそこまでではないものの、ほかに100以上あった。

このページはなんと、インデックスから外れてから丸2カ月間（10月1日まで）、どうしても再登録してもらえなかった。

ちなみに、4週間後の全体の回復状況はこんな感じだった。

悲劇から5週間（2019年9月5日）――トラフィックはマイナス10.4％

大きな停滞期。この時点で、「検証中」だと思われる約150ページを除きすべてがインデックスに再登録されていた。

これらのページは検証されなかった。そして、再クロールもされなかった。

時間が経てばおそらく完全に回復するだろうことはイメージできていた。しかし、それがいつになるのかは、グーグルにゆだねられていた。僕が何かしてどうなるものでもなかった。

悲劇から6週間（2019年9月12日）――トラフィックはプラス5.3％

トラフィックが完全に回復するのに約6週間かかった。

しかし実のところ、まだ完全に復活したわけではなかった。インデックスに登録されていないページはまだいくつもあったが、それを補って余りあるほど一部のコンテンツが大幅にプラスになっていたのだ。

全体的な検索プレゼンスは6週間で回復した。

しかし、問題となっていた製品ページはさらに2週間半、インデックスに登録されなかった。コンテンツがインデックスにすべて再登録されたのは、問題の修正から8週間以上たってからだった。

結論

まずなにより、過失であろうが実験でろうが、サイトは絶対にインデックスから削除してはならない。とてもこたえる。僕の見積もりでは、オーガニックなトラフィックが約12％減少し、売り上げにつながるコンバージョンも同じくらい減ることになった。

学んだこと

ページがインデックスに再登録されると、検索ビジビリティは完全に回復した。

最大の問題はインデックスへの再登録だった。

偶然が引き起こした今回の実験について、多く寄せられた質問とその回答を紹介しておこう。

回復したのか？

完全に回復した。すべてのURLが以前と同じ検索ビジビリティを取り戻したようだ。

回復にかかった期間は？

検索ビジビリティは6週間で元の水準まで戻った。ページがすべてインデックスに再登録されるのには8～9週間かかった。