SEO歴15年のプロが振り返る「検索の潮流」② スパム・検索品質・評判・モバイル、そしてAIの時代

この記事は、前後編の2回に分けてお届けしている。後編となる今回は、前編に続き、ウェブスパムが登場し始めた2000年代初頭以降の検索の歴史を振り返ってみよう。
→まず前編を読んでおく

SEOの歴史：重要な場面（続き）

ウェブスパム

インターネットで最初のスパムは、さまざまな形式のメッセージという形だったが、多くの人を襲ったのはメールスパムだった。

最終的に「ウェブスパム」と呼ばれることになる問題について、グーグルが口を開いたのは2000年代初頭だった。

「リンクスパム」についての言及を僕が初めて目にしたのは、2005年のアミット・シングハル氏によるプレゼンテーション「商用ウェブ検索エンジンを運用する際の課題」［PDF］（Challenges in Running a Commercial Web Search Engine）だ。

今日からSEOを始めるという人でも、（ウェブスパム対策の初代責任者を務めた）マット・カッツ氏の名前は聞いたことがあるのではないだろうか。同氏は、2014年以降グーグルの仕事から遠ざかっているにもかかわらず、今でも言及されることが多いからだ。グーグルでのキャリアについて話しているこの2015年のプレゼンテーションは、とても面白かった。

検索品質の時代

時の経過とともに、

• 利益を上げようとするウェブマスター
• できる限り最高の検索エンジンを開発しようとするグーグル（など）

のあいだで性質が相反することの結末として、純粋なウェブスパムはグーグルが直面する唯一の品質問題というわけではなくなった。不正な操作、たとえば

• オンページコンテンツ
• 外部リンク
• アンカーテキスト

などを見つけるいたちごっこは、今後の10年およびそれ以降の検索を決定付ける特徴となるだろう。

上述したシングハル氏のプレゼンテーションから時を置いて、（当時、グーグルのCEOを務めていた）シュミット氏はこう言った。

ブランドは解決策であって、問題ではない。（……中略……）ブランドは混沌を整理する手段だ。

最近この業界に入った人は、いくつかのグーグルアップデート（最近の「コアアップデート」など）を実際に体験しただろうし、むかし実施されたアップデートについてもいくつかは聞いたことがあるだろう。しかし、（グーグルが初めて大規模なアップデートとして認めた）「フロリダ」に続き、ブランドに関するシュミット氏のコメントのすぐ後に提供が開始された「ヴィンス」は、大手ブランドに有利となる特筆すべきアップデートだった。歴史全体を把握していない人は、ここでこれまでの主なアップデートを確認できる。

評判をめぐる真の脅威

AdSenseのセクションですでに触れたように、ウェブマスターには大量のコンテンツを作成しようという強い動機があった。そのため、成長しつつあった検索のロングテールに焦点を絞ったコンテンツを作る動きが盛んになってきた。

強力なドメイン名を持っているなら、グーグルは膨大な数のページをクロールしてインデックス化するだろうし、クエリが曖昧なら、一致するコンテンツはすべて検索結果の上位に表示される可能性がある。そのため、できる限りあらゆる場所のキーワードデータをマイニングして、キーワードに一致する低品質のコンテンツを生み出す、いわゆる「コンテンツファーム」が急成長した。

その一方、非常に内容の薄いページでもコンテンツの大規模なデータベースをインデックス化できるようにしたり、あるいは大量のページからなるユーザー生成コンテンツをインデックス化できるようにしたりすることで、ウェブサイトは成功していた。

これはグーグルにとって評判をめぐる真の脅威であり、検索やSEOのエコーチェンバー現象を打破するものだった。この問題は、Hacker NewsやStack Overflowなどのコミュニティにとってあまりに大きな悩みの種になったため、グーグルがある特定の症状（スクレイピングサイトがコピーした元のコンテンツより常に上位に表示されていた問題）を修正するためのアップデートをリリースした。その際にカッツ氏はアップデート情報についてHacker Newsコミュニティに個人的に投稿したほどだ。

それから間もなく、グーグルは当初「ファーマー・アップデート」と命名したアップデートをリリースした。リリース後に判明したことだが、このアップデートはパンダという名のエンジニア（ナヴニート・パンダ氏）が開発した画期的なテクノロジーによって可能になったために、グーグル社内では「ビッグパンダ」アップデートと呼ばれていたという。それ以来、SEOコミュニティではこれを主に「パンダ」アップデートと呼んでいる。

アップデート内部の仕組みは、グーグルにおけるオーガニック検索アルゴリズムの中核部分で初めて機械学習が本格的に利用された例の1つではないかと推測された。しかしモデル化されていた機能は、人間を主体とする品質要因としての方が理解しやすかったため、僕たちは人間による品質調査の結果に基づき、クライアントにSEOを対象とした変更を推奨するようになった。

すべてがモバイルファーストになる

僕は2014年に開催されたカンファレンスSearchLove Londonでプレゼンテーションし、そこでモバイルの驚くべき成長や規模について話し、グーグルがそれをいかに真剣に受け止めているか、僕たちはあまりにも気づくのが遅いと指摘した。

多くの人が驚いたのは、グーグルがモバイルファーストを計画しているという話を聞いたときだった：

昨年末にかけて、僕たちはモバイルデバイスとタブレットデバイスでの検索向けに、かなり大きくデザインを改良した。このほど、それらの変更のいくつかをデスクトップにも引き継いだ

これはGoogle検索のリードエンジニアであるジョン・ワイリー氏の発言だ。

僕が2014年にこのプレゼンをした頃、モバイル検索がデスクトップ検索を侵食し始めていた（そして、デスクトップ検索ボリュームが初めて減少に転じた）ことはすでに認識されていたが、このことは驚きを持って受け止められた。

また、グーグルが初めて売り上げをの大部分をモバイルで稼ぐようになるには2年もかからないと言われるようになっていたが、それでも驚きはあった。

2020年にこれを書いていると、モバイルがいかに大きなことかは完全に理解されているように思えるが、理解されるまでしばらく時間がかかったことを思い出すと興味深い。

機械学習が普通になる

パンダ・アップデート以降、アルゴリズムのアップデートに関するグーグルからの公式なコミュニケーションでは機械学習への言及が増え、それが示唆される機会もさらに増えた。

コアアルゴリズムに機械学習を利用することに対しては、人間のエンジニアが結果を説明できなくなるという理由で、（シングハル氏を含む）一部の陣営が以前から抵抗していたことは知られている。しかし2015年には、サンダー・ピチャイ氏がグーグルのCEO職を受け継ぎ、シングハル氏を外して（ただし、これには別の理由があったかもしれない）、AIや機械学習を支持する人材を主要な役職に就けた。

時代は巡る

少し時代を戻るが、フロリダ・アップデート^※以前は、検索結果がたびたび入れ替わっており、この現象はGoogle Danceと呼ばれていた。

しかしそれ以降、グーグルはインデックスを中心としたシステムを改善しており、ほとんどのものがリアルタイムで動くようになった。

最近の「コアアップデート」では、ウェブサイトの変更に基づくのではなく、グーグルの都合で検索結果が変わるこの種の動的特性が復活したように見える。僕はその理由として、「コアアップデート」の実体は、その時点でのウェブの形に合わせて大幅にカスタマイズされる大規模なディープラーニングモデルを、グーグルが再訓練することにあるためだと推測した。

理由が何であれ、さまざまなクライアントと仕事をしてきた経験から、以下に記すグーグルの公式見解は、その通りだと実感できる：

大規模なコアアップデートは、数か月ごとに実施されます。サイトがコアアップデートの影響を受け、その後にコンテンツを改善した場合、掲載順位が回復する可能性があるのは、次の大規模なコアアップデートのリリース時です。

このような最近のトレンドや発見をGoogle Danceのような昔の話と結びつけて考えることも、SEOの歴史が「有益」だということを知る方法の1つにすぎない。

さらに興味がある人へ

僕の記憶をたどったこの旅に興味を持ってもらえたことを願っている。ここで説明した時代を通じて同じようにこの業界に携わってきた人がいたら、僕が見落としていることはないだろうか？ 君が覚えているなかで、本当に大きな分岐点は何だろう？ 以下のコメント欄に書き込んでもらうか、Twitterで連絡してほしい。

このように懐かしい思い出をめぐる経験が楽しめたという人は、僕のプレゼンテーション「From the Horse's Mouth 」も気に入ってもらえるかもしれない。僕はこの中で、グーグルによる公式または非公式のコメントを引用して、実際のところ水面下では何が起こっていたかを明らかにするとともに、自分で同じことをやる場合のヒントを示そうと試みている。