Yahoo!が自らクローキングに手を染めていたことが判明

先日Agerhart.comが掲載した記事に、Yahoo!が自動車ページでクローキングしていたことを見つけたという話があったの。

SEOmozの住み込みプログラマの1人Jeffの適切な表現を借りれば、Yahoo!は「標準的な、ごく普通のクローキング」を実践していたんだって。クローキングとは、ページにアクセスがあったらアクセス元のIPアドレスとユーザーエージェント名を調べて、それが検索エンジンのボットだったら、人間用の通常コンテンツとは異なるものを見せる手法のこと。

Agerhartの記事では、自動車ページのナビゲーション画面で、検索ボットに見せるページと、普通のインターネットユーザーに見せるページのスクリーンショットを並べて掲載している。なるほどボットに見せるページは、「Used Cars（中古車）」という語句で一杯になっているけど、人間用のページには同じ語句が4回しか出てこない。

Agerhartの投稿記事は、こんな怒りの言葉で締めくくられている。

スパムを報告することや、ライバルに密告することが正当なことだとは思わない。だがしかし！ それが検索エンジンだったら話は別だ。

検索エンジンといえば、「品質のガイドライン」を掲げ、ウェブサイトにペナルティを課したり、ウェブサイトを除外したりと、自らが作ったルールを執行しようとしている存在だからだ。

そして、Yahoo!がやったことには及ばない程度のウェブサイトに、ペナルティを課して、閉め出している。これがフェアと言えるだろうか？ 一方ではウェブサイトを閉め出し、実質的にサイト運営者の収入を減らしつつ、他方では同じ（あるいはもっと酷い）戦略を実行しているなんて。いったいどういうことなんだ。

まったくもって、賛成すべき意見でしょ？ つまり、Yahoo!が偽善的にも、自ら説いている決まり事を守っていないと知ったら、検索エンジン最適化（SEO）関係者で怒りを覚えない人なんて居ないってことよ。たとえば、Yahoo!検索におけるコンテンツ品質のガイドラインで、8番目に「エンドユーザーが目にするのと異なるコンテンツを検索エンジンに渡すページ（を持つなかれ）」なんて書いてるじゃないの。これはもう、全然フェアじゃない！

だけど、ちょっと待って。Yahoo! Media GroupのSEOプログラムマネージャLaura Lippay氏が、Yahoo! 360°にある自分のページに掲載せざるを得なかった話も読んでみましょう。

ここにいる仲間たちの多くは、SEOにとても精通した人たちだけど、時には、たくさんのキーワードを入れるよう頼んでくる新参のエンジニアがいたり、テキストをある位置に置くよう指示しても、レイアウトを本気で変えたくないがために、背景と同じ色のテキストにしてはどうかと（まるで今まで聞いたこともない新しいアイデアかのように）求めるメールを寄越す人がいたり、何も言わずに自分独自のやり方で作業を進めてしまうパートナーもいる。

Lauraの言い分にも納得だわ。彼女が投稿の中で述べているとおり、「毎日朝から晩まで新しいコンテンツが次々と誕生し、何百万ものページで構成されているインターネット上で、最大かつ最もトラフィックの多いサイトを維持していくため、何百もの製品や所有物を管理する多数のグループが、Yahoo!の中には存在している」ということ。

Yahoo!が巨大企業だということは、周知の事実ね。同社には相当な数の部門や部署があるに違いないし、すべての従業員がSEOに精通していないとしても当然だわ。サイトを作り上げることと、SEOに適応した（もちろん真っ当な倫理に従っての話よ）サイトを作り上げることは、まったく違うことだと、私たちならみんな知ってるわね（それにしても、SEOmozのサイトを見てよ。言ってることとやってることが違うなんて、ざらなんだから）。Yahoo!とそのさまざまなポータルを覗き回っているSEO屋さんなら、そのページが完全には最適化されてないことくらい誰でもわかるわ。たとえば、Yahoo! Sportsのある記事のURLはこんな感じなのよ。

実に見苦しいでしょう？ パラメータだらけだし、URLを見ただけでは、いったいどんな記事なのか想像すらできない。

このページにある「Tech」というリンクをクリックすると、tech.yahoo.comでも構わないのに、tech.yahoo.com/fpに飛ぶのよ。また、Yahoo! Techの「Dads and Grads」セクションは、どうしてYahoo! Techのトップページと同じタイトルなのかしら。それに、「Tech Shows」セクションのタイトルが「Slingin' Sports to a Lonhorn Fan : Hook Me Up : Yahoo! Tech」（前半はトップコンテンツのタイトルとその番組の名前）となっているのはどうなの？

まだまだあるけど、もう大事なことはわかったでしょ。Yahoo!自身のページの多くは、最適化が十分じゃないのだから、一部のエンジニアやプログラマが、クローキングをやったからって、ショックを受けることなんかないわ。私のことを単細胞とか、おめでたいやつとか、「疑わしきは罰せずで見逃そう」という考えに酔ってるとか、どう言おうと構わないけど、私はLauraを信じてさっさと許しちゃうし、これが大きな問題だとも思わない。Yahoo!の誰かが、僕って賢いなとか思いつつ、「中古車」の検索結果でYahoo!のランクを上げるためにクローキングを実行し、同社のSEOチームがすぐにはそれに気が付かなかったからといっても、私は驚かない。

件のページを今見ればわかるとおり、Lauraはすぐに行動を起こし、その日のうちに「不祥事」を解決したの（評判管理の上でなんてすばらしい行動かしら）。Lauraの説明は、完全に筋が通っていたわ。この問題に関与した人が誰であれ、クローキングの狡猾さについて学んだことは確かでしょうね。

検索エンジンでも誤りを犯すのだから、とりあえず火種はうっちゃっておきましょう。