Ledge.ai出張所

偏見・陰謀・疑似科学……人工知能はフェイクニュースを見破れるか？

社会問題となりつつあるフェイクニュースだが、人工知能により見破る試みが進んでいる。

Ledge.aiニュース 2018/9/4 7:00 マーケティング／広告 | 解説／ノウハウ

日本、そして世界で社会問題化しているフェイクニュース。アメリカでは、フェイクニュースが大統領選に大きな影響が与えたと言われ、2017年に社会問題として大きな話題になりました。

フェイクニュースはSNSなどで拡散されるため、人がひとつずつ真実であるか嘘であるかを確認し取り締まることは不可能と言えるでしょう。

今回ご紹介するSummarizeBot APIの「Fake News Detection」は、ネットの記事が嘘であるか、本当であるかどうかを判定できるというAPI。フェイクニュースを見破るのは、文脈や情報の正確さ、記事の背景などに注意しなければならなく、AIにとっては難しい分野であるように思えますが……。

記事の真偽を見破る Fake News Detection

SummarizeBotのAPIは、自然言語処理を中心に要約・翻訳・キーワード検出、さまざまなものがありますが、Fake News Detectionはそのひとつです。

フェイクニュースかどうか検知したい記事のURLを指定すると、「real」と「fake」それぞれの確信度を表示します。

さらに嘘か事実かだけではなく、「fake」であった場合では、

bias（偏見）
conspiracy（陰謀）
propaganda（宣伝）
psedoscience（疑似科学）
irony（皮肉）

どのタイプであるかそれぞれの確信度を示します。

ここで嘘であるか本当であるか、またどういった嘘であるかの判断は、

嘘で偏見のある記事を学習させたモデル
重要な情報だけを抜き出しノイズを除去する要約技術
関連性を調べるための過去の記事の調査
信頼されかつ偏見のある記事のデータベース

をもとにして実現されているそう。一度要約するプロセスを挟むことでノイズを減らし、精度を高めているようです。

参考記事：
MessengerでURLを送るだけ。自然言語処理で記事が要約できるSummarizeBotを試してみた

はたして人工知能はフェイクニュースを見破ることができるのか、編集部で試してみました。

4つの記事でフェイクニュース検知の精度を検証

実際にFake News Detectionでフェイクニュースを見破れるか見ていきましょう。

比較しやすいよう2つのトピックに対して、本当の記事・嘘の記事の2つずつ、計4つの記事で検証してみます。

1. 「メッシ」の記事で比較

photo by Pixabay

まずは、世界最高峰のフットボーラーであるメッシについての本当の記事、嘘の記事で試してみました。

本当の記事としては、イギリスの大衆新聞「Mail Online」の記事を用いました。内容は「メッシがワールドカップで優勝するまで引退したくないと明かした」という内容です。

この記事のURLを送るとレスポンスは以下の通り。


b'{"predictions": [{"confidence": 1.0, "type": "real"}, 
{"confidence": 0.0, "type": "fake", "categories": []}]}\n'

なんと結果は確信度100％で「real」。本物の記事であると見破りました。では、嘘の記事ではどうでしょうか。

嘘の記事としては、アメリカの風刺報道機関である「The Onion」の記事を用いました。こちらは、「前回の試合でメッシがFitbit（運動量を記録する装置）を装着し忘れて怒った」というフェイクニュースです。


b'{"predictions": [{"confidence": 0.4298746270017698, "type": "real"},
{"confidence": 0.5701253729982302, "type": "fake", 
"categories": [{"confidence": 0.0, "type": "bias"}, 
{"confidence": 0.8536315075134565, "type": "conspiracy"}, 
{"confidence": 0.0, "type": "propaganda"}, 
{"confidence": 0.0, "type": "pseudoscience"}, 
{"confidence": 0.1463684924865436, "type": "irony"}]}]}\n'

6割近くの確信度で嘘の記事であるとなっており、確信度は少し低いですが見事フェイクニュースであることを見破っています。

さらに、文章の特徴からどのタイプのフェイクニュースであるかも表示。
この場合、およそ85％は「conspiracy（陰謀）」、残り15％が「irony（皮肉）」となっております。

しかし、メッシがW杯で期待されているような活躍ができなかったことを考えても、「conspiracy」よりも「irony」が的確であると思います。

この記事だけでは分からないので、今度は、アメリカの大統領であるトランプに関する本当の記事、嘘の記事で試してみます。

2. 「ドナルド・トランプ」の記事で比較

photo by Pixabay

まずは、アメリカの大手ニュース専門放送局のニュース「CNBC」の記事「トランプが中国に対してハイテク企業への投資、技術輸出を規制を計画している」というものです。

結果はこちらです。


b'{"predictions": [{"confidence": 0.9681451819818054, "type": "real"},
{"confidence": 0.031854818018194564, "type": "fake",
"categories": [{"confidence": 1.0, "type": "bias"}, 
{"confidence": 0.0, "type": "conspiracy"}, 
{"confidence": 0.0, "type": "propaganda"}, 
{"confidence": 0.0, "type": "pseudoscience"}, {"confidence": 0.0, "type": "irony"}]}]}\n'

さきほどのメッシの本当の記事と同様に9割強の確率で事実であると表示。本当の記事に関してはかなり高い精度で見抜けるよう。

続いて、嘘の記事について見ていきたいと思います。

こちらは、「the dailymash」というイギリスの風刺報道機関の「トランプ大統領、プーチン大統領をイギリスに連れていく」の記事で試してみました。

現在、イギリスとロシアはあまりいい関係にあるとは言えず、それを風刺した記事になっています。

果たして、フェイクニュースであると見破れるのでしょうか。


b'{"predictions": [{"confidence": 0.10411690198305837, "type": "real"},
{"confidence": 0.8958830980169417, "type": "fake", 
"categories": [{"confidence": 0.6562654717508393, "type": "bias"}, 
{"confidence": 0.0, "type": "conspiracy"}, 
{"confidence": 0.0, "type": "propaganda"}, 
{"confidence": 0.0, "type": "pseudoscience"}, 
{"confidence": 0.34373452824916084, "type": "irony"}]}]}\n'

なんとほぼ9割の確信度で嘘であると検出。ここでもやはり精度は高いようです。

イギリスとロシアの関係などの情報を持っているわけではないのに、フェイクニュースであると見破れているというのは驚きです。

ただしタイプの分類に関しては少し精度は劣るようです。6割の確信度で「bias」、3割の確信度で「irony」となっていますが、偏見というよりも皮肉のほうが正しいようにも思えます。

本当の記事、嘘の記事それぞれ2つずつ試してみましたが、どちらも本当の記事では9割以上、嘘の記事でも6割以上の確信度で見破っています。これは、予想を超える高い精度であると思います。

大衆記事、風刺記事という両極端のものではありましたが、実際の場面でもフェイクニュースを見破ることができるのではないでしょうか。

一方で、タイプの分類に関しては、少し精度が劣っているようにも思えますが、ここは人間でも判断が分かれるところなので難しいですね。