世界が直面するSNS危機
暴力、分断、陰謀論、反ワクチン…許容不可能なダウンサイド
ドナルド・トランプが扇動したと取り沙汰される、4人の死者を出した暴徒の連邦議会乱入事件は、ソーシャルメディアが我々の社会に対する負の影響力を持っていることを改めて印象づけた。
2010年から2012年にかけて起きたアラブの春がSNSが群衆に対して非常に大きな影響力を持ちうることを示した最初の例だ。2016年の米大統領選挙では、フェイクニュースサイトとボットを利用した誤情報の拡散や、SNSから流出したデータなどのマッチングとターゲティング広告を通じて、民主主義がクラック可能であることが示唆された。
私は2014年のインドネシアの大統領選挙を政治記者として取材にあたり、ソーシャルメディアが兵器化されるのを目の当たりにした。インドネシアにはスハルト独裁政権時代に確立した国民の監視と情報操作の手法が存在しているが、これらがSNSの兵器化と融合することにより、新しい選挙キャンペーンマシンとしてワークした。海外の政治コンサル・PR会社が情報操作術を指南し、軍隊の諜報部門にルーツを持つグループがその実行部隊となった。この手法は、2019年の同国大統領選挙ではさらに洗練された。
世界中でSNSを利用した情報操作は常態化している。米大統領選挙やブレグジットに対しコンサルティングを提供し、記念碑的な選挙操作事件を引き起こしたケンブリッジ・アナリティカは、世界各国の選挙において、依頼者の要望に従い、ターゲティング広告を利用して若年層の投票率を落とすためのキャンペーンを張ったり、相手候補の評判を落とす情報をSNS上に流布したりしていた。元データサイエンティストのクリストファー・ワイリーは「Facebookは我々の世代の東インド会社だ」と語ったことがある。ケンブリッジ・アナリティカのような会社はたくさんあり、近年はさまざまなアクターにそのノウハウが蓄積しつつある。兵器化はより広域に浸透し、その手口が高度化しているのだ。
プラットフォーム側はジャーナリストやセキュリティアナリスト、市民団体などとともに工作者の大元となっている特定の政治勢力の関与を公に示すことで対抗してきた。これに対し、工作者側の戦略も進化している。研究者は、アカウントが使用する画像を基にその大元の存在を辿る手口を発見していたが、工作者はAIが生成したプロフィール写真の使用し、それをすり抜けるようになった。また、古いツイートを削除してハンドル名を変更することで、アカウントは大きなフォロワーを維持したままやり直す手口も明らかになっている。
2020年には、FacebookとTwitterは少なくとも15の工作へのマーケティング会社やPR会社の関与を特定している。フィリピンのトロールファームから米国の戦略的コミュニケーション会社、ウクライナのPR会社まで、第三者の行為者が偽情報キャンペーンを実行していると非難されてきた。このようなアウトソーシングは、プラットフォームが工作をスポンサーにリンクすることをより困難にする。スポンサーと思われる人物や団体を推測することができたとしても、実行者としてテイクダウンされたPR会社がスケープゴートになるからだ。
2020年には少なくともFacebookやTwitterで公表されたテイクダウンの中で、外国の工作員によって最も標的にされた国は、米国、英国、エジプトであった。インドやパキスタン、東南アジア、南米、アフリカではWhatsAppを利用した誤情報キャンペーンが多数報告されており、YouTube、Telegram等も工作者の主要な誤情報拡散手段となっている。
情報操作に使われる偽メディアのほとんどは独自のブランドを展開しているが、中には既存の大手メディアに装ったものもある。11月にイランとアフガニスタンを起源とする工作ネットワークが撤去された際には、アフガニスタンで最も人気のあるテレビチャンネルを装ったFacebookページとInstagramのアカウントが含まれていた。
よくある手口は「タイポスクワッティング」と呼ばれるもので、URLの一文字だけを変更して、一見しただけでは正しいURLであるかのように見せかけることだ。トロント大学シチズンラボのレポートによると、イランのネットワークがどのようにタイポスクワッティングを使っていたかが記録されている。「q」を使ってブルームバーグ（bloomberq[.]com）になりすましたり、スペルミスを使ってポリティコ（policito[.]com）になりすましたりしている。
最近は偽ニュース専門のTelegramチャンネルへの参加をFacebookユーザーに促す手口も流行している。Telegramはドバイに拠点を置く、通信の一部が暗号化されたメッセージングアプリ企業であり、工作者はTelegramがフェイクコンテンツを停止する方針を持たないのを利用し、摘発の網の目をくぐり抜けている。
心理操作の道具
現在のオンラインエコシステムのほとんどが、人々の脆弱性を突く仕組みを持っている。通知、レコメンド、自動再生プラグイン、不確実な報酬（「いいね！」等）はすべて、依存を誘発するための戦略であり、人々のオンライン行動を操作することを目的に設計されている。
スタンフォード大学行動デザイン研究所の所長であるB. J.フォッグが提唱した「説得デザイン（パースエイシブデザイン）」は近年最も成功したユーザーエンゲージメント手法である。フォッグの教え子であるInstagramの共同創業者ケビン・シストロムとマイク・クリーガーは、この行動モデルに従って、人々がその動機と能力に従って、プラットフォーム側が望むような行動を取るように誘導する設計を取り入れることで成功した。人が行動を催しやすくするためにはトリガーが必要であり、報酬が与えられると、脳内報酬が分泌され、その行動が定着しやすくなる。
さらに報酬は不確実性を伴うほうが、人々はハマりやすくなる。シカゴ大学ブースビジネススクールのクリストファー・ヘーゼー教授と香港中文大学のルシ・シェン教授の研究によると、人は確実なインセンティブよりも不確実なインセンティブの方が、たとえ不確実なインセンティブの方が金銭的に悪い場合でも、そのタスクを繰り返すようになる、と主張している。彼らは、不確実なインセンティブが行動を動機づける理由の一つは、消費者が不確実性の不快感から確実性の解決という満足感へと移行する際に得られる心理的な後押しがあるからだ、と主張している。
ソーシャルメディアは「いいね！」のような評価をえられるかどうかは、他者やアルゴリズムに依存するため、常に不確実になる。不確実な報酬の設計は、ゲーム産業やギャンブル産業で先に培われていた。これらは過度の依存状態に陥った場合には、心身の健康を蝕む性質を持っている。
フィルターバブル
最近のインターネット製品の多くは、レコメンドが組み込まれている。FacebookやInstagram、YouTube、TikTokがコンテンツ推薦のテクノロジーを活用しているのは周知の事実だ。これらのレコメンドの仕組みが「フィルターバブル」と呼ばれる、ユーザーが特定の興味関心に基づいたコンテンツにのみ触れる現象を引き起こしているとされる。ジャーナリストのイーライ・パリサーが最初にこれを主張したが、それを裏付ける理論的な研究は長い間なかった。だが、DeepMindの研究者Ray Jiangらの2019年の論文は、人の関心をモデリングしたものとレコメンドアルゴリズムが相互作用すると、最終的には関心が収斂し、自己強化していく可能性を示唆した。
近年採用されるレコメンドアルゴリズムのなかには、主にSNSにおいて、「周囲の人が関心を持つことに人は関心を持ちやすい」と仮定の上、ユーザーの人間関係に基づいた推薦を行なっていると推察されるケースがある（グラフネットワーク）。この推薦手法は、クラスタが特定の政治思想に染まる分極化や陰謀論と関係がある可能性がある。
他にも強化学習というアルゴリズムの採用も進んでいるが、設計者が問題を広告収入に直結する指標の最大化問題として定式化した場合、ユーザーが危険な思想を背景に持つコンテンツに露出された場合、ときには、それにハマらせるように推薦を傾斜させる可能性がある。特に思想の自己強化のサイクルに入った人間に対しては危険であいり、その思想への盲信を加速させる可能性がある。盲信が一定のレベルを超えた人間の行動のなかには、銃を持って連邦議会を襲撃したり、5G基地局を破壊したりすることが含まれている可能性がある。
SNSの次をつくらないといけない
ソーシャルメディアで発生する誤情報の中には、ワクチンの摂取を否定するものがあり、さまざまなワクチン接種が必要とされる発展途上国で大きなリスクとなっている他、コロナウイルスのパンデミックが起きている現在では、世界の人々がこのリスクに晒されている。中にはインターネット上の不確実な情報を鵜呑みにし、コロナの存在を信じていない人が一定数のクラスタを形成している。
現存するSNSにはこれらの攻撃に対して免疫がない。脆弱性が世界中のすべての人に対して露出している状態だ。現状は穴の空いたバケツを修復する手法を考えているが、新しいバケツが必要なのは明白だ。政治的断裂、陰謀論、反ワクチン、依存…そのダウンサイドは許容不可能だ。「SNSの次」を作らないといけない。
参考文献
Josh A. Goldstein, Shelby Grossman. How disinformation evolved in 2020. January 4, 2021. Brookings Institute.
Wenqi Fan. Graph Neural Networks for Social Recommendation(V2). 23, Nov. arXiv:1902.07243.
Luxi Shen, Christopher K Hsee, Joachim H Talloen. The Fun and Function of Uncertainty: Uncertain Incentives Reinforce Repetition Decisions. Journal of Consumer Research, 2018; DOI: 10.1093/jcr/ucy062
＊他の参考文献はリンクで示した。
Special Thanks to Patron:
Shogo Otani, 林祐輔, 鈴木卓也, Mayumi Nakamura, Kinoco, Masatoshi Yokota, Yohei Onishi, Tomochika Hara, 秋元 善次, Satoshi Takeda, Ken Manabe.
Axionへのコーヒー代支援 / パトロン加入
Axionは吉田が2年間無給で、1年間は高校生アルバイトの賃金で進めている「慈善活動」です。有料購読型ニュースアプリへと成長するプランがあります。コーヒー代のご支援をお願いします。個人で投資を検討の方はTwitter（@taxiyoshida）までご連絡ください。
支援プラットフォーム: https://www.patreon.com/taxiyoshida