海外メディアがFacebookのコンテンツクリーンアップ作業を暴露：AIでも完了できない作業

AI は見たものからしか学習できません。シュローファー氏と150人以上のエンジニアリング専門家からなるチームが有害なコンテンツにフラグを立てて削除するためのAIソリューションを考案するたびに、AIシステムが見たことのない（したがって捕捉できない）新たな疑わしい投稿がポップアップ表示される。 「本当に、あんなものを見なければよかった」とフェイスブックのプロジェクトリーダー、シュローファー氏は語った。

編集者注: 最近の一連のスキャンダルにより、ソーシャル ネットワーキングの大手 Facebook は崩壊の危機に瀕しています。 「プラットフォームは中立であり、ユーザー生成コンテンツに干渉することはできない」というのはもはや言い訳にはならない。しかし、毎日 20 億人のユーザーによって生成されるコンテンツの量をクリーンアップすることは不可能です。 AIを活用して支援するとしても、AIが予測できない状況は必ず存在します。それは猫とネズミの遊び、あるいはシシュポスが岩を山に押し上げるようなものです。シシュポスは山の頂上に近づくたびに岩を手から滑り落とし、また押し戻さなければならず、果てしない労働を強いられます。 CTOは当初、Facebookが将来に向けてAIを応用する新しい分野を模索するのを支援するはずだったが、今ではこの重い責任を負わなければならない。ケイド・メッツ氏とマイク・アイザック氏は、海外メディア向けの記事でFacebookのコンテンツクリーンアップの取り組みについて報告した。

[[266540]]

私たちは30分間、Facebook本社の会議室に座っていました。私たちの周りでは、青と赤のマーカーで覆われたホワイトボードで、ソーシャル ネットワークから有害なコンテンツを削除する技術的な難しさについて話し合っています。そこで私たちは、この課題が解決不可能であることを証明したビデオ、ニュージーランドのクライストチャーチ銃乱射事件を取り上げた。

3月には、フェイスブックで生中継された動画の中で、銃を持った男が2つのモスクで51人を殺害した。同社がサイトからビデオを削除するのに約1時間かかった。しかし、血まみれの映像はすでにソーシャルメディア上で広まっていた。

シュレーファーは黙っていた。彼の目には何か光るものがあったようだ。

1分後、彼は口調を落ち着かせようと努めた。「我々は現在これに取り組んでいる。一夜にして実現するものではない。だが、6カ月後にまたこの話をしたくはない。我々はこれよりずっと良い結果を出すことができるはずだ。」

問題は、これが本気なのか、それとも Facebook が冗談を言っているだけなのかということです。

このソーシャルネットワークは、サイト上に虚偽、誤解を招く、不適切なコンテンツが投稿されるケースが増えていることについて、過去3年間にわたり厳しい監視を受けてきた。 CEOのマーク・ザッカーバーグ氏は、問題のある投稿を排除するのに役立つとされる技術、人工知能の活用を呼び掛けた。

ザッカーバーグ氏は昨年、議会でフェイスブックが「特定の種類の悪質な活動を特定する」ための機械ベースのシステムを開発していると証言し、「5年から10年以内にヘイトスピーチを検出し削除するためのAIツールを開発する」と発表した。彼はその後もメディアやウォール街との電話会議、フェイスブックの自社イベントなどで同じ言葉を繰り返してきた。

シュローファー氏（社内ではシュレップと呼ばれている）は、Facebook のプロジェクト リーダーです。彼は、数百万件ものそのような投稿を分類し削除するための自動ツールを開発するチームを率いる予定だ。しかし、この仕事はシシュポスが丘の上まで岩を押し上げるようなもので、無駄な仕事だと彼は最近の3回のインタビューで認めた。

なぜなら、シュローファー氏と150人以上のエンジニアリング専門家からなるチームが有害なコンテンツにフラグを立てて削除するAIソリューションを考案するたびに、AIシステムが見たことのない（したがって捕捉できない）新たな疑わしい投稿が現れるからだ。 「悪質な行為」は見る人の目によって異なることが多く、機械どころか人間ですらそれが何なのかについて意見が一致しないという事実によって、この作業はさらに困難になります。

インタビューの中で、シュレーファー氏はAIだけではFacebookの問題を解決できないことを認めざるを得なかった。 「私たちは今、最終段階にあると思います」と彼は語った。しかし、「私たちは『全て終わった』とは思っていませんし、荷物をまとめて家に帰れるとも思っていません」

しかし、プレッシャーはまだ残っています。先週、フェイスブックはクライストチャーチのビデオに対する批判を受けて、ストリーミングサービスの使用を制限するポリシーを変更した。同社は水曜日、フランスのエマニュエル・マクロン大統領とニュージーランドのジャシンダ・アーダーン首相が参加したパリでの首脳会談で、暴力的なコンテンツを識別するために使用するツールを見直すことを約束する誓約書に署名した。

44歳のシュレーファー氏は現在、自分が決して望んでいなかった立場にいる。長年にわたり、彼の仕事は Facebook による第一級の AI ラボの構築と設立を支援することでした。ここでは、最も優秀な人材が、機械を使って写真から顔を選択するなどの技術的な課題に取り組みます。彼とザッカーバーグ氏は、AI研究者が最も多く所属する企業として広く知られるグーグルに匹敵するAI部門を創設したいと考えている。そこで彼は、ニューヨーク大学、ロンドン大学、パリ第6大学から博士号取得者を採用しました。

しかし、彼は徐々に、有害なコンテンツの脅迫と削除者の役割に移行してきました。現在、彼と彼の仲間たちは、殺害予告や自殺ビデオ、誤報、そして完全な嘘を特定し、削除するために AI を活用することに多くの時間を費やしている。

Mozila の元 CEO で現在は Greylock Partners のベンチャー キャピタリストである John Lilly 氏は、1990 年代半ばに Schroepfer 氏にコンピューター サイエンスを学びました。 「私たちは誰もこんなことは見たことがありません」と彼女は言った。「これらの問題を解決する方法について助けを求められる人が誰もいないのです。」

Facebook がシュローファー氏との面談を許可したのは、AI が憎悪的なコンテンツをどのように捉えるかを示したかったためであり、おそらくは自社の幹部を人間らしくすることに関心があるためだろう。彼を知る多くの人々によると、CTO は感情を表に出すことが多いそうです。

ジョスリン・ゴールドフェインはFacebookでシュロエフェと共に働いていました。ゼッタ・ベンチャー・パートナーズのベンチャーキャピタリストであるシュレップ氏は、「シュレップ氏が仕事中に泣いているのを見たことがあるが、そんなことを言うのは不適切だとは思わない」と証言した。

しかし、シュレーファー氏が私たちの質問にどう答えるかを予測できた人はほとんどいなかった。 2回のインタビューで、彼はAIが解決策になるかもしれないという楽観的なメッセージで話し始めたが、その後感情的になった。ある時期、仕事に来るのが時々苦痛だったと彼は語った。フェイスブックが直面している問題の大きさと、それを変えるために自分が感じている責任について語るたびに、彼は声を詰まらせた。

問題のある投稿について同氏は「ゼロになることは決してないだろう」と語った。

「なんと重い負担、なんと大きな責任でしょう。」

2013年12月のある日曜日、クレマン・ファラベットはネバダ州レイクタホにあるハラーズホテル＆カジノのペントハウススイートに入った。中では、シュレーファー氏とザッカーバーグ氏が彼を迎えた。

ザックは靴を履いていませんでした。その後30分間、CEOはニューヨーク大学のAI研究者ファラベット氏と話しながら靴下を履いたまま前後に歩き回った。ザッカーバーグ氏はAIを「次の大きなもの」であり「Facebookにとっての次のステップ」と呼んだ。シュレーファーはソファに座り、時折口を挟みながら、ある点を強調した。

彼らはAI人材を募集するためにこの街にやって来ました。その年、レイクタホはNIPS（Neural Information Processing Conference）の開催地でした。 NIPS は、毎年世界中からトップクラスの研究者が集まる専門的な AI 学術会議です。フェイスブックの経営陣は、現代のAI運動の父の一人とされるニューヨーク大学の学者、ヤン・ルカン氏をフェイスブックのAI研究所の設立者に迎え入れた。ルカン氏を師とみなすファラベット氏も最終候補者の一人だった。

「彼は基本的に全員を欲しがっている」とファラベット氏はザッカーバーグ氏について語った。「彼はその分野の研究者全員の名前を知っている」

当時は Facebook にとって素晴らしい時代でしたが、その後、同社の AI 活動の軌道と使命は変化し始めました。

当時、グーグルからツイッターまで、シリコンバレーの大手テクノロジー企業がAIのバックボーンとなることを競い合っていた。この技術はインターネット企業によって何年もの間放棄されてきました。しかし大学では、ルカン氏のような研究者が、膨大な量のデータを分析することで自らタスクを学習できる複雑な数学システムであるニューラルネットワークと呼ばれるAIシステムをひそかに育ててきた。シリコンバレーの多くの人々を驚かせたのは、これらの知られざる、いくぶん神秘的なシステムがついに機能し始めたことだ。

シュレーファー氏とザッカーバーグ氏は、急速に進歩するテクノロジーは同社が獲得すべきものだと考えて、同社をこの競争に巻き込みたいと考えていた。シュローファー氏は、AIはソーシャルネットワークがサイトに投稿された写真や動画の顔を認識するのに役立ち、広告のターゲット設定の改善、ニュースフィードの整理、言語翻訳にも使用できると述べた。 AIは、企業が顧客と対話できるようにする「チャットボット」などのデジタル製品の提供にも使用できます。

「私たちは世界最高の人材を採用するつもりです」とシュローファー氏は語った。「新しいタイプの研究室を建設するつもりです。」

シュローファー氏は2013年以来、ニューラルネットワークを専門とする研究者を採用してきた。当時、この分野のスターの給与は数百万ドル、あるいは数千万ドルにも上った（4～5年間）。 2013年のその日曜日、Twitterはファラベット氏の採用に失敗した。ファラベット氏は後に自身のAIスタートアップ企業を設立し、Twitterに買収された。しかし、シュローファー氏はグーグル、ニューヨーク大学、モントリオール大学などから数十人のトップクラスの研究者を採用した。

シュローファー氏はまた、2つ目の組織である応用機械学習チームも設立した。このチームの使命は、Facebook AI Labsの技術を顔認識、言語翻訳、拡張現実ツールなどの現実世界のアプリケーションに応用することだ。

2015 年末、一部の AI 作業に変化が起こり始めました。きっかけはパリのテロ事件だった。この攻撃でイスラム過激派は130人を殺害し、500人を負傷させた。その後、匿名の情報源によると、ザッカーバーグ氏は応用機械学習チームに、フェイスブックがテロとどのように闘えるかを尋ねたという。

これに対応して、チームは新しいFacebook AIラボ内で開発された技術を使用して、ソーシャルネットワーク上のテロリストのプロパガンダを識別するシステムを構築した。このツールは、イスラム国やアルカイダに言及するフェイスブックの投稿を分析し、同社の対テロ政策に違反する可能性が高い投稿にフラグを立てる。その後、投稿は手動で確認されます。

これは、Facebook が AI を使って投稿をチェックし、削除する転機となった。

作業は急速に勢いを増した。 2016年11月、トランプ氏が米国大統領に選出され、人々は投票に影響を与えトランプ氏の勝利の土台を築いた可能性のある虚偽情報の温床となったとしてFacebookをボイコットし始めた。

同社は、虚偽の情報の拡散や選挙における自社の役割を否定し始めているが、2017年初頭から、ヌード写真や偽アカウントを含む幅広い有害コンテンツを自動的に識別する技術リソースのシフトを開始した。また、サイトのさまざまなセクションにある有害なコンテンツと戦うための「誠実性」のポジションを数十個設置した。

2017 年半ばまでに、有害コンテンツの検出は応用機械学習チームの中心的な焦点になりました。 「コンテンツ理解の取り組みにおける最優先事項は、明らかに誠実さです」とシュローファー氏は語った。

その後、2018年3月、ニューヨーク・タイムズ紙などが、英国の政治コンサルティング会社ケンブリッジ・アナリティカがフェイスブック利用者数百万人の情報を本人の同意なく収集し、有権者のプロフィールをトランプ陣営に提供していたと報じた。ソーシャルネットワークに対する怒りが沸騰し始めている。

シュレーファー氏はすぐにこの事件に対処するために呼び出された。 2018年4月、彼は監督官に任命され、ケンブリッジ・アナリティカのスキャンダルについての質問に答えるために英国議会の委員会に出席するためにロンドンに飛んだ。そこで彼は議会委員会のメンバーから4時間にわたって厳しく尋問された。

世界中に生中継された公聴会で、労働党のイアン・ルーカス議員は激怒した幹部にこう尋ねた。「シュレーファーさん、あなたの上司は誠実ですか？私はまだあなたの会社に誠実さがあるとは信じていません。」

フォレスト・キー氏はバーチャルリアリティの新興企業ピックスヴァナのCEOで、2人は1990年代後半に映画特殊効果技術の新興企業で一緒に働いていた頃からの知り合いである。 「見ていてつらい」と彼は言った。「なんて重荷なんだろう。なんて大きな責任なんだ」

Facebook のコンテンツ問題を抑制するために AI を使用するという課題は続いており、シュローファー氏は重い負担を負っている。

「エンジニアに後退しないように説得する」

シュローファー氏が初めてフェイスブックに入社したとき、彼は問題解決者として見られていた。

シュローファーはフロリダ州デルレイビーチで育ち、両親はそこで最初はロック、その後 R&B を流す 1,000 ワットの FM ラジオ局を経営していました。1993 年、シュローファーはスタンフォード大学に通うためにカリフォルニアに移りました。彼はそこで学部と大学院の両方でコンピューターサイエンスを学び、リリーやアダム・ナッシュ（現在はDropboxの幹部）のような技術者と交流しました。

卒業後、シュローファーはシリコンバレーに留まり、テクノロジー業界で苦労しながらキャリアをスタートさせた。彼は映画効果のスタートアップ企業で経験を積み、その後、大規模なデータセンター向けのソフトウェアを開発する会社を設立しました。この会社は後にサン・マイクロシステムズに買収されました。 2005 年に、彼は Mozilla にエンジニアリング担当副社長として入社しました。この非営利団体のブラウザは、Microsoft の Internet Explorer の独占に挑戦しています。当時、彼らのプロジェクトよりも大きな技術的課題はありませんでした。

「ブラウザは複雑な製品であり、競争環境はすさまじいものでした」と、シュローファー氏と数年間一緒に働いてきたモジラの共同設立者マイク・シェーバー氏は語る。「キャリアの初期から、彼がブラウザを扱う能力があることを疑ったことは一度もありませんでした。」

2008年、Facebookの共同創設者ダスティン・モスコビッツがエンジニアリング責任者を退任した。シュレーファー氏が彼の役割を引き継ぐために入社した。当時、Facebook は約 200 万人のユーザーを抱えており、彼の仕事はユーザー数の急増にもかかわらず Web サイトが中断なく稼働し続けるようにすることでした。この仕事には、世界中の何千人ものエンジニアと何万台ものコンピュータ サーバーの管理が含まれます。

「この仕事のほとんどは、四輪がパンクした状態で坂を転げ落ちる炎上中のバスのようなものです」とシュローファー氏は言う。「問題は、どうやってそれを続けられるかです」。彼の一日の大半は「エンジニアたちと話をして落ち着かせ、辞めさせないようにすること」だ。なぜなら、エンジニアたちは一日中問題に取り組んでいるからだ。

その後数年間にわたり、彼のチームはこのような大規模なサービス（Facebook のユーザー数は現在 20 億人を超えています）を支えるさまざまな新技術を開発しました。同社は、Facebook をより迅速かつ確実にノートパソコンや携帯電話に提供できるようにするための新しいプログラミング ツールを導入しました。データセンターにカスタマイズされたサーバーを導入し、巨大なサーバー・コンピュータ・ネットワークの運用をスムーズにしました。最終的に、Facebook はサービス停止を大幅に削減しました。

「スケーリングの問題で疲れ果てたエンジニアと最後に会話をしたのはいつだったか思い出せない」とシュローファー氏は語った。

こうした努力の結果、シュローファー氏はますます大きな責任を負うようになりました。 2013年にCTOに昇進。彼の仕事は、将来を見据え、会社が探求すべき新しい技術分野を追跡することになりました。彼の役割がどれほど重要であるか知りたいですか?彼のデスクはザッカーバーグのデスクのすぐ隣にあり、CEOとCOOのシェリル・サンドバーグの間に挟まれている。

ザッカーバーグ氏はシュレプファー氏について、「彼は、当社の多くの人々の考え方や行動をよく表している。シュレプファー氏のスーパーパワーは、さまざまな問題領域にわたって指導し、チームを構築することだ。彼のようにそれをできる人とは、私は一緒に働いたことがない」と述べた。

したがって、ザッカーバーグ氏がフェイスブック上の有害なコンテンツに対処するためにシュレーファー氏に頼ったのも不思議ではない。

ブロッコリー vs. マリファナ

先日の午後、Facebook の会議室で、シュローファー氏はお気に入りのノートパソコンから 2 枚の画像を取り出しました。 1枚はブロッコリーの写真、もう1枚はマリファナの芽の写真でした。皆が写真をじっと見つめた。どれがどれなのかよくわからない人もいます。

シュレーファー氏は主張を裏付けるためにこれらの画像を見せた。私たちでも違いを見分けるのが難しい人もいるが、今ではFacebookのAIシステムは何千枚もの画像からパターンを見つけ出し、マリファナの芽を自力で識別できる。 AIがマリファナ画像にフラグを立てると、その多くはソーシャルネットワークを通じてマリファナを販売するために画像を使用するFacebook広告に添付されており、同社はそれを特定して削除する。

「今では、こうした問題を積極的に把握できる」とシュローファー氏は語った。

問題は、マリファナ対ブロッコリーの対決が単なる進歩の兆候ではなく、Facebook が直面している限界の兆候でもあることだ。シュローファー氏のチームは、同社がマリファナの画像、ヌード、テロ関連のコンテンツを識別して削除するために使用するAIシステムを開発した。しかし、こうしたシステムではすべての画像をキャッチすることはできない。なぜなら、予期しないコンテンツが常に存在するため、何百万ものヌード、マリファナ、テロリストの投稿が今後もFacebookユーザーに届くことになるからだ。

不正な画像を識別することも、AI にとってより簡単なタスクの 1 つです。フェイクニュースやヘイトスピーチを見分けるシステムを構築するのはさらに困難だろう。偽のニュースは簡単に真実であるかのように見せかけることができます。ヘイトスピーチは、機械が言語の微妙なニュアンスを識別するのが難しすぎるという点でも問題となっている。言語によってニュアンスが大きく異なり、会話の文脈も急速に変化するため、機械が追いつくのは困難です。

AI Foundation は、人工知能が誤情報とどのように戦うことができるかを研究する非営利団体です。同社の研究責任者であるデリップ・ラオ氏は、この課題を「軍拡競争」と呼んでいる。AIは過去のものに基づいて構築される。しかし、学ぶべきことが何もないというのはよくあることです。行動の変化。攻撃者は新しい手法を生み出します。明らかに、これは猫とネズミのゲームです。

「時には、危害を加えている人たちより一歩先を行くこともある」とラオ氏は言う。「時には、危害を加えている人たちの方が先を行くこともある」

その日の午後、シュレーファー氏はデータと数字を使って、猫とネズミのゲームに関する私たちの質問に答えようとしました。フェイスブックは現在、ヌードコンテンツの96％をソーシャルネットワークから自動的に削除していると彼は語った。ヘイトスピーチはもっと厄介だと彼は言った。同社が現在検出しているのはヘイトスピーチの51％だけだ（フェイスブックは後に最大65％だと発表している）。

シュレーファー氏は軍拡競争の要素があることを認めている。同氏は、フェイスブックは問題のあるライブ動画配信を自動的に検出して削除できるものの、３月のニュージーランドの動画については、過去にフェイスブックにアップロードされたものと似ていなかったため特定できなかったと述べた。このビデオは、コンピューターゲームのように一人称視点で撮影されています。

残酷な暴力を識別するシステムを設計する際、Facebook は通常、猫を蹴る人、人を襲う犬、歩行者にひかれる車、野球のバットを他の人に振り回す人など、既存の画像を遡って調べます。しかし、彼は「それらのどれもこのビデオとあまり似ていない」と述べた。

シュレーファー氏は、銃撃事件のビデオが斬新だったことが、この事件を非常に衝撃的なものにしていると語った。 「それがすぐにフラグが立てられなかった理由だ」と彼は述べ、フェイスブックが次回どうやってそれを特定できるかを考えるためにビデオを何度も見たと付け加えた。

最後に彼は言いました。「本当に、あれを見なければよかった。」