極端なケースによって引き起こされた議論: アルゴリズムがあなたが死にたいと考えた時...

悲しい話です。2017年、14歳のイギリスの少女モリー・ラッセルが予期せず自殺を選択しました。このような未熟な少女がどのようなことで自ら命を絶つことになったのか、私たちには想像しにくいかもしれません。

その後、モリーが自殺する前に、彼女はインターネットで自殺や自傷行為に関する画像を検索していたことが発覚し、これらの画像は彼女のお気に入りのソーシャルプラットフォームのいくつかで推奨されていたこともあった。モリーの死後数か月経っても、ピンタレストは自傷行為の画像が含まれたメールを彼女に自動的に送信し続け、モリーのインスタグラムを開いても、フィードには関連するコンテンツがたくさん表示されていた。

[[258314]]

この悲劇の後、モリーの父親は娘の死はインスタグラムとピンタレストのせいだと主張した。

私は常に、テクノロジーに罪はないと主張しています。しかし、アルゴリズムがあなたが死にたいと考えた場合にはどうすればいいのでしょうか?

モリーの悲劇は人々に言い表せないほどの無力感と、少しの怒りさえも感じさせます。これにより、インスタグラムやピンタレストなどのソーシャルプラットフォームが若者の「メンタルヘルス危機」を悪化させているという新たな議論が生まれている。英国の10代の若者の自殺率は8年前の2倍になっており、英国の「自殺世代」の増加はソーシャルメディアのせいだとされている。

モリーの死により、いわゆるビッグデータやアルゴリズムの問​​題に多くの人が注目するようになった。英国の保健大臣マット・ハンコック氏は、ソーシャルメディアはこうした極めて否定的なコンテンツを削除する必要があり、そうしなければ大規模な訴訟に直面することになるだろうと述べた。これまで、インスタグラムのルールでは自殺や自傷行為の「賛美」のみが禁止されていたが、現在はそれが直接禁止されている。

しかし、単純な禁止ではこれらの問題を解決することはできません。ソーシャル プラットフォームはこれらの否定的なコンテンツをホストするだけでなく、推奨アルゴリズムの指示により、これらのコンテンツは最終的に最も弱い立場にある人々に提示されることになります。紹介は、単に空き状況を示すよりも積極的な行動です。増え続ける学術文献がこれを裏付けています。自傷行為、噂、テロリストの勧誘、あるいは何らかの陰謀論など、ソーシャル プラットフォームは単にこれらのコンテンツを見つけやすくするだけではありません。アルゴリズムの存在により、ソーシャル プラットフォームはこれらのコンテンツの拡散をある程度まで増幅させるのに役立ちます。

[[258315]]

Instagram、Pinterest、Tumblrなどのプラットフォームがこれらのネガティブなコンテンツをどのようにユーザーに推奨しているかを調査したところ、これらのソーシャルプラットフォームには自殺や自傷行為に関連するコンテンツに対する制限的なルールがあり、一部のキーワードやタグをブロックすることでユーザーがそれらを見つけにくくなっているものの、これらのコンテンツは依然として存在し、アルゴリズムも一定のルールに従ってそれらを推奨していることがわかりました。 Pinterest では、これらは「あなたが気に入るかもしれないもの」と呼ばれ、ユーザーの閲覧習慣に基づいてユーザーが何に興味を持っているかを判断するアルゴリズム駆動型コンテンツです。企業にとっては「インテリジェントな推奨」「パーソナライズされたサービス」などと呼ばれることが多く、ユーザーエクスペリエンスの向上とみなされています。

たとえば、家の装飾のインスピレーションを検索すると、すぐにフィードにさまざまなペイントサンプルの画像と、アマチュアのインテリアデザイナーへの推奨事項が表示されます。つまり、ユーザーが自殺や自傷行為などのネガティブなコンテンツを頻繁に検索すればするほど、アルゴリズムはユーザーがそのようなコンテンツを好むと判断し、さまざまな方法で推奨する可能性が高くなります。

モリーの父親が発見したように、ソーシャル プラットフォームの推奨アルゴリズムは差別しません。ソーシャル プラットフォームが「あなたにおすすめ」として表示するコンテンツは、実際にはそのプラットフォーム独自の規定ルールに違反している可能性があります。

[[258316]]

ソーシャル プラットフォームで自傷行為に関するネガティブなコンテンツを探している人を想像してみてください。この傾向を学習した後、システムの推奨アルゴリズムは、明るくポジティブなコンテンツを推奨し、健康的な精神状態を作り直す方法を教えてくれます。アルゴリズムの推奨は、その時点では見たいものではないかもしれませんが、より正しい状態に導いてくれます。おそらく、これがアルゴリズムが本当にすべきことなのでしょう。

今日のインターネットの世界では、多くの人がソーシャル プラットフォーム上で自分の内なる考えを話したり吐き出したりすることを好みます。ソーシャルメディアはユーザーの目の前の鏡となり、ユーザーの心理状態を直接反映するだけでなく、それを増幅したり歪めたりすることもできる。これら 2 つのまったく異なる方向性は、アルゴリズムがユーザーをどのように導くかによって異なります。アルゴリズムがユーザーが死にたいと考えている場合、ユーザーを死に導き続けるのではなく、ユーザーの思考を導くアルゴリズムであってほしいと考えています。

アルゴリズムには最低限の価値観が必要です。

もちろん、その前提は、ソーシャル プラットフォームによって設定された禁止ルールが絶対的であるため、アルゴリズムの推奨ではユーザーにとって最も受け入れやすいコンテンツのみが表示されるということですが、実際の状況はそうではありません。

コンテンツのモデレーションは難しく、許容できるものと不適切なものの境界線が曖昧になることがよくあります。たとえ手動レビューの仕組みが確立されたとしても、大規模なソーシャルプラットフォームでは毎日何万もの新しいコンテンツが公開されており、レビュー担当者は数秒、あるいはそれよりも短い時間で、ユーザーの精神的健康に影響を与えるかどうかを判断する必要があります。自傷行為に限らず、そのようなコンテンツは多すぎます。日々、見逃されるコンテンツが必ずあるでしょう。

モリーの悲劇を例にとると、ソーシャルプラットフォームによる禁止措置は不完全であるだけでなく、間接的にさらなる悲劇を引き起こす可能性もある。自傷行為を試みたり自殺を考えている人の多くは、インターネットを通じて、生き続けるための大きな精神的サポートと動機を見つけています。小さな社交サークルを作ることで、お互いに支え合い、最終的には混乱から抜け出すことができます。こうした人々にとって、ソーシャル プラットフォームは助けを求める唯一の手段です。盲目的な禁止は、これらのグループの存在を圧迫します。仲間同士のコミュニケーションと受容が欠如すると、彼らは自分自身の否定的な精神世界に閉じ込められ、そこから抜け出すことができなくなり、最終的に悲劇につながります。

したがって、現在の問題は、単にこのコンテンツを消すことだけではありません。代わりに、プラットフォームは、どのコンテンツがどのグループにいつ提示されるのがより適切であるかをより適切に識別する必要があります。検索されたコンテンツがアルゴリズムによって推奨されたコンテンツと異なる場合、プラットフォームは、そのコンテンツが特定の人にとって有益であるが、一般大衆全体に潜在的な脅威をもたらすかどうかを判断する必要もあります。

レコメンデーション システムについては、あまり議論されていません。おそらく、レコメンデーション システムは非常に一般的になっているためか、ほとんどのユーザーがその仕組みを理解していないためでしょう。私たちは、すでに購入した Amazon の商品を Facebook が勧めてきたら笑ったり、悲しい音楽が好きだと思って Spotify を嫌ったりするかもしれません。なぜなら、特定の行動を一度しか行っていない場合でも、アルゴリズムがすでにそれに基づいてあなたの興味を判断し、さらに多くのものを勧め始めているからです。

[[258317]]

サフィヤ・ウモジャ・ノーブルは著書『抑圧のアルゴリズム』の中で、グーグルが検索結果で人種的ステレオタイプを増幅していると批判している。一方、『Twitter and Tear Gas』の著者ゼイネップ・トゥフェクチは、YouTube が陰謀論や過激なコンテンツを増幅する傾向にあることを強調し、YouTube の推奨アルゴリズムが「リスクを増大させる方法で動画を宣伝、推奨、拡散している」と主張している。

このような議論が増えれば増えるほど良いでしょう。なぜなら、これらの推奨事項が精神状態が悪い人々にどのような影響を与えるかについては人によって見解が異なるからです。自傷行為の写真は見やすいと思う人もいれば、遭遇するのが難しい、何度も見るのはもっと難しいと思う人もいます。

現在インスタグラムを運営するアダム・モッセリ氏は、同プラットフォームは単に「自殺や自傷行為の問題を扱っているだけ」ではないと認めた。 Pinterest の広報担当者は次のように語っています。「既存のルールでは、自傷行為を助長するコンテンツは許可されていません。しかし、これらのポリシーだけでは不十分であることはわかっています。私たちは、アルゴリズムがユーザーのホームフィードにセンシティブなコンテンツを推奨しないようにするための大幅な改善を行いました。近いうちに、センシティブなコンテンツを検出して削除するより積極的な方法に移行し、センシティブなコンテンツを探している人々にもっと感情的なサポートを提供します。私たちだけではこれを行うことはできません。そのため、私たちはメンタルヘルスの専門家と協力して、アプローチをより効果的なものにしています。」

しかし、こうした変化はますます困難になるでしょう。アルゴリズムによる推奨は、ソーシャル メディアがユーザーをプラットフォームに留めておくための主な手段となっており、なくなる可能性は低いでしょう。これらのアルゴリズムは個々のユーザーのニーズを満たすように最適化されており、集団の利益のために最適化することははるかに困難です。ソーシャルメディア企業は、好ましくないコンテンツと価値のあるコンテンツをより適切に区別し、これらのプラットフォームが精神疾患を持つ人々に及ぼす影響をより適切に認識するために、メンタルヘルスに関するさらなる知識も必要としている。これは Instagram が約束した動きであり、彼らはそれを実行しなければなりません。

[[258318]]

人々はコンテンツを探しているだけではなく、答えを待っていたり、生きる動機を探している場合もあります。アルゴリズムは、人が死にたいと思っていると判断した場合、少なくとも「いいえ、死にたくはありません」と伝えることを学ぶべきです。