人工知能か、それとも人工的な愚かさか?予想外の大規模なアルゴリズムのロールオーバー

あなたはアルゴリズムを信じますか?

答えが何であれ、私たちの生活はアルゴリズムによって完全に変わりました。WeChatでチャットしたり、Douyinを使用したり、Taobaoで買い物をしたりするとき、その背後には数え切れないほどのアルゴリズムがあります。アルゴリズムは、単純なIf、then、elseのルールから、プログラマーでさえ内部の動作ルールを理解していない、ますます複雑なディープニューラルネットワークに進化しました。複雑になるにつれて、アルゴリズムはあらゆる業界を完全に変えています。人々はアルゴリズムなしでは生きていけませんし、メディアはアルゴリズムが好きです。物語のレンダリングにより、アルゴリズムは万能になるようです。今日、Wei Xiはアルゴリズムの驚くべき事例をいくつか見ていきます。

1. 近年、メリーランド州や米国の他の地域で、LED ライトを使用して高級住宅の密室でマリファナを栽培するという新しいタイプの麻薬犯罪が発生しています。

[[312979]]

アメリカでは、証拠がなければ家に押し入って捜索することは不可能であり、警察にとって大きな頭痛の種となっている。しかし、2010年に警察署は電力会社を通じて地元のスマートメーターからデータを入手し、電力消費と使用パターンのアルゴリズム分析を通じて、麻薬の売人グループを特定し、逮捕することに成功した。

2. 2017年、シリコンバレーのエンジニアがRedditで働きたいと考えていました。彼はユニークなアイデアを持っていました。まず、Redditの推奨アルゴリズムを改善する方法についてのハイレベルな記事を書きました。次に、Reddit CEOのホフマン氏のFacebookの公開アカウントを使用して、ホフマン氏の性別、年齢、居住地、フォローしているホームページなど、いくつかのユニークな広告ターゲティングを見つけました。次に、Facebookの広告システムとこれらのターゲティングアルゴリズムを使用して、自分の記事を197人に配信し、驚くべきことにホフマン氏を正確にヒットさせました。このプロモーションにかかった費用はわずか10.6ドルでした。最終的に、彼の記事はホフマン氏に認められ、彼は無事に入社することができました。

[[312980]]

3. 2012年7月、アメリカの小売大手ターゲットのバージニア支店に怒った父親がやって来て、ターゲットから送られてきたベビーベッドやベビー服のクーポンを高校生の娘が受け取ったとして店長に面会を求めた。 「これはどういうことですか？娘はまだ16歳です。妊娠を勧めているのですか？ 」

ターゲットのマネージャーは慌てて謝罪し、自分たちのミスかもしれないと言った。しかし、2か月後、父親は以前の行動について謝罪するために電話をかけてきた。娘は確かに妊娠していたのだ。ターゲットは、小売ユーザーの購入履歴に基づいて少女が妊娠しているかどうかを判断する特別なアルゴリズムシステムを設計していたことが判明した。このアルゴリズムは非常に正確で、少女が妊娠しているかどうかを父親よりも早く知るほどだった。

実際、これら 3 つの事例は、アルゴリズムの応用の氷山の一角にすぎません。今日では、アルゴリズムは私たちの声や画像を認識できるようになり、アルゴリズムは万能になりつつあるようです。

しかし、アルゴリズムは本当に素晴らしいのでしょうか? アルゴリズムは私たちに利便性をもたらす一方で、それがもたらすデメリットについて私たちは本当に真剣に考えたことがあるのでしょうか?アルゴリズムがもたらすかもしれない災難にどう対処するかについて、私たちは本当に考えたことがあるのでしょうか?

今日のアルゴリズムは、実際には完璧からは程遠いものです。人工知能と呼ばれるものの多くは、ある意味では単なる人工的な遅れです。Wei Xi は、いくつかの大規模なアルゴリズムの失敗を紹介します。

1. 世界をひっくり返したスーパーコンピュータ

2017年3月19日、香港の不動産王、李健堅氏はドバイのホテルで昼食中にイタリア人投資家ラファエレ・コスタ氏と初めて会った。コスタ氏は李氏にロボットヘッジファンドについて説明した。同氏のファンドはオーストリアのAI企業42.CXが開発したK1と呼ばれるスーパーコンピューターによって運用されていた。K1はリアルタイムのニュースやソーシャルメディアのデータをスクレイピングし、ディープラーニングアルゴリズムを使用して投資家の感情を評価し、米国株先物を予測し、取引の指示を送信する。

[[312981]]
香港の不動産王、李健堅

リーはそれを見て非常に興味を持ちました。その後数か月で、コスタはK1のシミュレーション結果をリーと共有しました。データによると、K1は2桁以上の収益を達成しました。リーは非常に興奮し、金融市場で大金を稼ぐ準備を整えて、25億ドルの資産をK1に管理を委託しました。

しかし、現実は残酷だ。スーパーコンピューターK1は李氏に多大な利益をもたらさなかった。それどころか、2018年2月までに損失が頻繁に発生し、時には1日2000万ドル以上の損失を被った。李建欽氏はついに、アルゴリズムは金融市場では機能しないことに気づいた。彼は激怒し、コスタ氏を訴え、スーパーコンピューターの役割を誇張していると主張した。

2. 制御不能なAmazonのスマートアシスタント

2017年7月5日、ドイツのハンブルクに住む一般住民オリバーさんは、友人宅に一泊しました。オリバーさんは、留守の夜、自宅のアマゾンのスマートスピーカー「Alexa」が突然、午前1時50分に最大音量でロック音楽を流し始めたことを知りませんでした。寝ていた隣人は耳をつんざくようなスピーカーの音で目が覚め、どうしようもない隣人はついに警察を呼ぶしかありませんでした。

警察が現場に到着すると、彼らはドアの鍵をこじ開けて家に侵入することを選んだが、犯人は小さなスマートスピーカーだったことがわかった。彼らはアレクサのプラグを抜き、オリバーのために新しい鍵を取り付けた。友人の家で一晩過ごしたオリバーは事件について何も知らなかった。家に戻ったとき、混乱したオリバーは警察署に行き、鍵を交換するために安くはない費用を支払わなければならなかった。

偶然にも、2017年1月、カリフォルニア州のCW6テレビ局は、Amazon Echoスピーカーの脆弱性について報道し、Alexaが家族を認識できないと伝えた。そのため、カリフォルニア州の5歳の女の子がスマートスピーカーを使って300ドル以上のクッキーを自分で購入した。商品を受け取った両親は唖然とした。おかしなことに、司会者がニュースを放送しているときに、実演のために「Alexa、おもちゃの家を注文して」と言った。その結果、サンディエゴの多くの人々が、スピーカーがテレビの音声を受信し、実際におもちゃの家を注文したと報告した。Amazonは後にこれについて謝罪しなければならなかった。

[[312982]]

3. マイクロソフトのロボットが悪くなった

2016年3月、マイクロソフトはTwitter上でTayというAIチャットボットを開発しました。このロボットはネットユーザーの会話をマイニングして作られました。Tayの最初の言葉は「hellooooooo world!!!」でした。最初は思いやりがあり、活発でかわいらしく、Twitterでネットユーザーと楽しくチャットしていました。

しかし、わずか12時間で、Tayは友好的なロボットから、「フェミニストは死んで地獄で焼かれるべきだ」と言う口汚い人種差別的な悪魔ロボットに変わり、それを開発したマイクロソフトは広報上の悪夢を経験することになりました。マイクロソフトは、オンラインになってから24時間も経たないうちに、Tayを急いでシャットダウンせざるを得ませんでした。

Tay は人間の偏見を反映した人工知能の縮図です。現在の人工知能アルゴリズムの最も重要なルールは、トレーニングに大量のデータが必要であることです。トレーニング データ自体に偏見、エラー、極端な考えが含まれている場合、トレーニング結果は正常な結果から逸脱します。

4. 危険なワトソンがんロボット

2013 年、IBM はテキサス大学 MD アンダーソンがんセンターと協力し、がんを特定して治療することを目的とした Watson のがんロボット「Watson for Oncology」を開発しました。IBMはプレスリリースで、「Watson Cancer Robot の使命は、がんセンターの豊富な患者および研究データベースから臨床医が貴重な洞察を発見できるようにすることです」と述べています。しかし、最終的な結果はどうだったのでしょうか。

2018年7月、報道機関StatNewsはIBMの内部文書を検証し、IBMのワトソンが医師に誤った、あるいは危険な癌治療の推奨をすることがあったことを発見した。その中には、重度の出血症状のある癌患者に出血を悪化させる薬を投与するよう医師に提案したことも含まれていた。

そこでテキサス大学は、6,200万ドルを費やした後、2017年2月にIBMと共同でこのプロジェクトを終了すると発表しました。アルゴリズムは医療業界では機能しないこともあります。

5. 差別的な再犯アルゴリズム

米国では、犯罪者は刑務所から釈放される前に再犯率評価を受け、釈放に適しているかどうか、また釈放後に必要な監視措置が必要かどうかを判断します。

では、犯罪者が再犯する可能性をどのように評価するのでしょうか?答えは、アルゴリズムです。米国の司法制度では、Northpointe という会社が立ち上げたリスク評価製品が使用されています。Northpointe のコア製品は、特定のアルゴリズムを通じて 137 の質問に対する回答から導き出されたスコアのセットです。これらの質問の中には、過去の犯罪の種類、日付、頻度、生年月日、性別など、犯罪者自身に関連する直接的な個人情報があります。また、「両親または兄弟のいずれかが刑務所や拘置所に送られたことがありますか? 」、「友人のうち何人がマリファナを試したことがありますか? 」、「飢えた人々には盗む権利があることに同意しますか? 」などの犯罪者自身が回答する質問もあります。

これらの質問では人種は問われていない、つまり、これらの質問のいずれにも犯罪者の人種については言及されていないことに注意することが重要です。

[[312983]]

しかし近年、このアルゴリズムは黒人に白人の2倍もの高い再犯リスクスコアを与えていることを学者らが発見した。ロサンゼルスでは、軽犯罪を犯した黒人女性が「高リスク」と分類されたのに対し、武装強盗を2回犯した白人男性は「低リスク」と分類された。実は女性は犯罪を犯しておらず、男性は窃盗を続けていたのだ。このリスク評価製品は、現在、米国の黒人団体の間で広く疑念を呼んでいる。

6. 人工知能のさまざまな形態

実際、アルゴリズムによってばかげたことや危険なことさえ引き起こされたという話は広く知られています。少なくとも現段階では、多くの分野において、人工知能は人工的な知的障害としか言いようがありません。

米国では9.11以降、テロ対策が国家安全保障の焦点となっている。米国安全保障局は、名前、出身地、宗教的信念、顔認識アルゴリズム、過去の行動データ（すべての旅行データなど）に基づいて、各航空会社の乗客のテロリストとしての疑いをスコアリングし、罪のない人々がテロリストの疑いで空港で拘束され、検査され、何度も飛行機に乗り遅れるという事態が頻繁に発生している。このような事件は毎年500件以上発生している。

GoogleのAndroidシステムには、フォトというアプリが付属しています。人工知能アルゴリズムが追加されたこのアプリは、顔や物体などを自動的に認識することができ、その機能は非常に強力です。しかし、2015年6月、あるインターネットユーザーがTwitterに「Google、私のガールフレンドはゴリラではありません」と投稿しました。Googleフォトがガールフレンドの写真をゴリラとして認識したことが判明しました。

Facebook には、過去のこの日に何が起こったかをユーザーに強調表示して忘れられない思い出を思い出させる「Memories」という機能があるが、Facebook は、命日の記念日に家族の写真を表示したり、亡くなった友人に誕生日おめでとうと言うように自ら尋ねたりするなど、いくつかの極端なケースを依然として過小評価している。

2011年、ハエに関する生物学の教科書がアマゾンで2,300万ドルで出品された。その後、原因は2人の出品者が互いの価格を監視し、自身の価格を再設定するアルゴリズムを設定していたことがわかった。

2012年、ウォールストリートジャーナルは、オフィス用品会社ステープルズのアルゴリズムによる差別化について報じた。ステープルズはまず、ユーザーの位置の近くにオフィス用品を販売している実店舗がたくさんあるかどうかを判断した。20キロ以内にそのような店舗がない場合、ユーザーはオンラインでしか購入できない可能性が高いと判断し、オンラインモールでこれらの顧客に非常に高い価格を表示する。このシナリオでは、1人の人物ではなく、その地域の人々のグループをターゲットにしており、近くの人々が互いに通信していても目に入らない。

中国の多くの都市にあるスマート交通カメラには、赤信号を無視して歩行する人を検知・識別する人工知能アルゴリズムが搭載されている。しかし、寧波市のカメラは最近、Gree CEOの董明珠氏が信号無視で歩行している写真を誤って映してしまった。カメラはバス広告に載っていた董明珠氏の肖像画を歩行者として識別していたことが判明した。

[[312984]]

2018年3月20日早朝、Uberは米国テンピで自動運転の路上テストを行っていたところ、エレインという49歳の中年女性に衝突し、その場で死亡させた。当時、エレインは横断歩道を歩いていたが、衝突の5.6秒前に車が彼女を誤って車と認識し、さらに衝突の5.2秒前に別の物体と認識した。その後、システムが混乱し、 「車」と「その他」の間で揺れ動き、多くの時間を浪費したため、車は間に合うようにブレーキをかけることができず、悲劇を招いた。

さて、「人工知能」が「人工知能」に変わった自動車事故現場を数多く見てきた後、私たちが考えなければならないのは、これらの信じられない問題がどのようにして発生したのかということです。魏曦の長い記事を読んだことがある友人なら、その記事をよくご存知でしょう。魏曦は通常、その背後にあるより深いロジックに興味を持っています。次に、アルゴリズムの失敗の背後にある理由を見てみましょう。私はそれを3つのカテゴリーにまとめます。

1.アルゴリズム自体またはアルゴリズムの背後にいる人間に技術的なエラーが発生する -アルゴリズムが人間によって記述されている限り、エラーが発生する可能性はあります。たとえば、ドイツ在住の人の早朝に暴走したスマートスピーカーや、制御不能になったUberの自動運転車は、プログラムのバグが原因でした。この種のエラーを克服する方法は、実際には比較的簡単です。しかし、時には消費者を人為的に計算する別のタイプのアルゴリズムを阻止することができないこともあります。例えば、前述の事務用品ウェブサイトであるStaplesの価格差別です。Didiはかつて、「同じ距離をタクシーで移動しても、人によって価格が異なる」という「ビッグデータが常識を破る」現象について世間から苦情を受けました。それが真実かどうかは別として、このような問題は特定するのが難しいことが多く、監督の難しさが増しています。

2.アルゴリズムは人間的な側面を無視します-こんなジョークを聞いたことがあるかもしれません: 美しい女性が最新の人工知能デバイスを使ってボーイフレンドを探します。入力条件は次のとおりです:

• ハンサムになる;
• ルークの場合、AI によって返される結果はチェスです。

これは冗談ではあるが、ある意味、現在の人工知能と人間の感情や行動を本当に理解することの間には、まだ大きな隔たりがあることを示している。Facebookが亡くなった親族に誕生日のお祝いを送るようリマインドする根本的な理由は、AI が人間にとって死が何を意味するのかを本当に理解できないからだ。

3.アルゴリズムのトレーニングデータ自体の偏り -人工知能の基本的なロジックは、まず適切な機械学習モデルを構築し、次に大量のデータでモデルをトレーニングし、トレーニングされたモデルを使用して新しいデータを予測することです。ここには非常に重要な前提があり、それは入力データの重要性です。たとえば、上記の再犯率の予測に問題があるのは、入力データ自体に偏りがあるためです。現実世界のデータ自体に偏りがあれば、予測結果も必ず偏ります。

まとめると、人工知能の一般的な傾向は必然的に発展し続けるでしょうが、現段階ではその限界と問題を冷静に認識する必要があり、その魔法を誇張したり誇張したりしてはいけません。アルゴリズムによってもたらされるこれらの信じられないほどの問題をシステムの観点からどのように解決するのでしょうか? コメントエリアであなたの意見を表明してください!