AIトレーニングの裏話を公開：専門家だけでなく、世界中の無数のオフィスワーカーもAIの進化に貢献している

要点:

1. AI システムが学習する前に、入力されたデータにラベルを付ける作業が必要です。これは、自動運転車、監視システム、自動化された医療などの AI を作成する上で非常に重要な作業です。
2. 大手テクノロジー企業は、外部の企業と保管し共有している膨大な量の個人データについてプライバシー活動家からの懸念が高まる中、データに注釈を付ける取り組みについて沈黙を守っていることが多い。
3. 在宅勤務が多い何万人ものオフィスワーカーや独立請負業者が、Amazon Mechanical Turk などのクラウドソーシング サービスを通じてデータに注釈を付けたりラベルを付けたりしており、1 ラベルあたりわずか数セントしか稼いでいません。

外国メディアの報道によると、ベンガル湾から約60キロ離れたインドのブヴァネーシュワールの中心部で、ナミタ・プラダンさんは机に座り、地球の反対側にある病院で録画されたビデオを見つめていた。

このビデオには、大腸の内部が映っており、プラダン医師はポリープを探している。ポリープとは、がんを引き起こす可能性があり、少しぬるぬるしたニキビのように見える大腸の小さな腫瘍のことである。ポリープを見つけると、彼女はコンピューターのマウスとキーボードを使って、その小さな突起の周りにデジタルの円を描き、それをマークします。プラダン氏は特別な医学教育を受けたことはないが、最終的には医師の仕事をこなせるようになる人工知能（AI）システムのトレーニングに協力している。

小さなオフィスビルの4階で、プラダンさんは机に向かって熱心に働く何十人もの若いインド人男女のうちの1人だ。彼らはさまざまなデジタル画像に注釈を付ける訓練を受けており、街頭の一時停止標識や歩行者から衛星写真の工場やタンクローリーまで、あらゆるものを正確に特定することができます。

テクノロジー業界のほとんどの人は、AI が業界の未来であり、機械学習と呼ばれるもののおかげでテクノロジーが急速に進歩していると言うでしょう。しかし、ハイテク企業の幹部は、自社の製品開発に注がれる労働集約的な取り組みについてほとんど語らない。 AIは人間から、そして多くの人間から学んでいます。

しかし、AI システムが学習する前に、入力されたデータにラベルを付ける作業が必要になります。たとえば、人間はポリープを正確に見つけなければなりません。この研究は、自動運転車、監視システム、自動化医療のための AI の開発に極めて重要です。しかし、ハイテク企業は、外部の企業に保存し共有している膨大な量の個人データについてプライバシー擁護者から懸念が高まっているため、この取り組みについては沈黙を守っている。

今年初め、シニア技術編集者のケイド・メッツ氏は、シリコンバレーの魔術師たちがめったに同意することのない、AIトレーニングの舞台裏を私たちに見せてくれた。メッツ氏はインドを歩き回り、AI システムをトレーニングするために必要な、ほぼ終わりのない反復作業を行っている人々がいる 5 つのオフィスを訪問しました。これらはすべて iMerit という会社が運営しています。

プラダンさんのような腸の検査官や、良い咳と悪い咳を区別する専門家、言語の専門家、道路標識を識別する専門家もいる。歩行者とは何でしょうか? それは二重の黄色い線でしょうか、それとも白い破線でしょうか? 将来的には、ロボットカーはそれらの違いを認識する必要があります。

メッツ氏が見ているシナリオは、私たちが想像する未来、あるいは少なくとも皆さんが想像する自動化された未来とはあまり似ていないようです。オフィスはコールセンターや決済処理センターである可能性があり、そのうちの1つは、歩行者や三輪タクシー、露天商で混雑するコルカタ西部の低所得者向け住宅街の真ん中にある古いアパートの建物内にあります。彼が訪問したブヴァネーシュワールや、インド、ネパール、フィリピン、東アフリカ、米国の他の都市では、何万人ものオフィスワーカーがマシントレーニングに専念している。

在宅勤務が多い独立請負業者である何万人もの労働者も、Amazon Mechanical Turk などのクラウドソーシングサービスを通じてデータに注釈を付けている。Amazon Mechanical Turk では、誰でも米国やその他の国の独立労働者にデジタルタスクを割り当てることができ、ラベル 1 つにつき数セント稼ぐことができる。

インドに拠点を置く iMerit は、テクノロジー業界や自動車業界の多くの大手企業のデータにラベルを付けています。同社は秘密保持契約を理由に、顧客の名前を公表することを拒否した。しかし同社は最近、世界9か所のオフィスで働く2,000人以上の従業員がAmazonのオンラインデータラベリングサービス「SageMaker Ground Truth」に貢献していることを明らかにした。以前は、マイクロソフトも顧客として挙げられていました。

確かに、AI は将来的に雇用市場を空洞化させる可能性が高い。しかし、今のところは比較的低賃金の仕事を生み出している。調査会社コグニリティカによると、データラベリング市場は2018年に5億ドル以上の価値があり、2023年までに12億ドルに達すると予想されている。調査によると、この種の作業は AI テクノロジーの構築に費やされる時間の 80% を占めています。

この仕事は搾取的でしょうか? それはあなたがどこに住んでいるか、何をしているかによります。インドでは、それは中流階級への切符です。これはアメリカのニューオーリンズではまともな仕事です。しかし、独立請負業者として働く人々にとって、これはしばしば後戻りできないポイントとなります。

ビデオや医療スキャンで病気の兆候を見つける、車や木の画像の周囲にデジタル投げ縄を描くときに手を安定させるなど、いくつかのスキルは習得する必要があります。場合によっては、医療ビデオ、ポルノ、暴力的な画像などが含まれる仕事になると、仕事が恐ろしいものになることもあります。

「初めてこういうものを見たときは、本当に不安になります」と、アマゾン・メカニカル・タークで何年もデータのラベル付けをし、同サービスで働く労働者の代理として労働運動家になったクリスティ・ミランド氏は言う。「仕事に戻りたくなくなるでしょう。おそらく戻りません」 「仕事を失う余裕のない私たちは、ただそれに耐えて生きていくしかない」と彼女は語った。

インドに行く前に、メッツさんはクラウドソーシングサービスで画像にラベルを付け、ナイキのロゴの周りにデジタルボックスを描き、「職場で閲覧不可」の画像を特定しようとした。彼は当時とても不器用なようでした。彼は仕事を始める前に試験に合格しなければならなかったが、3回連続で不合格になった。人々がサイト上の小売商品を即座に検索できるように画像にラベルを付けるということは、裸の女性や大人のおもちゃの粗野な画像を「NSFW」として識別するために時間をかけることはもちろん、あまり刺激的ではありません。

AI研究者は、少量のデータから学習できるシステムを構築できることを期待しています。しかし、人間の労働は近い将来も不可欠なものであり続けるだろう。 「テクノロジーの下に隠された世界は拡大し続けており、人間をその輪から外すことは難しい」とマイクロソフトの人類学者メアリー・グレイ氏は語った。

寺院の街

ブヴァネーシュワルは「寺院の街」としても知られています。市の南西端にある道端の市場の上には、10 世紀に遡る巨大な石の塔を含む古代ヒンドゥー教の神社が建っています。市内中心部では多くの道路が舗装されていません。牛や野犬がモペットや車、トラックの間を歩き回っています。

人口83万人のこの都市は、オンライン労働力の急成長拠点でもある。寺から車で約15分、市街地に近い舗装道路沿いに、石垣の向こうに白い4階建ての建物が建っています。内部には長い机が置かれた 3 つの部屋があり、各部屋にはワイドスクリーンのコンピューター モニターが備え付けられています。ここでプラダンさんがビデオにタグを付けます。

24歳のプラダンさんは市外で育ち、地元の大学で生物学などの科目を学び学位を取得した後、iMeritに就職した。これは、すでにその会社で働いていた彼女の兄が勧めた仕事だった。プラダンさんは平日はオフィス近くのホステルに滞在し、週末ごとにバスで帰宅していた。

メッツ氏は1月にプラダン氏の事務所を訪問した。インドの伝統衣装と長い金のイヤリングを身に着けた多くの女性が長いテーブルに座っていた。緑の長袖シャツ、黒のズボン、白い編み上げ靴を履いたプラダンさんは、米国の顧客向けのビデオに注釈をつけていた。内気なこの女性は、通常の8時間勤務中に、大腸内視鏡検査のビデオを12本ほど視聴し、常に巻き戻して個々のフレームを詳しく観察していた。

時々、プラダンさんは探しているものを見つけると、その周りにデジタルの「境界ボックス」を置きます。彼女はこのような箱を何百枚も描き、ポリープや血栓、炎症などの病気の兆候にラベルを付けた。

プラダン氏のクライアントである米国企業は、iMeritが名前を明かすことを禁じられているが、最終的にはプラダン氏の研究成果をAIシステムに取り込み、AIシステムが自ら病状を認識できるように学習させる予定だ。大腸内視鏡の所有者は必ずしもビデオの存在を認識していたわけではなく、プラダン氏もビデオの出所を知らなかったし、iMeritも知らなかった。

プラダンさんは、研修を受けていない医師との7日間のオンラインビデオ通話でこの仕事を学んだ。カリフォルニア州オークランドに住むこの医師は、iMerit の多くのオフィスでスタッフのトレーニングに協力しています。しかし、経験豊富な医師や医学生が自らこの種のラベル付けを行うべきかどうか疑問視する声もある。

この仕事には「医学的背景と解剖学および病理学の知識を持つ人」が必要だと、ウェイル・コーネル・メディシンとニューヨーク・プレスビテリアン病院の放射線科医であり、スタートアップ企業MD.aiの共同創業者でもあるジョージ・シー博士は語った。 MD.ai は、企業がヘルスケア向け AI を構築するのを支援します。

プラダンさんの仕事について彼女は「興味深い」けれど疲れると語った。このビデオの残酷さについてはどうか？「最初は気持ち悪いですが、そのうち慣れてきます」と彼女は認めた。

Pradhan 氏が注釈を付けた画像はひどいものでしたが、iMerit によって処理された他の画像ほどひどいものではありませんでした。同社の顧客は、ソーシャル ネットワークやその他のオンライン サービス上の不要な画像を識別して削除できる AI も構築しています。これは、ポルノ、暴力、その他の不快な画像にラベルを付けることを意味します。

この作業は専門家にとって非常に不安になる可能性があるため、iMerit ではレビューするこの種のコンテンツの量を制限しようとしています。 AIスタートアップ企業クラリファイでデータ注釈を監督するリズ・オサリバン氏は、ポルノや暴力の画像がより無害な画像と混ざっており、残酷なラベルの付いた画像は他の従業員を守るため別の部屋に隔離されていると述べた。オサリバン氏はこうしたプロジェクトで iMerit と緊密に協力してきました。

他のラベリング会社では、従業員がこれらの画像に無制限に注釈を付けることを許可するだろうとオサリバン氏は述べた。 「これがPTSDやもっとひどい症状につながったとしても驚きません」と彼女は言う。「道徳的に非難されるべきではない企業は、単にこの責任を引き受けたくないのです。ポルノや暴力を他の仕事で埋めなければならず、労働者がポルノや斬首などを見なくて済むようにしなければなりません。」

アイメリットは声明で、従業員にポルノやその他の不快なコンテンツの閲覧を強制することはなく、監視システムの改善に役立つ場合にのみ作業を引き受けると述べた。同社の幹部によれば、プラダン氏や他のラベル作成者は月に150ドルから200ドルを稼ぎ、iMerit社には800ドルから1,000ドルの収益をもたらしている。

アメリカの基準からすると、プラダンの給料は信じられないほど低い。しかし、彼女やこれらのオフィスで働く他の多くの人々にとって、それはデータ入力の仕事の平均賃金とほぼ同じです。仕事は退屈だったが、アパートの家賃を払うのに役立った。

プラセンジット・バイディアさんは、インド東海岸の西ベンガル州最大の都市コルカタから約50キロ離れた農場で育った。彼の両親と親戚は、彼が幼少期に住んでいた家、1800年代初頭に建てられたレンガ造りの家に今も住んでいます。彼らは周囲の畑で米やヒマワリを栽培し、屋根を覆うカーペットの上で種を乾燥させます。

彼は家族の中で初めて、コンピューターの授業を含む大学教育を受けた人物でした。しかし、学校ではそれほど多くの知識は教えられませんでした。教室には平均して生徒 25 人につき 1 台のコンピューターがありました。彼は大学卒業後、非営利団体「アヌディップ」が運営するトレーニングコースに登録し、独学でコンピュータースキルを習得した。これは友人に勧められたもので、月額 5 ドル相当の費用がかかります。

アヌディップ氏はインド全土で英語とコンピューターのコースを運営しており、毎年約22,000人をトレーニングしている。この代理店は、創設者が2013年に姉妹会社として設立したiMeritに学生を直接紹介しています。バイディアさんはアヌディップさんを通じてコルカタのiMeritオフィスで仕事を見つけた。近くの村で育った妻のバルナリ・パイクさんも同様だった。

iMerit は過去 6 年間で Anudip から 1,600 人以上の学生を採用しました。現在、同社には合計約2,500人の従業員がおり、そのうち80%以上が月収150ドル未満の家庭出身である。

2012年に設立され、現在も非公開企業であるiMeritでは、音声ファイルの文字起こしや写真内の物体の識別といったデジタルタスクを従業員に行わせている。世界中の企業が同社に資金を提供し、AIのトレーニング作業に協力するケースが増えている。 「低所得層の人々をテクノロジー業界に迎え入れたい」と、夫のディパック氏とともにアヌディップとアイメリットを共同設立したラダ・バス氏は言う。バス氏とディパック氏は長年、シスコやHPなどのテクノロジー大手企業でシリコンバレーで働いてきた。

これらの労働者の平均年齢は24歳です。バイディヤさんと同様に、彼らのほとんどは農村部から来ています。同社は最近、コルカタ西部のイスラム教徒が多数を占めるメティアブルズ地区に新オフィスを開設した。そこでは、家族が賑やかな地域から彼女たちを立ち去らせたがらないイスラム教徒の女性たちが主に雇用されている。ポルノ画像や暴力的なコンテンツを見るように求められたわけではありません。

当初、iMerit はオンライン小売サイトの商品リストのキュレーションやソーシャルメディアの投稿の確認といった単純なタスクに重点を置いていましたが、AI を活用した業務へと移行しました。 iMerit や同様の企業の成長は、Mechanical Turk のようなクラウドソーシング サービスからの移行を表しています。 iMerit とその顧客は、従業員のトレーニング方法や仕事の進め方をより細かく制御できるようになります。

バイディア氏は現在、iMerit社のマネージャーとして、米国の大手企業が自動運転車の訓練に使う街の風景にラベルを付ける取り組みを監督している。彼のチームは、デジタル写真や LIDAR で撮影した 3D 画像を分析し、ラベル付けを行っています。彼らは、車、歩行者、一時停止標識、電線の周囲に境界ボックスを描くことに日々を費やしています。

バイディアさんは、この仕事は退屈かもしれないが、他の方法では得られなかったかもしれない人生を与えてくれると語った。彼と妻は最近、妻が勤務するiMeritのオフィスから徒歩圏内のコルカタにアパートを購入した。 「私の人生は経済的にも、個人的にも、そして英語力の面でも素晴らしい形で変わりました」とバイディアさんは言う。「私にはチャンスがあったのです！」

咳をする人の声を聞く

インド旅行から数週間後、メッツさんはニューオーリンズのダウンタウンをウーバーで巡った。 iMerit は約 18 か月前にスーパードームの向かいのビルに移転しました。米国の大手テクノロジー企業は、家庭用デジタルアシスタントのスペイン語版のデータにラベルを付ける方法を必要としていました。そこで同社は、ニューオーリンズにある新しい iMerit オフィスにデータを送信しました。

2005年のハリケーン・カトリーナの後、何百人もの建設労働者とその家族が街の再建を手伝うためにニューオーリンズに移住し、多くがそのままそこに留まりました。この新しい労働力には多くのスペイン語話者が加わり、企業は彼らを雇用し始めました。

23歳のオスカー・カベサスは母親とともにコロンビアからニューオーリンズに移住した。義父は建設現場で仕事を見つけ、大学卒業後、カベサス氏はiMeritに入社し、スペイン語のデジタルアシスタントの開発を始めました。

彼はツイートからレストランのレビューまであらゆるものに注釈を付け、人物や場所を特定し、曖昧さを指摘します。たとえば、グアテマラでは「ピスト」はお金を意味しますが、メキシコではビールを意味します。彼はこう言いました。「毎日新しいプロジェクトがあります。」

同局の業務は他の分野にも拡大し、データを米国内に保管したい企業にもサービスを提供している。一部の品目は、法律上および安全上の理由により米国内に留まらなければなりません。

グアテマラ生まれの42歳のグレンダ・ヘルナンデスさんは、デジタルアシスタントプロジェクトでの以前の仕事が懐かしいと語った。彼女は読書が大好きで、大手出版社のためにオンラインで本をレビューして無料で本を入手し、スペイン語でレビューすることで得られる有料の読書の機会を楽しんでいます。

ヘルナンデス氏は、画像のタグ付けや、咳をしている人の録音に注釈を付けるといったプロジェクトにはあまり興味がないが、それは電話で病気の症状を認識できる AI を構築する 1 つの方法だ。 「一日中咳の音を聞くのはちょっとうんざりだ！」マイクロソフトの人類学者グレイ氏は、この作品は簡単に誤解される可能性があると語った。一日中咳をしている人の声を聞くのは不快かもしれませんが、医者も同じように日々を過ごしています。 「私たちはそれを面倒な仕事だとは思っていません」と彼女は言った。

ヘルナンデスさんの仕事は、医師が仕事をするのを手伝うこと、あるいはいつか医師に代わることです。彼女はそれを誇りに思っています。プログラムについて不満を述べた後すぐに、彼女はオフィスの同僚を指差してこう言った。「私たちはみんな咳の診断の達人です。」

"私は終わった"

2005 年、クリスティ・ミランドは Amazon Mechanical Turk で初めての仕事に就きました。彼女は当時26歳で、地元の倉庫を経営する夫とトロントに住んでいました。 Amazon Mechanical Turk は、余分なお金を稼ぐ方法です。

最初のプロジェクトはAmazon独自のものです。ミランドさんのノートパソコンには店先の写真が3枚表示され、彼女はその中から正面玄関が写っている写真を選びました。アマゾンはGoogleストリートビューに似たオンラインサービスを構築しており、最適な写真を選択するための支援を必要としている。

彼女はクリックごとに 0.03 ドル、つまり 1 分あたり約 0.18 ドルを稼ぎます。 2010年にミランドさんの夫が職を失ったとき、Amazon Mechanical Turkが彼女のフルタイムの仕事になった。彼女は2年間、週に6～7日、時には1日17時間も働いていました。彼女の年収は約5万ドルです。ミランド氏は「当時は十分だったが、今は十分ではない」と語った。

当時の仕事にはAIはあまり関係ありませんでした。別のプロジェクトでは、ミッドランドは住宅ローン書類から情報を抽出したり、名刺の写真から名前や住所を再入力したりしていたが、時給わずか1ドルという時給しか稼げないこともあった。

2010年頃、ミランド氏は AI プロジェクトにラベルを付け始めました。彼女は、Twitter に投稿された残酷な画像 (これは、ソーシャル ネットワークから残酷な画像を削除する AI の構築に役立ちます) や、おそらく軍とそのパートナーがドローンの標的を識別するために構築している AI のために、中東のどこかで撮影されたと思われる航空写真など、多岐にわたるデータをタグ付けしました。

ミランド氏によると、米国のハイテク大手からのプロジェクトは通常、通常の仕事よりも時給が15ドルほど高いという。しかし、健康保険や有給休暇のない仕事は、気が遠くなったり、ひどく不安になったりする可能性がある。彼女はこれを「恐ろしい搾取」と呼び、アマゾンはコメントを控えた。

40歳のミッドランドさんは2012年以来、この種の仕事に従事する何千人もの人々の労働条件の改善を目指す「ターカーネーション」という団体に所属している。彼女は今年4月、14年間の勤務を経て退職した。

ミランドさんは法科大学院に通っており、夫の収入は光熱費を除いて毎月支払う家賃より600ドル少ない。つまり、彼らは借金を負う準備をしているのです。しかし、彼女はデータのラベル付けに戻るつもりはない。彼女はこう言った。「これはディストピア的な未来よ。もううんざりよ！」