Google の社内機械学習プロジェクト「Project Ninja」の秘密を解明します。

すべての製品に人工知能を統合したい場合は、強力な機械学習チームを育成する必要があります。

Google のエンジニア、カーソン・ホルゲー​​トは忍者になるための訓練を受けている。

この訓練には格闘技は含まれていないが、格闘技に関しては、26歳のホルゲートはすでにテコンドー二段の黒帯を持つ専門家である。トレーニングは主にアルゴリズムを対象としています。ホルゲートさんは数週間にわたってこのトレーニングを行ってきました。このトレーニングは、体力よりも強力なスキル、機械学習（ML）を習得するためのものです。

ホルゲート氏はグーグルのAndroid部門のエンジニアであり、同社が毎年開催する機械学習の「Ninjaプログラム」に選ばれた18人のプログラマーの1人だ。このプログラムには、チーム全体から優秀なプログラマーが集められる。エンダー氏のやり方は、たとえ開発するプログラムが理解しにくくなっても、製品をよりスマートにできる機械学習の手法を彼らに教えるというものだ。

[[202200]]

Googleエンジニアのホルゲート

クリスティン・ロブソンさんはよく「機械学習の達人になりたいですか？」と尋ねます。ロブソンさんは Google 社内の機械学習プログラムのプロダクト マネージャーであり、学習プロジェクトの管理も担当しています。 「

そこで、Wired 誌は Google の同僚をプロジェクトに参加するよう招待し、6 か月間機械学習に重点を置き、教師から学び、機械学習に集中し、いくつかのプロジェクトを実行し、プロジェクトを開始しました。彼らはこの 6 か月間で多くのことを得るでしょう。 ”

ホルゲート氏はコンピューターサイエンスと数学の学位を取得して4年前にGoogleに入社した。彼女にとって、それは学習アルゴリズム（学習者）と膨大な量のデータを使用してソフトウェアにタスクの完了を「教える」という最先端のテクノロジーを習得するチャンスでした。

最近の研究結果によれば、ニューラルネットワークは人間の脳を超える可能性もあるという。 Google は、機械学習を標準にすることを目指して、社内でのエリート研修を拡大することを決意しています。

ホルゲートのようなエンジニアにとって、Ninja プログラムは、最高の人材から学ぶことでテクノロジーの最前線に躍り出るチャンスです。 「彼らは素晴らしいモデルを開発し、博士号も持っている人たちです」と彼女は畏敬の念を隠しきれない様子で語った。

Google には大規模な労働力があり (60,000 人の従業員のうち約半数がエンジニア)、これは小さなプロジェクトにすぎません。しかし、このプロジェクトは Google 社内の考え方の転換を示すものである。

機械学習は Google にとって長い間技術であり、Google は業界の専門家の採用でも先頭に立ってきましたが、Google が機械学習技術に本格的に取り組み始めたのは 2016 年頃になってからでした。

昨年末の電話会議で、グーグルのCEOサンダー・ピチャイ氏は次のように述べた。「検索、広告、YouTube、Playなど、すべての製品にこれを適用するよう努めます。」

機械学習に関するベストセラー本『The Master Algorithm』の著者、ペドロ・ドミンゴス氏はこう述べています。「機械学習は新しいものです。機械学習は自ら学習できるテクノロジーです。」

「この方法で問題を解決したい人が増えれば増えるほど、私たちの仕事は良くなる」と、Google の ML プログラムを率いるジェフ・ディーン氏は言う。同氏の推定によると、Google のエンジニア 25,000 人のうち、機械学習を理解しているのはわずか数千人、つまり約 10% だ。彼はその割合が100％に近づくことを望んでいる。 「すべてのエンジニアが機械学習について少しでも学べたら素晴らしいだろう」と彼は語った。

[[202201]]

ジョン・ジャナンドレアは長年にわたり Google の機械学習の主要な推進者であり、最近では検索部門の責任者に就任しました。

しかし、2010 年に Google に入社したとき (Google が MetaWeb を買収し、その膨大な人、場所、物のデータベースがナレッジ グラフとして Google 検索の一部になった)、彼には機械学習やニューラル ネットワークの経験がほとんどありませんでした。

2011年頃、彼はNeural Information Processing Systems (NIPS) カンファレンスのニュースに衝撃を受けました。毎年、NIPS の何らかのチームが、機械翻訳、音声認識、視覚処理など、問題を解決するためのこれまでの取り組みを吹き飛ばすような機械学習の結果をリリースしているようです。

「初めて見たときは、NIPS はまだぼんやりした感じでした」と彼は言う。「しかし、過去 3 年間で、この分野は学術界から産業界へと急速に成長しました。昨年は 6,000 人が参加したと思います。」

[[202202]]

Google Brainの責任者、ジェフ・ディーン

ジェフ・ディーン: 典型的な Google コンピューター サイエンティスト。現在は機械学習ツールを構築し、チームを率いています。これらの改良されたニューラル ネットワーク アルゴリズムは、ムーアの法則によるより強力な計算能力と、Google や Facebook などの企業の膨大なユーザーから得られる行動データの指数関数的な増加と相まって、まだ始まったばかりの機械学習の新時代を先導しました。

Giannandrea は、会社の中核とみなされるプロジェクトに参加しました。その中には、Google Brain の共同創設者であるディーンもいます。彼のニューラル ネットワーク プロジェクトは、同社の研究部門である Google X (現在は単に X と呼ばれています) から始まりました。

Google による機械学習の採用は、単なるプログラミング技術の転換ではありません。これは、コンピューターに無限のパワーを与えることができるテクノロジーに対する真剣な取り組みです。その最先端性は、脳によって制御される複雑なニューラル ネットワークを中心に構築された「ディープラーニング」アルゴリズムにあります。

Google Brain はディープラーニング プロジェクトです。 2014年1月にGoogleに買収された（報道によると5億ドル）AI企業Deepmindも、この分野の研究に力を入れている。

ディープマインドが開発したアルファ碁が世界囲碁チャンピオンを破り、知能機械の性能に対する人々の本来の想像力を打ち砕き、知能機械や殺人ロボットを恐れる人々の心に不安の波紋を引き起こした。

ジャンナンドレア氏は、AI が人類を滅ぼすという無知な発言を払拭し、機械学習システムが医療診断から自動車の運転まであらゆる分野で革命を起こすと確信している。機械学習は人間を変えるでしょうが、人間に取って代わることはありません。

ジャンナンドレア氏は、機械学習の活用例として Google フォトを挙げた。彼はボーダーコリーの写真をいくつか見せてくれました。

同氏は、学習を通じてコン​​ピューターはボーダーコリーがどのような外見をしているかを「知る」ことができ、子犬のときや成犬のとき、毛が長いとき、頭を剃ったときの写真も見つけることができると説明した。もちろん人間もこれを行うことができます。しかし、人間は何百万ものイラストから何万もの犬の品種を同時に識別することはできませんが、機械学習システムなら可能です。

機械が 1 つの種を認識すれば、同じ技術を使用して他の 9,999 種を識別することができます。 「それが新しい点です」とジャンナンドレア氏は言う。「こうした狭い領域では、学習したシステムの中に、いわゆる超人的なパフォーマンスが見られるのです。」

[[202203]]

もちろん、Google は機械学習の概念を長い間理解しており、その創設者たちは常に AI の力を信じてきました。機械学習はすでに多くの Google 製品で使用されています。(初期の機械学習では、より直接的な統計的手法が使用されることが多かったです。)

実際、10年以上前に、Googleはエンジニアに機械学習を教える社内コースを開始しました。

コーエン氏は、Google のアプリケーションの規模に匹敵できる者はいない（おそらく国防総省を除く）ため、このような社内コースを教えることができるのは Google 社員自身だけだと考えている。

コースはあまりにも人気が出たため、制御不能になり始めました。バンガロール事務所の職員は出席するために深夜まで起きていなければならなかった。数年後、Google のエンジニア数名がコースを短い動画に変更し、ライブ授業は中止されました。コーエン氏は、それが MOOC の先駆けとなるには十分かもしれないと考えました。

その後数年間、Google ではさまざまな ML トレーニングを実施しましたが、どれも体系的に整理され、首尾一貫して実行されていませんでした。コーエン氏は2013年にGoogleを去る直前、「MLは突然Googleで大きな問題になった」と語った。

この認識が定着したのは、2012年にジャナンドレア氏が「この仕事をする人々のグループを募集」し、彼らを別のオフィスビルに配置することを決めたときだった。 X部門から独立したGoogle Brainも参​​加した。 「

エンジニアが開発した機械学習の成果は、Google の人気製品にどんどん取り入れられています。

機械学習の主要分野は視覚、音声、音声認識、翻訳であるため、ML が音声検索、翻訳、フォトの主要部分になっているのも不思議ではありません。さらに驚くべきは、機械学習をすべての製品に統合する取り組みです。

ジェフ・ディーン氏は、彼と彼のチームの機械学習に対する理解が深まるにつれて、彼らの探求はより野心的になったと述べています。 「

これまでは、システム内の一部のサブ機能にのみ機械学習技術を使用していましたが、現在は、システムごとにより優れた機械学習モデルを設計するのではなく、この技術を使用してシステム全体を置き換えたいと考えています。 ”

ディーン氏は、もし今グーグルのインフラを再設計するとしたら、そのほとんどはコーディングではなく学習を通じて達成されるだろうと語った。 Dean 氏は、Bit Table や MapReduce などの革新的なシステムの共同作成者として最もよく知られています。

[[202204]]

Google Brainの共同創設者、グレッグ・コラード

Google Brain の共同創設者である Greg Corrado 氏と彼の製品チームは、AI と機械学習をソフトウェアに統合し、これまで想像もできなかった製品機能を実現することに取り組んでいます。一例として、2015 年 11 月にリリースされた Gmail 向け Smart Reply が挙げられます。

この機能は、グレイ氏と元Gmailエンジニアのバーリント・ミクローシュ氏の会話から着想を得たものだ。 (Miklos 氏は Gmail でスパム検出と電子メール分類のための ML アルゴリズムに取り組んでいました。)

会話の中で、ミクロスはいくつかの大胆な提案をしました。「チームが ML を使用して電子メールの返信を自動的に生成し、モバイル ユーザーが携帯電話の小さなキーボードで返信する難しさから解放されるようにしたらどうでしょうか?

「この突飛な提案に衝撃を受けました」とコラード氏は言う。「しかし、ニューラルネットワーク技術を予測モデルに使用すれば、これは可能かもしれないと考えました。チャンスを見つけたら、試してみるしかありませんでした。」

コラード氏と彼のチームがGmailチームと密接かつ頻繁に連絡を取り合ったことで、Googleの成功の可能性は大幅に高まりました。これは、機械学習の専門家が製品チーム全体に広がるにつれて、より一般的になりつつあるアプローチです。

「機械学習は科学であり芸術でもある」とコラード氏は言う。「料理のようなものです。化学反応もありますが、本当に興味深いものにするには、手元にある材料をどのように組み合わせるかを学ばなければなりません。」

従来の AI テクノロジーは、言語を理解するために音声規則をシステムに埋め込むことに依存していますが、このプロジェクトでは、今日のすべての機械学習と同様に、システムが子供が学習するのと同じように自己学習を可能にするのに十分なデータを保存します。

「私は言語学者から話すことを学んだのではなく、他の人が話すのを聞いて学んだのです」とコラード氏は言う。しかし、スマート リプライが実現可能なのは、その成功の定義が簡単だからだ。目標は、官能的なバーチャル スカーレット ヨハンソンを作成することではなく、実際のメールに返信させることだ。 「

しかし、チームが Smart Reply のテストを開始すると、ユーザーは奇妙なことに気付きました。それは、Smart Reply が不適切で曖昧な言葉を推奨することがよくあるという点です。 「失敗モデルの一つは本当に馬鹿げている」とコラード氏は言う。「システムが混乱すると、『あなたを愛している』と言うようになる」

これはソフトウェアのバグではなく、私たちがソフトウェアに指示したことに関する問題です。いずれにせよ、このプログラムは人間の微妙な行動を学習した。「心配しているなら、『愛しているよ』と言うのは良い防御戦略です。 「コラードは、チームがシステムの熱意を抑えるのに役立ちます。」

アプリを通じて送信された回答の 10 件中 1 件は機械学習システムによって生成されました。 「このプロジェクトが成功したことにまだ少し驚いています」とコラード氏は笑顔で語った。

Smart Reply は、Google ML の有効性を示す多くの例の 1 つにすぎません。

おそらく最終的な転換点は、機械学習が検索の不可欠な要素になったときだろう。検索は Google の主力製品であり、同社の収益のほぼすべてを占めている。

長年にわたり、検索エンジンは Google にとって機械学習アルゴリズムを組み込むには重要すぎるものでした。 「検索は会社にとって非常に大きな部分を占め、上級管理職も深く関わっていたため、私たちが本当に進歩できるのかと懐疑的な人が多かった」とジャンナンドレア氏は語った。

それはある程度、文化的な抵抗です。つまり、物事をコントロールすることを好むプログラマーに、禅のような機械学習の方法に適応してもらうことが必要です。

グーグルの検索事業を長年担当してきたアミット・シンガル氏は、かつて伝説的なコンピューター科学者ジェラルド・サルトン氏の助手だった。

サルトンの文書検索における先駆的な研究に触発されたシンは、セルゲイ・ブリン氏とラリー・ペイジ氏が大学院生時代に書いたコードを、今日のインターネット時代に適応できるプログラムに拡張するのを手伝いました。 （これにより、彼は「回収派」の一員となる。）

彼は20世紀の方法から驚くべき結果を引き出し、Googleの生命線である複雑なシステムに機械学習システムを統合することに疑問を投げかけた。

「Google での最初の 2 年間は、検索品質を担当し、機械学習を使ってランキングを改善しようとしていました」とデビッド パブロ コーエン氏は語ります。「エメットのチームは世界最高であることがわかり、エメットの頭の中にあることをすべてハードコーディングすることで、私たちはさらに向上しました。これ以上のアプローチは望めませんでした。」

2014 年の初めまでに、Google の機械学習の専門家たちは、何かを変える必要があると判断しました。 「ランキングチームと何度も話し合いました」とディーン氏は言う。「少なくとも試してみて、何か学べることがあるかどうか見てみるべきだと考えました。」

彼のチームが考案した実験は、最終的に検索の核心となりました。つまり、ファイルが検索要求にどれだけ近いか（ユーザーのクリック数で測定）をランク付けするということです。 「ニューラルネットワークを使って追加スコアを計算し、それが役立つかどうかを確認できると伝えました。」

最終的な答えは「はい」です。このシステムは現在 Google 検索の一部となっており、RankBrain と呼ばれています。

2015年4月にオンラインになりました。 Google は、検索をどのように改善しているかについて相変わらず控えめです (ロングテールについてですか? それとも、あいまいな検索クエリをより適切に解釈していますか?)。

しかしディーン氏は、RankBrain は「あらゆる検索リクエストに組み込まれている」ため、すべてのランキングに影響を与えるわけではないが、多くの検索リクエストのランキングには影響を与えると述べた。

さらに、非常に効果的です。 Google がランキングを計算する際に使用する数百の「シグナル」（これらのシグナルには、ユーザーの地理的位置や、ページ タイトルが検索リクエストと一致するかどうかなどが含まれます）のうち、RankBrain は現在、有効性の点で上位 3 位にランクされています。

「機械学習を使って検索結果を改善することに成功したことは、当社にとって非常に大きな成果でした」とジャンナンドレア氏は言う。「大きな注目を集めました。」

ワシントン大学の教授であるペドロ・ドミンゴスは、著書『Masters of Algorithms』の中で、別の言い方をしています。「検索派と機械学習派の間では常に争いがありました。最終的には機械学習が勝利しました。」

[[202205]]

Google が直面している新たな課題は、すべてのエンジニアに機械学習を理解させる方法です。

同様の目標を持つ企業は他にもたくさんありますが、その中で最も有名なのは、Google と同様に機械学習とディープラーニングに魅了されている Facebook です。

この分野の卒業生は非常に人気が高くなっており、Google は卒業生にとって魅力的な存在であり続けるために懸命に取り組んでいます。学術界では長年、こんなジョークが飛び交っている。「グーグルは優秀な学生を必要としていなくても、彼らの才​​能が競合他社に奪われるのを防ぐために彼らを採用するだろう」 （このジョークの欠点は、Google が本当にこれらの人材を必要としているということだ。）

「私の生徒全員が例外なくグーグルからオファーを受けた」とドミンゴス氏は語った。そして、競争はますます激しくなっているようだ。つい最近、Google はチューリッヒに新しい機械学習ラボを開設し、多くの職を募集すると発表している。

しかし、学術プログラムではまだ十分な数の機械学習の専門家が輩出されていないため、従業員のトレーニングは必須です。しかし、これは簡単なことではありません。特に、多くの世界クラスのエンジニアがプログラミングを通じて魔法の世界を実現することに専念している Google のような企業ではなおさらです。

機械学習にはまったく異なる考え方が必要です。マスター プログラマーが今日の地位を獲得したのは、コーディング システムを完全に制御したいという思いからであることが多いです。

機械学習には数学と統計の知識も必要ですが、非常に長いコードを書くことができるスーパーハッカーでさえ、多くのプログラマーはこれを軽視しています。

クリスティン・ロバートソンは、機械学習技術に携わる Google 社員と外部人材の育成を担当しています。これにはある程度の忍耐が必要です。

「機械学習モデルは静的にコード化されているわけではありません。データを継続的に投入する必要があります」とロバートソン氏は言う。「私たちは常にモデルを更新し、学習し、データを追加し、予測を調整しています。まるで生きて呼吸しているようなものです。これは別の種類のエンジニアリングです。」

[[202206]]

クリステン

「これは、無数のアルゴリズムを試し、それが使用されるシナリオに本当に適切なトレーニングデータを選択する分野です」とジャンナンドレア氏は語った。彼は検索事業の新責任者でもあるが、Google 内で機械学習の概念を広めることも自分の仕事の一部だと考えている。

「コンピューターサイエンスの部分がなくなることはないが、数学と統計にもっと重点を置き、数十万行のコードへの重点を下げる必要がある。」

Google が懸念している障害については、スマートな社内トレーニングを通じて解決できます。 「結局のところ、これらのモデルで使用されている数学はそれほど複雑ではありません」とディーン氏は言う。「Google に雇用されているほとんどのソフトウェア エンジニアはそれを実行できます。」

Google は、成長を続ける機械学習の専門家チームをさらに支援するために、モデルをトレーニングするための適切なアルゴリズムを選択し、トレーニングと改良のプロセスを高速化するのに役立つ一連の強力なツールを開発しました。

これらの中で最も強力なのは、ニューラル ネットワークの構築プロセスを高速化する TensorFlow です。

[[202207]] T

SensorFlow は Google Brain プロジェクトから生まれ、Dean 氏とその同僚 Rajat Monga 氏によって共同発明されました。これは、Google が 2015 年 11 月にこれを一般公開して以来、建物システムの難解な詳細を標準化するものです。

グーグルは今回の動きを無私無欲なものと表現しようと苦心したが、新世代のプログラマーが同社の社内機械学習ツールに慣れれば、将来の採用に役立つ可能性があると認めた。

（懐疑論者は、Google のオープンソース TensorFlow プロジェクトは、2015 年 6 月に初期の機械学習システム用のディープラーニング モジュールである Torch をすでにリリースしていた Facebook に追いつくことを目的としていたとさえ指摘しています。）

しかし、TensorFlow の機能と Google のオープンソース モデルは、プログラマーの間で急速に人気を博しました。ジャンナンドレア氏によると、Googleが初めてTensorFlowコースを提供した際、7万5000人が登録したという。

しかし、Google は自社のプログラマー向けに優れたものをまだたくさん残しています。同社は社内に、Tensor Processing Unit (以下、「TPU」) という優れた機械学習ツールセットを保有しています。彼らはこの革新的な技術を長年使用してきましたが、それを一般に発表したのはつい最近のことです。

これは、GPU がグラフィック処理に最適化されたチップであるのと同様に、機械学習プログラムに最適化されたプロセッサです。同社の大規模なデータセンターでは何千もの TPU が使用されています (その数は神とペイジだけが知っています)。

TPU は、ニューラル ネットワークにこのスーパーコンピューティング能力を与えることで、Google に大きな優位性をもたらします。 「RankBrain がなければ実現できなかったでしょう」と Dean 氏は語ります。

また、エンジニアに機械学習のトレーニングを提供するためのさまざまな方法を常に模索しています。これらのトレーニングは、2 日間の短期集中コースなど、規模がさまざまです。

Google は、これが単なる最初の試みであり、エンジニアが学習を深めるためにさらなるリソースを探すことを期待しています。 「次のコースにはすでに何千人もの人が申し込んでいます」とディーン氏は語った。

さらに、いくつかの小規模プロジェクトでは、外部の優秀な人材が Google の機械学習プログラムに参加しています。 Google は今春、有望な外部人材を対象に Google のシンクタンク内で 1 年間の集中トレーニング プログラムを提供する「Brain Residency プログラム」を開始しました。

「私たちはこれをディープラーニングのキャリアへの有利なスタートと呼んでいます」と、プログラムの管理に携わるロバートソン氏は語った。

さまざまな分野から集まった27人の機械学習研修生のうち、一部はGoogleに残るかもしれないが、同社としては、研修生が自ら成長し、高度な知識を活用してGoogleの機械学習技術を世界中に広めることが目標だと語った。

[[202208]]

つまり、ある意味では、カールソン＝ホルゲート氏がプロジェクト Ninja で学んだことは、機械学習を中心に据えて世界をリードする AI 企業であり続けるという Google の計画の核心となっているのです。

このコースは 4 週間のブートキャンプから始まり、Google の最も専門的な人工知能プロジェクトのプロダクト マネージャーが指導し、トレーニング用のプロジェクトに機械学習を統合する方法を教えます。

「私たちはNinjaを会議室に招き、グレッグ・コラード氏がホワイトボードの前に立ってLSTM（Long Short-Term Memory、強力なニューラルネットワークを可能にする技術）について説明しました」とロバートソン氏は語った。

彼は、それがどのように機能するか、どのような数学的原理が使用されているか、そしてそれが製品にどのように適用されているかを誇張したジェスチャーで説明しました。

ホルゲートさんはトレーニングを修了し、現在は機械学習ツールを使用して、Google 社員のコミュニケーションを支援する Android メッセージング機能を構築しています。彼女はハイパーパラメータを調整し、入力データをクリーンアップしています。

一度矢が放たれたら、後戻りはできません。なぜなら、AI テクノロジーは Google の現在と未来であり、すべてのテクノロジーとモノの未来である可能性もあることを彼女は理解しているからです。

機械学習の時代が到来し、その展望は極めて広いです!