AI のゴッドファーザーであるヒントンは、なぜ自らが作り出した人工知能を恐れているのでしょうか?

ジェフリー・ヒントンは、コンピューターに学習方法を教えることに生涯を費やしてきました。今、彼は人工脳が人類の未来を支配するかもしれないと懸念している。

ニューヨーカーの記者はヒントン氏と直接面談し、彼の人生経験から始めて、人工知能の父が晩年に「AIは制御されなければ人類を滅ぼすかもしれない」と叫んだ理由を国民に説明した。

「AIがより多くの制御を獲得できれば、ほぼあらゆる目標に有益となるだろう」とヒントン氏は人工知能の将来について語った。「研究上の問題は、AIがすべてを制御しようとするのをどう防ぐかだ。現時点では誰もその答えを知らない」

脳内では、ニューロンが大小さまざまなネットワークに配列されています。あなたが行うあらゆる動作や思考によって、これらのネットワークは変化します。ニューロンは追加または除外され、ニューロン間の接続は強化または弱まります。

このプロセスは常に起こっています。あなたがこの文章を読んでいる間にも起こっています。そしてその規模は想像を絶するほどです。

人間には約 800 億個のニューロンがあり、1 兆個の接続を共有しています。人間の頭蓋骨には銀河系の惑星が含まれており、それらは常に変化しています。

「人工知能のゴッドファーザー」と呼ばれるコンピューター科学者のジェフリー・ヒントンが私に杖を手渡した。

「これが必要になるよ」と彼は言った。そして、森の中の小道を岸に向かって歩き始めた。小道は木々に囲まれた空き地を曲がりくねって進み、小屋を 2 軒通り過ぎ、石段を下りて小さな桟橋に着いた。「ここは滑りやすいよ」とヒントンは私たちが下り始めると警告した。

新しい知識は、微調整の形で既存のネットワークに組み込まれます。時にはそれらは一時的なものにすぎません。パーティーで知らない人に会った場合、その人の名前は記憶の網の中にほんの一瞬の印象を残すだけかもしれません。

しかし、例えばその見知らぬ人があなたの配偶者になった場合、その関係は一生続くこともあります。

新しい知識は古い知識と統合されるため、知っていることが学習内容に影響を与えます。

パーティーで誰かがアムステルダム旅行の話をしてくれたら、翌日美術館であなたのネットワークのおかげでフェルメールのことを簡単に思い出せるかもしれません。このように、小さな変化が大きな変革をもたらす可能性を秘めています。

「ここで焚き火をしました」とヒントンさんは言う。私たちはオンタリオ州のジョージアン湾に突き出た岩だらけの階段の上に立っていた。ジョージアン湾は西にヒューロン湖まで続いている。水上には数多くの島々があります。

65歳のヒントン氏は、3人の新興企業をグーグルに4400万ドルで売却した後、2013年にこの島を購入した。

それ以前は、トロント大学で30年間コンピューターサイエンスの教授を務め、ニューラルネットワークという過小評価されている分野の第一人者でした。

「結果は非常に平凡なので、ほとんどの研究者はこの技術的方向性は基本的に時間の無駄だと感じています。」

「私たちのニューラルネットワークの能力は子供と同程度でした」とヒントンは回想する。

1980年代に『ターミネーター』を観たとき、映画の中で世界を破壊する人工知能であるスカイネットがニューラルネットワークであることに彼は驚かなかった。彼は、監督がこの技術に対して非常に楽観的だったことをとても嬉しく思いました。

火事が始まった小さな窪みからは、激しい熱によって生じた石のひび割れが外側に放射されていました。ヒントンは背が高くてスリムなイギリス人です。彼はその場所を棒で突いた。

典型的な科学者として、彼は動物の生態、湾の潮流、島々の地質など、物理世界で起こっていることについて常にコメントしていました。

「木材の下に鉄の網を張って、空気が入って熱くなり金属が柔らかくなるようにしたんだ」と彼は奇妙な口調で言った。 「これは本物の炎だ。誇りに思うべきだ！」

ヒントン氏は数十年にわたって、より大規模なニューラルネットワークを構築するための巧妙な方法を模索してきた。

彼はニューラルネットワークをトレーニングし、そのパフォーマンスを継続的に向上させる新しい方法を考案しました。

彼は大学院生を募集し、ニューラルネットワークは行き止まりではないことを説得しました。彼は、自分が関わったプロジェクトが1世紀後、つまり自分の死後に実現するかもしれないと信じていた。

同時に、彼は中年期に二度も妻と死別し、幼い二人の子供を一人で育てた。家族生活と研究のプレッシャーが圧倒的になった特に困難な時期に、彼は自分ができる最善を尽くしたと考えていました。

「46歳で諦めました」と彼は言う。彼は約10年前にニューラルネットワーク技術が突然急速に進歩することを予想していなかった。

コンピュータの速度が上がるにつれて、インターネットからのデータを使用するニューラル ネットワークが、音声を書き起こしたり、ゲームをしたり、言語を翻訳したり、さらには車を運転したりし始めています。

ヒントン氏の会社が買収されたのとほぼ同時期に、人工知能が盛んになり始め、OpenAIのChatGPTやGoogleのBardなどのシステムが登場し、多くの人が予測できない形で世界を変えていると信じていた。

ヒントンは海岸沿いに出発し、私は足元の砂利を揺らしながら後を追った。彼は言い​​ました。「さあ、これを見てください。彼は人間の頭ほどもある岩の前に立って、私たちの行く手を阻んでいます。」

「こうやって渡るんだよ。棒を投げるんだ」彼は自分の棒を岩の向こう側に投げた。「すると、こことここに支えがあって、ここにはつかみ所があるんだ」彼が楽々と這って行くのを見て、私もためらいながら同じ一歩を踏み出しました。

ヒントンとニューラルネットワークの関係

私たちが学習するたびに、神経ネットワークは変化しますが、具体的にはどのように変化するのでしょうか?

ヒントン氏のような研究者は、コンピューターを使って、人工ニューロン間の接続の統計的な「重み」を変更することで新しい知識を吸収するプログラムであるニューラルネットワークの「学習アルゴリズム」を発見しようと努めている。

1949 年、心理学者のドナルド・ヘブは、人間の学習方法に関する単純なルールを提唱しました。これは、「同時に発火するニューロンは一緒に配線される」と要約されることが多いです。

脳内のニューロンのグループが同期して発火すると、再び発火する可能性が高くなります。これは、人間が何かを二度目に行う方がはるかに簡単だと感じる理由を説明するのに役立ちます。

しかし、複雑な問題を解決するには、コンピューター化されたニューラル ネットワークで別のアプローチが必要であることがすぐに明らかになりました。

1960 年代から 1970 年代にかけて若き研究者だったヒントンは、ノートにニューロンのネットワークをスケッチし、その限界に到達する新たな知識を想像しました。

何百もの人工ニューロンのネットワークはどのようにして概念を保存するのでしょうか?コンセプトに欠陥がある場合、どうすれば修正できるでしょうか?

私たちは海岸沿いに歩いて、島で唯一のコテージであるヒントンのコテージまで行きました。

小屋はガラスで囲まれており、幅広の暗い岩の階段の上に支柱で建てられていました。かつて、私たちがここに来たとき、巨大な水蛇が頭を伸ばしていました。素晴らしい思い出です。

著名な昆虫学者である彼の父親は、彼に冷血動物への愛情を植え付けた。

子供の頃、彼と父親はガレージでたくさんの毒蛇、カメ、カエル、ヒキガエル、トカゲを飼っていました。現在、ヒントン氏は暖かい季節には頻繁に島を訪れているが、その際にヘビを見つけては家に持ち帰り、テラリウムで観察することもある。

彼は生涯を通じて問題について根本から考えてきたので、非人間的な思考を観察するのが得意です。

ヒントン氏は今年初めにグーグルを退社した。彼は人工知能が人類に及ぼす危害を懸念しており、インタビューの中でその技術が人類にもたらす「実存的脅威」について語り始めている。

人間の文章の膨大なコーパスで訓練された AI システムである ChatGPT を使えば使うほど、彼の不安は増していった。

ある日、フォックスニュースの誰かが彼に手紙を書いて、人工知能についてのインタビューを依頼した。ヒントン氏は、辛辣な一文の返答を電子メールで送るのが好きだ。カナダの諜報機関から長い手紙を受け取った後、同氏は「スノーデン氏は私のヒーローだ」と返信した。

最終的に彼はこう答えた。「フォックス・ニュースはオキシ・バカだ。」そこで彼はあるアイデアを思いつき、ChatGPTにそのジョークを説明してもらえないかと尋ねました。

システムは、彼の文章はフォックスニュースがフェイクニュースであることを暗示していると伝え、彼が「バカ」の前にスペースがあることを指摘すると、フォックスニュースは「オキシコンチン」という麻薬のように中毒性があると説明した。

ヒントンはショックを受けた。このレベルの理解は、人工知能の新しい時代を象徴しているように思われます。

人工知能の継続的な発展について懸念すべき理由は数多くあります。たとえば、人間の仕事がコンピューターに置き換えられるのではないかと心配するのは当然です。

しかしヒントン氏は、オープンAIのCEOサム・アルトマン氏を含む多くの著名な技術者たちとともに、AIシステムが独自に考え始め、人類の文明に取って代わったり、消滅させようとしたりする可能性があると警告している。

これは人工知能の最も著名な研究者の一人からの衝撃的な発言です。

人間の知性は何を生み出すことができるでしょうか?

「LLM は非常に高度なオートコンプリート機能だと多くの人が言っています」と彼はキッチンに立ったまま私に語った。

彼は人生の大半を腰痛に悩まされ、ついにはじっと座っていられないほどひどくなった。 2005年以来、彼は1時間以上座っていない。

「では、これを詳しく見ていきましょう。次の単語を本当にうまく予測したいとしましょう。本当にうまくなりたいなら、他の人が何を言っているかを理解する必要があります。」

「それが唯一の方法です。つまり、次の単語を予測する能力を非常に高めるように何かをトレーニングすることで、本質的には理解を強制していることになります。確かに、これは単なるオートコンプリートですが、本当に優れたオートコンプリートとはどういうことなのか、よく考えていないのです。」

ヒントン氏は、OpenAI のチャットボットの背後にある GPT テクノロジーなどの大規模な言語モデルは、単語やアイデアの意味を理解できると主張しています。

人工知能の能力を過大評価していると考える懐疑論者は、人間の心とニューラルネットワークの間には大きな違いがあると指摘する。

まず、ニューラル ネットワークは人間とは異なる方法で学習します。つまり、人間は経験を通じて、そしてその経験が現実や自分自身とどのように関係しているかを通じて、有機的に知識を獲得します。

一方、ニューラル ネットワークは、実際には存在しない世界に関する膨大な情報リポジトリを処理することで抽象的に学習します。

しかしヒントン氏は、AI システムは人工的な起源を超えた知性を発揮すると主張している。

「食べるとき、食べ物を体内に取り入れて、それを細かく分解します」と彼は私に言った。「だから、私の体のすべての部分は他の動物の部分でできていると言えるでしょう。でもそれは不可能です。」

彼は、人間の文章を分析することで、GPT のような大規模な言語モデルが世界の仕組みを学習し、思考できるシステムを生み出すことができると考えています。

そして、書くことはこのシステムが実行できることのほんの一部にすぎません。彼はさらにこう言った。「それは、青虫が蝶に変わるようなものです。青虫はサナギになり、そしてサナギから蝶が生まれます。」

彼は台所の横にある小さな戸棚の中をかき回し始めた。 「ああ！」と彼は言った。彼は大きな興味を持って、カウンターの上に何か、死んだトンボを置きました。

とてもよく保存されています。 「桟橋でこれを見つけたんだ」と彼は説明した。「岩の上で孵化したばかりで、羽を乾かしていたので捕まえたんだ。あそこを見てよ」

ヒントンさんはこのトンボを幼虫から孵化した直後に捕獲した。この幼虫は見た目が非常に異なり、独自の目と足を持っています。背中に穴が開いており、トンボはこの穴から這い出てきます。

「トンボの幼虫は水中の怪物だ」とヒントン氏は言う。 「映画『エイリアン』のように、トンボは怪獣の背中から這い出てきます。この段階で幼虫は液体に変わり、その後トンボが液体から出てきます。」

彼の比喩では、幼虫は現代のニューラルネットワークを訓練するために使用されるデータを表し、トンボは結果として得られる人工知能を表しています。

ヒントン氏が開拓した技術であるディープラーニングが、この変革をもたらしました。

もっとよく見るためにかがみました。ヒントンはいつものようにまっすぐに立って、注意深く姿勢を保っていた。

「とても美しい」と彼はささやいた。 「ほらね。最初は一つのこととして始まったのに、今では全く違うものになってしまったんだ。」

数週間前、ヒントン氏が私を彼の島に招待してくれたとき、私はそれがどんな感じなのか想像した。彼は一人になりたい内向的な人間なのかもしれないし、あるいは神コンプレックスと未来志向の傾向を持つ技術の支配者なのかもしれない。

私が到着する数日前、彼は島の草むらにとぐろを巻いているガラガラヘビを撮影した写真をメールで送ってきた。嬉しいのか怖いのか分からなかった。

実際、私有の島としてはヒントンの島はそれほど大きくなく、総面積はわずか 2 エーカーです。

ヒントン氏自身はシリコンバレーのテクノロジー界の大物たちとは正反対の人物だ。現在75歳の彼は、ジョシュア・レイノルズの絵画のような英国風の風貌をしており、白い髪が広い額を縁取っている。彼の青い目は通常は落ち着いており、感情を表現するのは口だけです。

彼は自分のことを話すのが好きなおしゃべりな人です。

しかし、彼は著者に対し、自分はうぬぼれた人間ではなく、自分の人生は悲しみに包まれていたと語った。

「僕の妻たちについて話すべきかもしれないね」と彼は私たちが初めて会話をしたとき、そう言った。 「私は3回結婚しました。1回は円満に終わりましたが、他の2回は悲劇的に終わりました。」

彼は最初の妻ジョアンとは今でも友好的な関係を保っているが、2番目と3番目の妻ロザリンドとジャッキーはそれぞれ1994年と2018年に癌で亡くなった。

ヒントン氏は過去4年間、引退した社会学者ローズマリー・ガートナー氏とともに活動してきた。

彼女は優しくこう言った。「ヒントンは常にパートナーを必要とするタイプの人だと思います。彼は科学と感情のバランスの取れた理解力を持つロマンティックな合理主義者です。」

彼はトンボを片付けて、ノートパソコンが置いてある小さな机の方へ歩いて行き、その横に数独パズルの山とノートが置いてあった。 。 「私の家系図を描いてみましょうか」と彼は言った。彼は2本の指を使って「ジェフリー・ヒントン家系図」と入力し、エンターキーを押した。

ヒントンの家系図

2013年にGoogleがヒントン氏のスタートアップ企業を買収した理由の1つは、同チームがニューラルネットワークを使用して画像認識を劇的に改善する方法を解明していたことだった。すると、果てしない家系図が画面に現れた。

ヒントンは、政治的に急進的かつ創造的な、ユニークな英国の科学者一家の出身です。

彼の家系図では、大叔父のセバスチャン・ヒントンはジャングルジムの発明者であり、従兄弟のジョーン・ヒントンはマンハッタン計画に参加した物理学者でした。

彼の一世代前には、王立化学研究所に選出された最初の女性、ルーシー・エベレストがいた。

チャールズ・ハワード・ヒントンは、4次元空間への入り口であるルービックキューブの概念を生み出した数学者です（ルービックキューブは映画「インターステラー」に登場しました）。

耳鼻外科医の先駆者、ジェームズ・ヒントン。 19 世紀半ば、ヒートンの高祖父である英国の数学者ジョージ・ブールが、現在ブール代数として知られる二進法推論システムを発明しました。これはすべてのコンピューティングの基礎となっています。

ブールの妻メアリー・エベレストは数学者、作家であり、ジョージ・エヴェレスの姪であった。

「ヒントンは科学者になるために生まれてきた」と、ヒントンの元教え子で共同研究者で、現在はメタで人工知能を監督しているヤン・ルカン氏は私に語った。

しかしながら、ヒントンの家族はそれよりも奇妙だ。彼の父、ハワード・エベレスト・ヒントンは、1810年代のメキシコ革命中にメキシコで育ち、父親が経営する銀鉱山で働いていました。

「彼はタフな男だ」とヒントンさんは父親について語った。

家族の言い伝えによると、ハワード・エベレスト・ヒントンは12歳のとき、ボクシングのコーチがあまりに厳しいので撃つと脅し、コーチはヒントンの言葉を真に受けて町から逃げ出したという。

スペイン語を母国語とするハワードさんは、バークレー大学在学中、アクセントのせいでからかわれたことがある。 「彼は、同じく差別を受けていたフィリピン人のグループと付き合い、バークレーで過激派になった。

ヒントンは学校では自然科学を好んでいた。しかし、思想的な理由から、父親は彼に生物学を学ぶことを禁じた。

ブリストル大学で教鞭をとるハワード氏は昆虫学者界のインディ・ジョーンズだ。世界中から珍しい生物を荷物に入れて英国に密輸し、昆虫学の主要学術誌を編集している。

ヒントン氏のミドルネームもエベレストなので、名声を博さなければならないという大きなプレッシャーを感じていた。

彼はかつて父親がこう言ったのを覚えている。「俺の2倍努力すれば、2倍の年齢になったときに俺の半分くらいしか優秀になれないだろう。」

ケンブリッジ大学でヒントンはさまざまな分野を試したが、自分がクラスで最も賢い生徒ではなかったことに不満を感じた。

彼は「憂鬱な小説を読む」ために大学を一時中退し、ロンドンで雑用をこなした後、建築に挑戦するために戻ったが、それはたった1日だけだった。

結局、彼は物理学、化学、生理学、哲学を少しずつ学び、自分の専門分野を探し、最終的に実験心理学の学位を取得することに落ち着きました。

彼は道徳哲学者バーナード・ウィリアムズのオフィスに出入りし、コンピューターと心に興味があることに気づいた。

ある日、ウィリアムズは、私たちの異なる思考は脳内の異なる物理的設定を反映しているに違いないと示唆しました。これは、ソフトウェアがハードウェアから独立しているコンピューターの状況とはまったく異なります。

ヒントン氏はこの観察に衝撃を受けた。高校時代に友人が、記憶は脳内に「ホログラフィック」な形で保存されているかもしれない、つまり記憶は断片的だが、どの部分からでも全体にアクセスできる、と話していたことを思い出したのだ。

彼が出会ったのは「コネクショニズム」、つまり神経科学、数学、哲学、プログラミングを組み合わせて、ニューロンがどのように一緒に「考える」のかを探るアプローチでした。

コネクショニズムの目標の 1 つは、コンピューター内に脳のようなシステムを作成することです。

この点に関しては、ある程度の進歩がありました。1950 年代に、心理学者でありコネクショニストの先駆者であるフランク・ローゼンブラットは、単純なコンピューター ハードウェアを使用して数百のニューロンのネットワークをシミュレートするパーセプトロンと呼ばれるマシンを構築しました。

光センサーに接続すると、この装置は、さまざまな光パターンによってどの人工ニ​​ューロンが活性化されるかを追跡することで、文字や形を認識できます。

小屋の中で、ヒントンは立ったり、歩き回ったり、キッチンカウンターの後ろを行ったり来たり、1階を歩き回ったりした。

彼はトーストを焼き、私たち一人一人にリンゴを持ってきて、踏み台の上に自分のための小さなテーブルを設置しました。

家族からの圧力により、彼は一時的な必要を満たすことができなかった。 「私は昔から大工仕事が大好きでした」と彼は食事をしながら冗談交じりに思い出した。 「学生時代、私は夜に一人で大工仕事をしていました。建築家だったら無理にやらなくてもいいからもっと幸せになれるんじゃないかとよく考えていました。」

そして科学に関しては、私は常に自分自身を奮い立たせなければなりませんでした。家族のために、私は成功しなければならなかったし、方法を見つけなければなりませんでした。これには喜びもあるが、不安の方が多い。今は成功したので、とても安心しています。 「

ヒントンのラップトップが鳴った。彼がグーグルを去って以来、彼の受信箱には人工知能に関するコメントを求めるリクエストが殺到している。彼はメールをチェックするために歩いて行ったが、その後、家系図の森の中で再び迷ってしまった。その家系図の森は、すべて何らかの問題を抱えているようだった。

彼は言い​​ました。「これを見てください。」

私は歩み寄ってスクリーンを見ました。これは「学術的家系図」であり、ハンティントンが頂点にいて、その下には彼の学生とその学生たちがいます。

木は非常に大きかったため、影響範囲を確認するには横にスクロールする必要がありました。 「ああ、大変だ」とヒントンは言った。 「彼女は実は私の生徒ではないんです」彼はさらに転がり続けた。 「彼は優秀だが、自分の方が常に上手くできるのだから、コンサルタントとしては最悪だ。」

才能を細心の注意を払って育てるヒントンは、生徒たちに負けることを楽しんでいるようだった。就職希望者を評価するとき、彼はよく彼らのアドバイザーに「彼らはあなたより優れているか？」と尋ねた。

「父はとても競争心が強かった」とヒントンさんは1977年に他界した父について語った。「父が私の成功を目の当たりにできたら喜ぶだろうかとよく思う。今や私の方が父よりも成功しているのだから」

Google Scholarによると、ヒントン氏は現在、心理学者の中で2番目に引用数の多い研究者であり、コンピューター科学者や認知科学者の中では最も引用数の多い研究者である。

ケンブリッジでの彼のスタートがゆっくりで風変わりなものだったとしたら、それは彼がまだ始まったばかりの分野を探求していたからでもある。

彼はノートパソコンを閉じてこう言いました。「ニューラルネットワーク。当時、優秀な大学でこれを研究している人はほとんどいませんでした。MITでも、バークレーでも、スタンフォードでも。」

したがって、ヒントン氏は新興技術の先駆者としての地位も有利にしている。長年にわたり、多くの優秀な人材が彼のところに集まってきました。

「いい天気だ」とヒートンは翌朝言った。「木を切りに行こう」彼はドレスシャツを着ていて、とても木こりには見えなかった。

それでも彼は手をこすりました。島では、彼はより整然とした美しい景色を作り出すために、常に木を切り倒していました。

ほぼすべての部屋には変更が必要な箇所があり、私が訪問したときには、ヒントンはすでに新しい作業員に注意を促すためにこれらの箇所に小さなメモを貼り付けており、多くの場合、建築資材に直接メモを書き込んでいました。

1 階のバスルームの壁にある幅木には、「この幅木はバスルームで使用してください (メープル材のトリムはシャワーの前のみ)」と書かれています。客室のクローゼットでは、棚の長さに沿ってマスキング テープが貼られています。「棚を下塗りするのではなく、棚の支えを下塗りしてください。」

物事にラベルを付けるということは、人間の心にとって非常に役立ち、現実を把握するのに役立ちます。

しかし、AI がこれを行うことは何を意味するのでしょうか?ヒントン氏はエディンバラ大学で人工知能の博士号を取得していたとき、脳の「認知」をコンピューターでシミュレートする方法について考えていた。当時、1970年代には、AI研究者の大多数は「記号主義者」でした。

彼らの見解では、ケチャップの理解には、「食品」、「ソース」、「調味料」、「甘味」、「うま味」、「赤」、「トマト」、「アメリカン」、「フライドポテト」、「マヨネーズ」、「マスタード」など、多くの概念が関係している可能性があり、これらの概念が一緒になって「ケチャップ」などの新しい概念を掛けるための足場を形成します。

本質的には、資金が豊富な大規模な AI プロジェクト「Cyc」は、科学者が特別な言語を使用して概念、事実、ルール、および避けられない例外を入力できる広大な知識ベースを構築しています。 （鳥は飛べますが、ペンギンや翼が損傷した鳥などは飛べません）。

しかし、ヒントン氏はこのアプローチに懐疑的だ。このアプローチはあまりにも厳格で、哲学者や言語学者が持つ推論能力に重点を置きすぎているように思われます。

彼は、自然界では多くの動物が言葉で表現できる概念を獲得することなく知的な行動をとることを知っていました。彼らは経験を通して賢くなる方法を学んだだけです。

知識ではなく学習こそが知恵の原動力です。

人間の複雑な思考は、多くの場合、記号や言葉を通じて行われるようです。しかし、ヒントン氏とその協力者であるジェームズ・L・マクレランド氏とデビッド・ルメルハート氏は、行動の多くはサブ概念レベルで起こると主張している。

「ある物体について新しい事実を知ると、他の同様の物体に対する期待が変化する傾向がある」ことに注意するよう彼らは書いている。例えば、チンパンジーはタマネギが好きだと言われたら、ゴリラもタマネギが好きだろうと推測するかもしれない。

ニューラルネットワークの魅力を感じる方法

1986 年、ヒントン、ルメルハート、ウィリアムズは、そのようなシステムがニューラル ネットワークでどのように機能するかを示した 3 ページの論文を Nature 誌に発表しました。

彼らは、ボルツマンマシンと同様に、バックプロパゲーションは「脳の学習の合理的なモデル」ではないと指摘している。コンピュータとは異なり、脳は過去のパフォーマンスを巻き戻して確認することはできません。しかし、バックプロパゲーションは依然として脳のような神経の特殊化を実現します。

実際の脳では、ニューロンは特定の問題を解決するために設計された構造に配置されることがあります。たとえば、視覚システムでは、ニューロンのさまざまな「列」が、私たちが見るエッジを認識します。

したがって、手書き文字の解読を担当するネットワークの一部の層は、線、曲線、またはエッジの認識に厳密に焦点を合わせている可能性があります。最終的には、システム全体が「適切な内部表現」を開発できるようになります。

1850 年代と 1960 年代に、パーセプトロンとコネクショニズムは短期間で人気が高まりましたが、その後衰退しました。その一部として、バックプロパゲーションも広く注目を集めています。

しかし、当時のハードウェア機能の制限により、バックプロパゲーション ネットワークを構築する実際の作業はゆっくりと進みました。 「進歩の速度は、基本的に、コンピューターが一晩でどれだけ学習できるかということでした」とヒントン氏は振り返る。

概念的には、ニューラル ネットワークは神秘的です。従来の方法でプログラミングすることは不可能です。人工ニューロン間の接続の重みを編集することはできません。また、これらの重みはトレーニングを通じて適応し変化しているため、その意味を理解することは困難です。

学習プロセスがうまくいかなくなる原因は数多くあります。たとえば、「オーバーフィッティング」では、ネットワークはトレーニング データから一般化することを学習するのではなく、トレーニング データを効果的に記憶します。さまざまな落とし穴を避けるのは必ずしも簡単ではありません。

新しいニューラル ネットワーク アーキテクチャが開発されました。「再帰型」および「畳み込み型」ネットワークにより、システムはさまざまな方法で作業を構造化することで進歩できるようになりました。しかし、それはあたかも研究者たちが使い方が分からないエイリアンの技術を発見したかのようだ。

「これはでたらめでも信仰でもないとずっと信じてきた。私にとってはただ完全に明白だっただけだ」とヒントン氏は語った。脳はニューロンを使って学習するので、複雑な学習はニューラル ネットワークを通じて可能になるはずです。

ネットワークはバックプロパゲーションによってトレーニングされるため、いつ、どの程度間違っているかを伝える必要があり、そのためには大量の正確にラベル付けされたデータが必要です。これにより、ネットワークは手書きの「7」と「1」の違い、またはゴールデンレトリバーとレッドセッターの違いを認識できるようになります。

しかし、十分に大きく、適切にラベル付けされたデータセットを見つけることは難しく、それらを構築するのは困難な作業です。 LeCun 氏とその協力者は手書きの数字の巨大なデータベースを開発し、後にそれを使って米国郵政公社が提供するサンプルの郵便番号を読み取ることができるネットワークをトレーニングしました。

スタンフォード大学のフェイフェイ・リー教授は、ImageNetと呼ばれる大規模な研究を主導しました。これを作成するには、1,400 万枚以上の画像を収集し、手動で 20,000 のカテゴリに分類する必要がありました。

ニューラル ネットワークが大きくなるにつれて、ヒントンは大規模なネットワークから携帯電話などのデバイスで実行できる小規模なネットワークに知識を取り込む方法、つまり蒸留を考案しました。

蒸留学習では、1 つのニューラル ネットワークが他のニューラル ネットワークに正解だけでなく、可能な回答の範囲とその確率も提供します。それはより豊かな種類の知識です。

Hinton 氏は、すべてが決定論的であるため、バックプロパゲーション ネットワークを好みません。しかし、コンピュータの性能が向上するにつれて、バックプロパゲーションの威力は否定できないものになりました。

ヒントンは頭の中で計算をした。 1985 年に彼が高速研究用コンピューターでプログラムを実行し始め、それ以来ずっと実行し続けているものとします。もし彼が今日、人工知能で現在使用されている最速のシステムで同じプログラムを実行したとしたら、追いつくのに1秒もかからないだろう。

2000 年頃、強力なコンピューターを備えた多層ニューラル ネットワークが大規模なデータ セットでトレーニングされるようになると、ヒントン、ベンジオ、ルカンは「ディープ ラーニング」の可能性について語り始めました。

この研究は、2012 年に Hinton、Alex Krizhevsky、Ilya Sutskever が AlexNet という 8 層ニューラル ネットワークを発表したときに、大きな転換点を迎えました。AlexNet は、最終的に ImageNet 内のオブジェクトを人間レベルの精度で認識できるようになりました。

2017年6月、ヒントン、ベンジオ、ルカンはコンピューターサイエンスのノーベル賞に相当するチューリング賞を受賞した。

ヒントン氏は、ニューラルネットワークは、ある意味では感情を生み出すことができると考えています。彼は、感情は行動につながるものについての反事実的な発言であると主張している。

ヒントン氏は、1973年に「イライラしたAI」を見たと私に語った。コンピューターは 2 台のテレビカメラと単純なロボットアームに接続されており、システムのタスクはいくつかのビルディングブロックを組み立てておもちゃの車の形にすることです。

「特に1973年は大変でした。ブロックがすべてバラバラであれば視覚システムが認識できるのですが、小さな山に積まれていると認識できなかったのです」とヒントン氏は語った。

コンピューターはこれを処理できないので、バタンとテーブルの上に広げてしまいます。男性がこれをやったら、落ち込んでいると言うでしょう。それは手に入らないものを欲しがっているようなものです。

「AIに対する誰もが最初に抱く反応は、これを止めなければならないということだ」とヒントン氏は言う。「がんに対する誰もが最初に抱く反応が、どうすればそれをなくせるかということであるのと同じだ。しかし、それをなくしたとしても、それは単なる幻想に過ぎないことを認識することが大切だ」

彼はため息をついてこう言った。「それを否定することはできない。どうしたら人間にとってそれほど恐ろしくないようにできるかを考える必要がある。」

人工知能はどれほど役に立つ、あるいは危険になるのでしょうか?ニューラル ネットワークが非常に奇妙なため、誰も確実には知りません。

20 世紀には、多くの研究者が脳を模倣したコンピューターを構築したいと考えていました。しかし、OpenAI の GPT モデルのようなニューラル ネットワークは、数十億の人工ニューロンを含むという点で脳に似ていますが、実際には生物学的な脳とは大きく異なります。

今日の AI はクラウドベースであり、工場規模のデータセンターに保存されます。ある面では不器用だが、他の面では賢い彼らは、何百万ものユーザーのために推論しますが、プロンプトが表示されたときにのみ応答します。

彼らは、コンピューターの先駆者であるアラン・チューリングによって確立された長年の標準であるチューリングテストに合格したかもしれない。

この標準では、会話において人間を説得力を持って模倣できるコンピューターは、思考していると言えるとされています。

グーグルでの最後の数年間、ヒントン氏は脳にもっと似たハードウェアを使って、より伝統的な心のような AI を作ることに注力した。今日の AI では、人工ニューロン間の接続の重みは、あたかも脳が自分自身を記録しているかのようにデジタル形式で保存されます。

しかし、実際のシミュレートされた脳では、重みはニューロン間の物理的な接続に組み込まれます。ヒントン氏は、特殊なコンピュータチップを使用してこのシステムの人工バージョンを作成することに取り組みました。

チップは「伝導性」を変化させることで学習できるようになります。重みはハードウェアに統合されるため、あるマシンから別のマシンにコピーすることはできません。各 AI は独自に学習する必要があります。 「彼らは学校に行かなければなりません。」

各 AI チップが得た知識は分解されると失われるため、彼はこのアプローチを「モータル・コンピュテーション」と名付けました。

この場合、より重要なもの、つまりエネルギー効率が得られます。さらに、エネルギー効率は個性を促進します。人間の脳はオートミールで動くため、世界はそれぞれが異なり、常に学習している何十億もの脳をサポートできます。

科学的な取り組みとして、モータル・コンピューティングは私たちを自分自身の脳の複製に近づけるかもしれない。しかしヒントン氏は、デジタルインテリジェンスはさらに強力になる可能性があると考えている。シミュレーション知能では、脳が死ねば知識も死にます。

対照的に、デジタル インテリジェンスでは、特定のコンピューターが故障しても、同じ接続強度を別のコンピューターで使用できます。すべてのデジタルコンピュータが故障したとしても、接続の強度をどこかに保存しておけば、別のデジタルインテリジェンスを作成して実行することができます。

1万個のニューラルネットワークは、同時に1万個の異なることを学び、学んだことを共有できます。不滅と再現性のこの組み合わせは、デジタルインテリジェンスによる生物学的知能の置換を心配する必要があることを示唆しています。

ヒントンは、AIの可能性について懐疑的であると疑っていますが、慰めは、しばしば人間の例外主義に対する不合理な信念によって動機付けられています。彼は、現在のAIチャットボットが「幻覚」しているという主張に疑問を呈した。

「これは、私たちの見解では、真実を伝えることとは、chatgptの能力を伝えることとの境界があります。

ヒントンは、彼が自分の仕事を後悔しているかどうかをよく尋ねられます。彼はそうしなかった。

彼はそれに取り組み始めたとき、誰もテクノロジーが成功するとは思わず、それが成功し始めたとしても、誰もそれがそれほど迅速に成功するとは思わなかったと言いました。まさに、人工知能は本当に知性があると信じているため、多くの分野で貢献することを期待しています。

しかし、彼は強力な人々がそれを乱用したときに何が起こるかを心配しています。変換はまだ完全ではありません。 AIがどうなるかはわかりません。

一部の人にとって、これはコペルニクの物語であり、人間の心の特別さに関する私たちの直観が思考機に置き換えられています。他の人にとっては、それはプロメテウスです - 火を盗み、私たちは燃やされる危険を冒します。

私たち自身の機械や彼らから利益を得ることを望んでいる企業に誘惑されて、私たちは自分自身をだましていると思う人もいます。奇妙な方法では、それは人間の限界に関する物語かもしれません。

私たちが神であれば、私たちは別の種類の人工知能を作成するかもしれません。これは私たちが管理できるバージョンです。