Google に行ったが、ディープラーニングはできなかった。Facebook の Tian Yuandong が人生の課題と選択について語る

初めての15分間のスピーチの準備に2か月を要し、卒業後すぐにGoogleに入社したものの歯車の一部にしかなれず、研究者から研究マネージャーへと役割が変わることに直面しました...最近のインタビューで、Facebook人工知能研究所（FAIR）の研究者兼研究マネージャーであるTian Yuandong氏は、勉強から仕事に至るまでの経験と洞察を語り、キャリアアドバイスやAIの開発に関する見解も述べました。

ティアン・ユアンドンは上海交通大学で学士号と修士号を取得し、カーネギーメロン大学ロボット工学科で博士号を取得しました。現在はFacebook人工知能研究所（FAIR）の研究者兼研究マネージャーを務めています。

Google X の自動運転車チームから、Facebook の後の囲碁 AI プロジェクトである OpenGo まで、田元東は、その複数のアイデンティティと最先端の専門的な研究でかなりの注目を集めています。

彼は人工知能の研究に加えて、個人ブログ、知乎のコラム、短編小説や中編小説など、長期にわたる執筆習慣を維持しており、30万語の小説も完成させた。

最近、田元東はポッドキャスト「ゼロから1へ」にゲストとして出演し、勉強と就職活動の過程での経験と洞察を共有しました。インタビューの全編は66分間続きました。

オーディオアドレス: https://www.ximalaya.com/keji/7070786/332051507

上海交通大学からCMUへ

From Zero to One: あなたがどこで育ち、大学に入る前にどこで勉強したかを簡単に教えていただけますか?

ティアン：私は上海出身で、上海で育ちました。上海交通大学に入学する前は、上海湘明中学校に通い、中学校と高校の約7年間を過ごしました。大学入試後、上海交通大学に進学しました。

それで、私は人生の最初の22年間を基本的に上海で過ごしました。旅行以外ではほとんど外出しませんでした。しかし、大学3年生の時、交換留学生としてアメリカのパデュー大学に行きました。その時、私はたくさんのアイデア、新しい考え、新しい洞察力を持ち、より広い世界を見ることができました。修士号を取得するために中国に戻った後、私は Microsoft Research Asia でインターンシップに多くの時間を費やしました。そこには 3 回行き、合計 1 年間滞在しました。その時、私の考えは広がり、たくさんの人と出会い、たくさんの友達ができました。

これらの経験から、私は実は博士号取得の方が向いていると感じ、その後 CMU に進学しました。

聰玲道易：当時（交通大学で）コンピューターサイエンスを勉強していたんですよね？

田：私は上海交通大学の共同研究クラスにいました。2年後には専攻を選べるんです。それで、実際、私は最初の 2 年間を数学と物理学に重点を置いた基礎クラスで勉強し、3 年生のときに専攻を選びました。当時、クラスでコンピュータサイエンスを選んだのは10人だけで、私もその一人でした。電子情報工学や電気工学を選んだ人は100人以上いました。したがって、私の経験は、コンピュータ部門に直接進学したクラスメートの経験とは異なる可能性があります。

上海交通大学。

ゼロからイチへ: Microsoft Research Asia に参加してから、研究への興味に気づいたのですか?博士号以外の進路について考えたことはありますか？

ティアン：実は、それについてはよく考えました。修士号を取得して卒業した後、海外に行くのはちょっと遅いと感じるかもしれません。その頃にはもう24歳か25歳になっていて、まだやるべきことがたくさんあると考える人が多いです。当時は、インターネット企業でソフトウェアエンジニアとして働き、段階的にステップアップしていくなど、選択肢はたくさんありました。当時は選択できる会社がたくさんありました。これは私も考えた道です。しかし、結局、科学研究の方が面白いと感じ、博士号を取得したいという希望もあったので、博士号取得のために勉強することになりました。

From Zero to One: 博士号取得のためにロボット工学を学ぶためにカーネギーメロン大学に進学されましたね。応募する際にはどのような点を考慮しましたか?実際に行ってみて、そこが自分の行きたい場所だと感じますか？

ティアン：正直に言うと、応募したときは特に強みがあったわけではありませんでした。 Microsoft Research Asia に行ったとき、まるで田舎の子供が北京に行くような気分でした。ようやく目が覚めて、このようにできることがたくさんあることに気づきました。なので、当時の私の応募書類や論文数などは特に良いものではなかったんです。しかし幸運なことに、私は香港中文大学の Xiaoou Tang 教授のもとでインターンシップをすることになり、彼の推薦状のおかげで CMU のロボット工学専攻に応募することができました。これは当時の私にとって最良の選択でした。

ゼロから1へ：CMU には選択できる専攻や研究室がたくさんあります。どのグループを選び、どの分野に重点を置くかをどのように決めましたか?

Tian:これにはインストラクターとの多くのコミュニケーションが必要です。 CMU に初めて入学するときには、「結婚手続き」があり、アドバイザーと 5 年間の契約を結ぶ必要があります。したがって、多くの指導教員と研究の方向性や考えについて話し合い、また学生とも話し合い、彼らのキャリアパスや将来どこに行く可能性があるかを尋ね、あらゆる側面を総合的に考慮する必要があります。当時の私は比較的内向的で、英語もあまり上手ではありませんでした。TOEFLのスピーキングスコアは19点しかなかったので、先生や生徒とコミュニケーションをとるのはまだ少し難しかったです。このようにして、私は最初のメンターを選びました。そのメンターの生徒は彼を良い人だと思っていましたが、これは非常に重要なことです。しかし、彼は機械学習にはあまり興味がなく、むしろ物理ベースのコンピュータービジョンを中心とした低レベルビジョンに興味を持っています。

スリニヴァサ・ナラシムハン氏は、ティアン・ユアンドンの博士課程時代の指導教官でした。

その後は、基本的にすべての技術的な問題を自分で解決し、記事を自分で読み、講師が文章の書き方、話し方、他の人とのコミュニケーションの仕方を手伝ってくれました。その後の結果では、この組み合わせは悪くないことがわかりました。そのため、自分の方向性にはある程度の自由があり、それは博士課程の学生が持つべき基準でもあります。

内向的な性格の私は、初めての学術講演のスピーチを全部暗記しました

ゼロから1へ：最初にそこに着いたとき、あなたの英語の口頭スコアはわずか19点でした。新しい環境でどのように自分をうまく表現しましたか？

Tian:これは実は非常に長いプロセスであり、この 5 年間で私が得た最大の成果かもしれません。職業上のことはさておき、これは私の個人的な性格の成長と人格形成にとって非常に重要な時期でした。この重要な時期は 8 歳か 9 歳だと考える人もいるかもしれませんが、私自身の経験から言うと、時間をかける気さえあれば、いつでも起こり得ると思います。

まず第一に、自分の研究やアイデアに対する自信、そして自分のアイデアを表現する意欲など、自信を持つことです。これはスイッチをオンにするようなもので、他の人と話をする意思があるということを意味し、これは非常に重要です。これにより、あなたの英語の会話力は徐々に向上し、他の人に理解してもらえるように話す方法がわかるようになります。昔、私は英語をとても速く話していたので、文章を言い終えた後、他の人が私の言っていることを理解できないこともありました。つまり、相手は必ずしもあなたに注意を払いたくないわけではなく、あなたに注意を払いたいけれど理解していないだけなのです。しかし、私はこう考えるでしょう。「何か間違ったことを言っただろうか？十分にうまく言えなかっただろうか？」あなたは無意識のうちに問題を自分のせいにし、そして他の人と話したくなくなり、最終的に悪循環が形成されます。したがって、これは非常に重要な第一歩です。

高校生の頃、私はとても内向的でした。英語の授業で質問に答えているとき、一言も発せずに5分間立っていたことがありました。 CMU に入学してから、コミュニケーションプロセス全体がスムーズになりました。他の人が私の言うことに耳を傾け、考えてくれること、そして私の言うことに意味があることが分かると、コミュニケーションを取りたいという欲求は徐々に強くなります。このプロセスは実はとても重要です。なぜなら、この段階を逃すと、例えば修士号を取得して卒業後すぐに企業に就職するなどすると、その時の私の性格がその後のキャリア開発に大きな悪影響を及ぼす可能性があるからです。

ゼロからイチへ：博士課程の勉強中は、学術的なスピーチをたくさんされたと思います。その際に、どのようにスピーチスキルを向上させたのかお話しいただけますか？

ティアン：初めてのスピーチの準備に2か月かかりました。私はステージに立つと「スポットライトを浴びて死ぬ」タイプの人間です。ステージに立って人々が私を見ている限り、一言も話すことができません。そのような人物にステージ上で15分間話してもらうのは非常に困難です。唯一の方法は、たとえ眠ってしまったとしてもスピーチをできるように、スピーチ全体を最初から最後まで一言一句暗記することだった。また、当時は話すスピードが速かったので、各文の強勢にも印をつけました。スピーチを暗記した後、緊張してしまい、暗唱してスピーチを終えていました。効果はあまり良くなく、他の人は何を言っているのか理解できないかもしれません。しかし、どの単語にアクセントがあるのか​​を覚えていれば、無意識のうちにテンポを遅くすることができるかもしれません。

最後に、ステージに上がった後のプロセスはよりスムーズになりました。最初の 3 ～ 4 分を乗り切れば、自信がついてきて「できる」と感じられるようになるからです。ゆっくりと、どんどん良くなっていきます。

博士課程での最大の課題

「ゼロからイチへ」：専門的な観点から、博士課程で直面した最大の課題は何だったと思いますか？

ティアン：実は、博士課程での経験は人それぞれ少しずつ違います。上司が定めたルールが厳しすぎて、うまく仕事をこなせない人もいます。しかし、私にとっては逆かもしれません。上司は実はこのことについてあまり知らないので、最も重要なのは、私が方向性を見つけて自主的に取り組めるかどうかであり、それは上司に従うよりもはるかに難しいかもしれません。

私は非常に困難な問題に取り組み、それを克服する決意を持っているかもしれません。しかし、この決意をどのようにして達成可能な目標に変えていくかというのは、非常に難しい問題です。

私はまた、知乎の記事（「博士課程5年を終えての5年間の総括」）の中で、この5年間で私が学んだ最も重要なことは、より大きなことに取り掛かることができるように、タスクをいくつかの部分に分割する方法である、と書きました。最初は、とても難しい問題を解決したい、他の人が解決できないなら自分が解決したいという気持ちでした。

新しく着任した博士課程の学生として、私は難しい問題に取り組むという高い志を抱いていますが、それをどのように実行するかは難しい問題です。あなたは考えることに多くの時間を費やすかもしれませんが、この思考は終わりがありません。今日はこれについて考え、明日はあれについて考えます。とても支離滅裂で空想的です。研究をしているように感じますが、実際は時間を無駄にしているだけです。アイデアを実行しないと、アイデアを保存することができず、次回はゼロから考え直さなければならなくなります。さらに、継続的なステップを形成できず、自信に大きな打撃を与えます。たとえば、長い間考えていたのに、「おっと、あまり効果がないな。どうすればいいんだろう？」と気づいたとします。

博士課程で数年間勉強して初めて、最初に何を考えるべきか、次に何を考えるべきか、何ができて何ができないか、何が自分の能力の範囲内か、他の人がすでに何をしたか、他の人がまだ何をしていないがまだやるチャンスがあるのか​​がわかるようになります。この学問に対する感覚も、博士課程の5年間でゆっくりと培われていきました。

田元東博士論文: 大域的最適変形推定の理論と実践

ディープラーニングを選択するが、楽観的ではない

From Zero to One: 機械学習をやっていた頃はディープラーニングはまだあまり普及していなかったのですが、純粋に自分の興味からやっていたのですか?それとも将来性があると思いますか?

Tian: 興味の問題だと思います。当時の学習アルゴリズムがなぜ効果的だったのか理解したいのです。相対的に言えば、私は心理的に動かされるタイプで、外の世界から特に影響を受けることはありません。私がそこに行ったとき、機械学習はそれほど人気が​​ありませんでした。先輩の中には、機械学習をやらないほうがいいと言う人もいました。私の指導者も、機械学習は役に立たないと言っていました。

From Zero to One: しかしその後、機械学習が突然人気になりました。あなたはその頃 CMU にいたのですか、それともすでに働いていたのですか?

Tian:ディープラーニングが最初に人気を博したのは、2012 年後半から 2013 年初頭です。当時、学術界ではすでにいくつかの兆候があり、ディープラーニングが有用であるかどうかについて皆が議論していました。当時、私は多くの人に尋ねましたが、その多くは懐疑的でした。彼らが最初に言ったことは、「彼らは間違いを犯したに違いない」または「彼らのコードに何か問題があるに違いない。テスト セットでトレーニングすれば、結果は間違いなく非常に良いものになるだろう」ということでした。彼らはさまざまなことを言いました。

見ていてとても興味深いと思いましたし、自分のキャリア選択の問題も関わってきます。当時、私はメンターにディープラーニングをやりたいと伝えました。私の上司はこれを全くやりたがらず、信頼できないと言いました。

しかし、当時はディープラーニングが非常に効果的だと考えており、階層型モデルの問題点についても考えていました。当時、私の論文の 1 つが最優秀論文賞にノミネートされましたが、それも階層モデルに関するものでした。両者には共通点がいくつかあるので、お互いに何か学べることがあるのではないかと思います。

From Zero to One: 当時、博士号を取得したばかりでしたか、それとも取得するところだったのですか?

Tian:それは私が学校をほぼ卒業した頃でした。2013 年 9 月に卒業しました。AlexNet が初めて NeurIPS で発表されたのは 2012 年です。 AlexNet のコードがオープンソース化された後、私はそのコードを実行する方法を作者に尋ねました。しかし、相対的に言えば、グループ全体が依然としてかなり懐疑的な態度を保っており、コンピューター ビジョンに携わる人々は一般的にそれを信じていません。当時私は仕事を探していました。

卒業後すぐにGoogleに入社：「良い仕事」だったが、情熱は消えていた

ゼロからイチへ：博士号取得後の最初の仕事はGoogle Xで、自動運転車に関するプロジェクトに携わったことでした。当時の就職活動についてお考えを教えていただけますか？

Tian：まずはいろいろなことを試してみたかったんです。自動運転というのは非常に興味深い方向性ですね。さらに、ディープラーニングも使われるようになるかもしれないと聞いて、とても興味がありました。 2 つ目は現実的な問題です。博士号取得のために 5 年間勉強した後、卒業後は必ず「良い仕事」を見つけたいと思っています。当時、誰もがそのグループは非常に優秀で、テクノロジーの面でも比較的最先端だと考えていました。自動運転車が普及し始めたのは2016年か2017年です。Googleはそれ以前から自動運転の開発に取り組んでいたので、私は後からこのグループに参加しました。

初めて行ったときは少し興奮していましたが、後になって期待とは程遠いと感じたので、1年以上滞在した後、去りました。

ゼロから1へ: 期待するものと望むものの間にギャップがあると感じるのはなぜですか?

ティアン：いくつかの要因があります。まず第一に、これは機密グループであり、素晴らしい仕事をすることはできますが、それについて誰にも話すことができず、将来の仕事にはあまり有益ではありません。転職したい場合、前職は何をしていたのか聞かれますが、「わかりません」と答えることになります。これは非常に現実的な問題です。 2つ目の問題は、入社したばかりの頃、とてもワクワクして当時の上司に「ディープラーニングを使えるか？」と尋ねたのですが、入社後にディープラーニングができないことがわかったことです。当時、GPU はまだ比較的希少なリソースでした。Google 内には割り当てがありました。ディープラーニングに携わっていたのは、ディープラーニング モデルを実行する時間と権限を持つ、主に上級エンジニアでした。当時の私はただの便利屋で、それほど面白くない仕事をしていたし、それにあまり将来性がないような気がしていました。最終的には、自分が何を望んでいるのかが分かるでしょう。それで1年後に転職したいと思いました。

From Zero to One: 昼間は Google X で働き、夜は独自の研究をしていたという Zhihu の投稿を見たのを覚えています。当時は研究のほうに興味があったと感じていましたか?

ティアン：はい、その通りです。当時、仕事に行くということは、同じことを何度も繰り返すだけだと感じていました。仕事で一日中コードを書いた後、夜は家に帰って自分のやりたいことをします。就職後の自分の状態は、博士課程の頃とは全く違うと感じています。博士課程の間も、研究や思考に多くの時間を費やすのが好きでしたが、Google に移ってからは、この情熱は消えてしまったようで、ただお金を稼ぐためだけにここにいるような気がしました。だから、ここは私にとって適切な場所ではないような気がします。

会社でディープラーニングを行う能力はありませんが、空き時間に記事を読んで自分で行うことはできます。当時、私も小さなプラットフォームを自分で構築しました。もちろん、この方法でも可能ですが、非常に疲れますし、他の研究者とコミュニケーションをとる方法もなくなります。当時の状況はまだ非常に困難だったので、私はついに辞めることを決意しました。昼間は一つのこと、夜は別のことをしながら、Google にずっと留まることはできません。これは長期的な解決策ではありません。

Facebook AI 研究所での求人

ゼロから1へ: しばらく二重生活を送った後、私はついに研究をすることを選択し、Facebook の AI 研究所に行きました。それで、選択のプロセスについて教えていただけますか？

Tian: Facebookだけでなく、いくつかの場所で面接を受けました。面接以外にも、ディープラーニングの発展レベルなど、関連分野の状況を把握しておく必要があります。これらはすべて準備が必要なことです。面接のためにFacebookに行き、ほぼ1週間準備したことを覚えています。関連する記事をすべて読み、状況を大まかに理解しました。

2014年はディープラーニングの進歩が非常に速く、例えばCV分野での物体検出のパフォーマンスは1年以内に大きく向上しました。それを見た後、ついていかなければ破滅すると感じました。 Google で簡単なコードを書き続けたり、簡単なことをやり続けても、絶対にうまくいきません。

もう一つのポイントは、家族をどう説得するかです。なぜなら、家族は大企業で働くことはとても安定していると感じているからです。家族にとって、社員がたった1年勤めただけで大企業を辞めてしまうというのは、実は大きな問題です。当時、私は知乎のようなプラットフォームに、わずか1年で会社を辞めた経験について投稿しました。一部の人は疑うでしょう。「この人は会社に1年しかいなかったし、新しい会社にも1年だけ勤めてから辞めるかもしれない。だから長期的なビジョンがないのだ」と。こうした疑いは、外部からだけでなく、家族からも生じます。こういう時、私たちは何をすべきでしょうか？次に、転職が自分にどう役立つか、また最悪のシナリオはどうなるかを検討する必要があります。結局、最悪のシナリオも悪くないと感じました。スタート地点は高くなかったので、望めば転職も可能でした。

確かに、行きたい場所に行きたいのであれば、それをうまくやるためには多くの時間とエネルギーを費やさなければならないだろうと、当時の私は考えていました。特に当時の私はディープラーニングの訓練を受けた人間でもなければ、ビッグスリーの関連研究機関の出身でもありませんでした。また、途中でこの方向に転向したため、他の人よりも多くの時間とエネルギーを費やす必要がありました。

ゼロから1へ: Facebook に入社した後、すぐにここが自分の行きたい場所だと感じましたか?それとも慣れるまでに時間がかかりましたか？

Tian：当時のFacebookはまだ比較的小さな会社だったので、仕事はより柔軟だったため、特に長い適応期間はなかったと思います。さまざまな制限がある Google ほど多くの規則や規制はありません。たとえば、コメントの後にスペースを追加する場合、スペースを 1 つ追加する人もいれば、スペースを 2 つ追加する人もいます。このことで両者は口論さえするでしょう。しかし、私はこれに興味がありません。 Facebook にはそれほど多くの規則や規制はなく、比較的自由です。もうひとつの理由は、Facebook で研究業務を行っているため、いくつかの論文を読んで関連分野の研究状況を理解する必要があるからです。これが私がやりたいことです。博士号取得のために勉強していた頃に戻ったような気分です。この状態は素晴らしいと思いますし、Google にいるときとはまったく違います。

From Zero to One: では、日々のルーティンがまったく違うのですね？

Tian:はい、まったく違います。もちろん、Google を一発で批判することはできません。この問題は自動運転車グループにのみ存在するのかもしれません。当時、Google Researchからもオファーをもらっていました。そこに行っていたら状況は全く違っていたかもしれないので、Googleのせいとは言えません。 Facebook に着任した後、博士号取得のために勉強していた頃に戻ったような気がしました。仕事に非常に興奮し、やる気も出ました。また生きているような気がしました。特別な情熱もなくただ毎日仕事に行くだけという以前のような感じではありません。

ゼロからイチへ：当時取り組んでいた研究プロジェクトの中で、最も面白かったのはどれだと思いますか？

Tian: 1つはGoです。なぜなら、当時は強化学習をやっていなかったからです。以前は CV をやっていましたが、みんなが考えているような実用的なコンピューター ビジョンの仕事はしていませんでした。その代わりに、非凸最適化に関する理論的な研究に携わっていました。その後、囲碁の強化学習講座も受講し、記事を読み、どうすればもっと上手くできるかを考え、今では強化学習を研究する人間になりました。私も後発者だと言えます。このプロセスはとても良い学習プロセスです。何も知らない状態から徐々に問題が見えてきて、方向性を見つけ、次に何をすべきかがわかるようになったと感じています。特にOpenGoは2018年から注目を浴びています。最初はここまで達成できるとは思っていませんでした。これは非常に良い結果だと思います。

2つ目は理論的な分析についてです。理論的な分析も、私がずっとやりたかったことです。このアイデアは、無人機チームにいたときに思いつきました。みんなトレーニングに集中していますが、問題はたくさんあります。この部分も習得するのに時間がかかりました。最初は考えるのに多くの時間を費やしたかもしれませんが、結果はあまり出ませんでした。今では、やり方、結果を迅速かつ効率的に出す方法、そして次のステップの作業の進め方を徐々に学んできました。これは大きな利益だと思います。

DarkForestの開発をリード

From Zero to One: この Go プロジェクトで遭遇した困難や課題、あるいは興味深いことなどについて教えてください。

Tian: Go は大規模な深層強化学習を伴い、大量のクロスドメインの知識の組み合わせを必要とするため、多くの課題と困難があります。強化学習のやり方を知る必要があるだけでなく、トレーニングが確実に進められるように分散システムを構築したり、パラメータを調整したりする必要もあります。システム効果を達成するには、あらゆるものを組み合わせる必要があります。これは、もともと重複していなかった分野を統合する非常に挑戦的なプロジェクトです。これは非常に良いプロジェクトです。

ゼロから1へ：囲碁ができますか？

Tian:できますが、レベルが非常に低いです。問題が発生した場合にデバッグする方法を知りたいだけです。たとえば、囲碁の名人は問題が起こる前にそれを見ることができますが、私の場合は、機械に 10 手動かしてみないと問題が分からないかもしれません。しかし、それは問題ではありません。マシンは常に稼働しているので、最初にマシンを稼働させることができます。したがって、これは大きな問題ではありません。囲碁が上手い人は、自分の経験をゲームに取り入れたいと思うかもしれませんが、AI が自ら学習できることを望んでいるため、これは実際には AI の設計にとって有益ではありません。

2016 UECコンピュータ囲碁大会、DarkForest（左）がプロ囲碁プレイヤーの小林光一九段（右）と対戦。

ゼロから 1 へ: このプロジェクトには複数の分野の知識が必要だとおっしゃいました。どのようにしてこの複数の分野の知識を素早く習得し、応用したのですか?

Tian:これは私の強みの一つだと思います。時間とエネルギーを費やせば、自分で多くのことを学ぶことができます。もう一つは、何でも自分で試してみようという気持ちです。深層強化学習は自分で試してみる必要がある分野だからです。この方法でのみ、何かが機能しているかどうかを知ることができます。それは私にとって面倒なことではありません。継続的な練習を通じて、このシステムを構築する方法を徐々に学び、結果を迅速に改善できるようになります。

研究者から研究マネージャーへ

ゼロから1へ: あなたが最初にFacebookに入社したときはリサーチサイエンティストで、その後リサーチマネージャーになったと聞いています。研究者から経営者に転身した今、苦労したことや感じたことなどを教えてください。

Tian:確かに課題はあります。まず第一に、マネージャーとして、自分の仕事をうまくこなすだけでなく、他の人のアイデアや考えを理解する必要があります。管理職として、部下の成長を支援できるかどうかを考える必要があるため、部下が何を考えているのか、何を求めているのか、何を目指しているのか、能力の限界はどこなのかを理解する必要があります。これらのことは、1対1のコミュニケーションを含むコミュニケーション、議論、思考を通じてゆっくりと理解され、その後フィードバックが与えられる必要があります。これは実は非常に重要な能力です。他人を理解できることは非常に重要な課題です。

ゼロから一へ：あなたは、自分が非常に成功した人間だと思ったことは一度もなく、時には他の人よりも愚かだと感じることさえあるとおっしゃっていました。しかし、実は今、先生の研究は非常に優れていて、価値があると多くの人が思っているんです。では、現在の研究成果の根拠は何だとお考えですか？

Tian:まず頼りになるのは忍耐力です。忍耐強く、問題に取り組む意欲が必要です。たとえば、私が取り組みたい問題がある場合、どれだけ早く終わらせられるかは気にしません。時間をかけてもいいのです。方向性が正しく、アイデアが明確であれば、少しずつ問題を深く掘り下げて解決することができます。忍耐は大切です。 1 か月間、一つのことに集中できれば、驚くべき結果が得られます。最も恐ろしいのは、人は非常に頭が良いのに、表面的なことしか努力しないことです。しばらく何かをやった後に、もうやりたくないと思ったら、何か他のことをしてください。これは、たとえその人が非常に賢いとしても、何かをうまく、または現実的に行うことができないということを意味している可能性があります。だから私は自分が愚かだと思うので、早起きして、満足できるものを作ることにもっと時間を費やすつもりです。ですから、忍耐は非常に重要です。特に、幸せになるためにビデオを見るなど、素早いフィードバックに誰もが満足するこの時代においてはなおさらです。しかし、何か大きなものを創り出すには、仕事をやり遂げるために長い時間集中する必要があります。たとえ他​​人から高く評価されなくても、あなたはそれをやる気があるはずです。この能力は現代社会では一般的に欠けていますが、この能力があれば偉大なことを成し遂げやすくなります。

AIの発展に関する見解

ゼロからイチへ：専門家の視点から見て、人工知能の現在の開発状況はどうなっていますか？特に今は、その限界とできないことは何でしょうか?

Tian:これは大きな疑問です。AI は熱狂の波が過ぎた後、調整期にあるのではないかと思います。多少の改善やアップグレードはあるかもしれないし、毎年多くの記事が発表されるだろうが、1つか2つ衝撃的な記事が頻繁に発表されていた以前ほどの熱気はもはやない。しかし、大きな進歩もいくつかありました。たとえば、OpenAI の GPT-3 は依然として非常に強力で、多くの興味深い会話を生み出すことができます。

一方、AI分野には多くの人が参入しており、競争は非常に熾烈になっています。しかし、長期的に見れば、AI は依然として良い方向性であり、非常に有望な方向性であり、長期投資する価値があると私は考えています。今後はあらゆる分野にAIが導入され、自動化が実現し、人の負担を軽減できるようになります。しかし、現在の AI の成果はまだ比較的弱いです。一般的に言えば、それはまだ関数フィッターです。入力と出力が与えられれば、良い結果で関数をフィッティングします。

今日の AI は自己認識や強力な推論能力を備えているとは言えません。たとえば、次のような例があります。AI は質問に答え、テキスト内の興味深い段落を見つけることができます。調査の結果、AI は質問と段落の間にいくつかのつながりを見つけるだけであり、これらのつながりを使用して回答を見つけることがわかりました。囲碁でも同じです。駒の配置とその周りの駒のつながりを見つけ、その後、多数の自力対局を通してゆっくりとつながりを見つけ、より良い解決方法を見つけます。

本質的に、AI のこの段階では、多くの影響力のある結果が生み出されています。次のステップは、モデルが何をしているかを理解することです。ランキングをブラッシュアップしてパフォーマンスを向上させることは日常的な操作であり、もはや画期的なこととは言えません。 AIに存在する問題を理解し、ニューラルネットワークがどのように機能するかを理解し、ニューラルネットワークのバグ（敵対的サンプルなど）を回避する方法を理解することは非常に重要です。これらは、AIの将来の発展に大きな影響を与えます。

なぜ機能するのか分からないものを、意思決定に影響を与えるために使いたくはありません。たとえば、最近、AI で行われる多くのことにはバイアスがあることが発見されました。したがって、ニューラル ネットワークの仕組みを理解することによってのみ、バイアスの問題を克服することができ、これは実に重要です。

ゼロからイチへ：Zhihu であなたのファンだという観客から質問がありました。あなたは以前、意識と知能は分離可能であり、高度な知能を持つ AI を開発することで、多くの人ができないことができるようになるとおっしゃっていましたね。しかし、私たちの経験によれば、問題に対処する際には人間の直感が最後の仕上げとなることが多いのです。では、AI の知能に意識を植え付けることは可能なのでしょうか?人間の直観を模倣し、人工知能研究の分野に紹介する試みはありますか？

Tian：まず第一に、直観が導入されたと思います。たとえば、GOのゲームでは、実際には正確な検索を通じてコン​​ピューターによって計算されませんが、多数のゲームを通じて、これは推論と意識なしに現在の入力のパターンを直接見つけることに相当します。これは、現在の機械学習フレームワークにおける直感の良い定義だと思います。

人間にとって、人々はそれがどのように得られるかを知らないので、非常に神秘的でなければなりませんが、機械では非常に簡単です。このロジックによれば、今日の機械学習はすべて直感ですが、直観が少なく、推論が増えることを願っています。

たとえば、「この写真の空は何色ですか？」これは直感的に生きていますが、高レベルの思考、推論、および判断を加える必要があります。

若い開業医へのキャリアアドバイス

ゼロから1：AIに興味のある学生や若い開業医にどのようなアドバイスがありますか？

Tian：実際、数日前にZhihuに関する投稿がありました。これは、大学の入学試験を終えたばかりの学生が専攻を選択するための提案についてでした。最初に堅実な基礎を築くことが非常に重要だと思います。また、「アルゴリズムの位置の消失についてどう思いますか？」現実的に言えば、コンピューターサイエンスに強固な基盤を持つことは非常に重要だと思います。何があっても、将来AIや他のことをすることができるからです。道はより広くなります。これらの基本はフィールド間で一般的であり、非常に良い出発点です。

AIに直接作業している場合、問題は、2年で人気がないか、深刻な問題があることがわかっている可能性がある多くの高音を見ることができることです。 AI分野全体と深い学習はまだ比較的若く、毎日非常に多くのARXIVペーパーがあるため、彼が言ったことは今日正しい可能性がありますが、明日も間違っています。したがって、これらのことを最初に学び始めたとき、「わずかな変更で何か新しいことを実行できますが、なぜこの方法は学習者にとって特に役立たないかもしれません。 1つはコンピューターであり、これらの基本的な知識は多くの人々によって証明されています。基本的な知識の強固な基盤を築いた後、他の仕事をしたり、学習者の将来に有益な最先端のことを研究したりすることができます。

不安とストレスに対処する：期待管理が最も重要なことです

ゼロから1つの質問は、博士課程の研究中の仕事の強度がより高く、仕事のペースもどのように激しくなりますか？

Tian：最も重要なことは、適切な期待を持つことです。これは、博士号の段階で発達する非常に重要な能力かもしれません。なぜプレッシャーがあるのですか？それは、私が目標を高くして、特に博士号を取得したとき、それを達成できないことを心配していたからです。まず、何ができるかを知る必要があります。

もう1つは、中国人がしばしば「私はそれができる」と言うことに慣れていることですが、彼らはストレスと不安を感じるかもしれません。したがって、他の人とコミュニケーションを取り、「これができない」と「これができる」ことを明確にすることも非常に重要です。

もう1つは自己管理です。つまり、「自分がやりたいことを確実に達成できる」ということです。多くの人は、たとえば強い自己規律を持っていないかもしれませんが、それを計画して携帯電話を閲覧することもできます。良い時間管理計画がある場合、この不安は軽減されます。

私が過去2年間に行った進歩の主な分野は、私が物事を行うのにより効率的になったことです。たとえば、同じ5時間を使用してプロジェクトを行うと、3年前よりも今よりよく完了できます。自分自身を書く必要がなく、インターネットで既製のパーツを見つけることができる部分、より良いソリューションで解決できる部分、他の部分に委任できるパーツを見つけました。この種の計画的な考え方は、常に改善されていると言えます。プロジェクトだけでなく、研究のためにも。たとえば、実行できるプロジェクトを見つける方法や他の人と通信する方法は、明確な方向性があるはずです。