BATのアルゴリズムエンジニアにまた拒否された

[[186071]]

今日、私は BAT のアルゴリズム エンジニアに再び拒否されました。はい、お読みの通り、私はアルゴリズム エンジニアに拒否されました。

たぶん、正確に言うと、テンセントのアルゴリズムエンジニアに拒否されたんです。4回目か5回目だったと思います。

仕方がないですね。深センでデータマイニングやアルゴリズムの人材を探すなら、アルゴリズム作成拠点であるテンセント以外にも、できる会社はありますが、比較的少ないです。

高校生が告白するみたい。僕が「好き」と言ったら「よく考えて、私たちは合わないと思った」って。/ 顔を隠して、恥ずかしいよ～～

ここまで聞いてもまだ少し混乱している人も多いと思いますので、あらすじをざっくりと説明しましょう。

当部門ではデータマイニングエンジニアを募集していますが、もちろんアルゴリズムエンジニアとして捉えることもできます。そうすると深センで考えられる唯一の大企業はテンセントなので、一次選考を通過した後はテンセント出身者がほとんどです（もちろん他のルートからの人もいます）。

比較的中級または上級のアルゴリズムエンジニアを求めているため、基本的に以下の条件を満たすことができれば、試験に合格する可能性はかなり高くなります。

1 3～5 年の職務経験は、十分なプロジェクトを経験し、多くのアルゴリズムまたは単一の方向で多くの経験を積んでいることを意味します。

2 テンセント出身の彼には、すでにそれを裏付ける実績がある。

3. プロジェクト経験が職務要件と一致しているため、方向性が逸脱せず、スキルが比較的再利用しやすく、問題解決やギャップの埋め方がより上手になります。

上記の点を満たし、性格が良く、考え方が柔軟で、性格上の問題がなければ、合格する可能性はかなり高くなります。

しかし重要なのは、彼らがそれを私に決して与えなかったということだ。

もちろん、転職は双方向の選択です。あなたは他の人の経験、スキル、性格、個性などの属性を認識し、彼らもあなたの条件、つまり会社の方向性、チームの状況、プロジェクトの状況、給与や福利厚生などを認識する必要があります。

両者がお互いに愛し合っている場合にのみ、この問題は継続できます。

私が保証できるのは、当社のデータ チームは独自の思考、創造性、想像力を備えた優れたチームであるということです。当社の部門に加わっていただければ、あなたの仕事は有意義なものとなり、比較的高いレベルの自主性と挑戦の機会が得られ、あなたの「小さな宇宙」を解き放つ十分な余地が与えられます。

残りについては、確かに私のコントロール性は少し悪いですが、それでもいくつか提案することはできます。

例えば、会社の方向性として、2017年はコンテンツマネタイズ元年だと言われていましたが、弊社は2016年からすでにこれをやっていました。それに賛同しているかどうかはともかく、少なくともまだ仕事をしているので賛同はしています。

この職種の給料は他の職種より高く、業界水準より低くもない（くそ、俺より給料高い）し、中小企業の福利厚生もめちゃくちゃ充実しているので、すごく良いとは言えないけど、決して悪くはない。

また、私が知ったところによると、テンセントが支給する月給はそれほど高くなく（平均的です）、少なくとも普通のエンジニアレベル（T2-3、T3以上はリーダーレベルに達することができます）、アルゴリズム分野で働く人にとってもそれほど高くありません。ただ、年末ボーナスがかなり多くの月に支給されるのですが、年末ボーナスは固定値ではありませんよね？そして総合的に計算すると、想像するほど法外な金額ではありません。

残りについては、まあ、一つ一つ詳しく説明するつもりはありません。この記事のテーマはこれではないからです（叱られないことを願いますが、長い間話した後、実際に他の人にテーマは別のものだと言ってしまい、怖くなりました）～～

[[186072]]

実は、今日お話ししたいのは、アルゴリズムエンジニアやデータマイニングエンジニアとして、大規模工場で働くのと中小規模の工場で働くのとでは本質的な違いは何なのか、あるいは大規模工場出身のデータマイニングエンジニアは何を追求しているのか、という話です。

おそらく誰かが「でたらめだ、もちろんそれは金だ」と言うでしょう。

そんなに下品なことを言わずに、技術の追求（実は私も金が好きなんです）や理想の追求など、建設的なことを言ってもいいのではないでしょうか。

まずは大企業のアルゴリズムエンジニアが一般的にどのような仕事をしているのか見てみましょう。

もちろん、私はBATで働いたことはありませんが、多くの大企業の関係者と話をしたことがあるので、状況はある程度知っています。そして、ここで言うアルゴリズムエンジニアとは、普通の部署の普通のアルゴリズムエンジニアのことだけを指します。例えば、テンセントの人工知能研究所のような、博士号取得者が大勢いる部署でアルゴリズムに取り組んでいる人たちについては触れません。

また、これはあくまでも私の理解です。正しいとか間違っているとかいうものではありません。あなたがそれに賛成するかどうかは関係ありません。ですから、もし友人がこれを取り上げて私を批判したいなら、そのままにしておいてください。

大企業でアルゴリズムやデータマイニングに携わる専門家の多くは、会社と関係のある人ですが、共通する「ねじ込み」現象があります。

ここでの「ネジ」という言葉は軽蔑的な言葉ではなく、比較的中立的な言葉であることに注意してください。一方では、「釘」が十分に深く打ち込まれていることを意味し、その専門性が保証されていることを意味します。他方では、範囲が比較的狭いことも意味します。たとえば、テンセントのT2-2/3などの一般的なエンジニアにも、これらの明らかな特徴があります。

もちろん、例外は常に存在します。ここで説明するのは、私が観察した一般的な状況にすぎません。

もちろん、私が間違っていたのかもしれません。

不満に思わないでください。いくつか例を挙げてみましょう。

ユーザーポートレートを例にとると、デジタルプラットフォーム、広告部門、その他のXX部門など、テンセントの多くの関連部門がこれを行っている可能性があり、一部のビジネス部門にも独自のモデルセットがあると思います。

上位業務であるユーザープロファイリングの拡張性が非常に高いため、回避策はありません。タグマイニングが正確であれば、その後の上位業務でできることは非常に多くあります。

一方では、ユーザー ポートレートはシステム アーキテクチャの設計です。他方では、実際には、その本質は依然として情報のラベル付けです。鍵となるのは、1 つ 1 つにラベルを付ける方法と、異なるラベルの階層化ロジックです。

基礎となる実装に関して言えば、最も一般的に使用されるのは、データ ソース、処理方法、使用されるアルゴリズムなどがそれぞれ異なるさまざまな分類アルゴリズムです。

テンセントでは、ユーザーポートレートなどの研究指導は一般的に数人のグループで行われるため、この実際の操作に基づいて上記の点を簡単に説明しましょう。

このチームはデータにアクセスできないため、データの出所に注意を払う必要はなく、これらの基本データの収集、集約、およびクリーニングに関与することもありません。

これらの基本的な生データは、すでに協力部門や他のグループによって処理され、提供されているからです。

アルゴリズムに関しては、前任者がすでにビジネスニーズを満たすアルゴリズムライブラリをパッケージ化して呼び出しているため、さまざまなアルゴリズムを実装する必要がないことがよくあります（大企業では、カスタマイズと高い制御性を実現するために、一部のアルゴリズムライブラリを自分で作成してパッケージ化することが一般的に好まれます）。そうでなくても、これを専門とするチームや部門が他にもあります。

大量のデータに対して作成した分類器を実行する必要がある場合、呼び出して実際に結果を実行するために、他の人が構築した既製のプラットフォームがすでに存在します。

実際、エンジニアリング プロセスがカプセル化されているため、エンジニアリング作業を行う必要すらありません。分類子のサービス エントリを構成し、処理フローを構成し、タスクを直接送信するだけで済みます。データが具体的にどのように流れるか、または実際のエンジニアリング プロセスがどのようなものかを知ることはできません。

さて、このステップでは、表示されるべきラベルがすべて表示され、ポートレートも完成しました。では、次は何でしょうか? これで完了です。

彼らのポートレートは他のグループや部門に配信されます。ポートレートが今後どのように使用され、どのようなシナリオで使用され、どのように変更されるかについては、彼らは知らないか、気にしません。せいぜい、AB テストの結果を取得して、さらなる最適化のガイダンスを提供します。

プロセス全体を見てみましょう。データ ソースの処理と変換、クラスター プラットフォーム レベルの認識、実際のエンジニアリング プロセス、アルゴリズムによって解決される実際のビジネス上の問題など、多くのことが見逃されます。

これが、スキル ポイントが比較的単一で狭いという意味です。

もちろん、メリットがないわけではありません。たとえば、大量のデータに触れることになります (ただし、ポートレートの観点からのみ見ると、このメリットはそれほど大きくありませんが、データ処理の初期段階やエンジニアリングの後期段階ではより実感できます)。次に、アルゴリズムに集中する時間が増え、ある意味ではより深い知識を身に付けられます。

たとえば、私のように貧しい家庭出身で蘭翔大学を卒業していない人間は、彼らの前でアルゴリズム理論について話す勇気は決してありませんが、だからといって会話を続けることができないわけではありません。

たとえば、実際の問題とアルゴリズム モデルの変換、実際のビジネス モデルの定量化、データ プロセス全体のアーキテクチャなどでは、十分な経験、十分な理解、十分な観察、十分な思考を積んできたため、ほとんどの人を数秒で打ち負かすことができると信じています。

たとえば、Goose のアルゴリズム エンジニアにインタビューしたとき、GuangDianTong ユーザー ポートレート アルゴリズムのエンジニアリング部分について質問しました。

教師あり方式で分類器をトレーニングした後、分類器サービスとして展開し、このサービスを呼び出すだけで分類結果を得ることができます。

実際のアルゴリズム エンジニアリング プロセスは、HDFS -> XX メッセージ キュー (名前は忘れましたが、彼ら自身が書いたものです) -> Storm、そして Storm で分類器サービスを呼び出して、最終的にすべてのデータの結果を処理します。

当時、私はこう尋ねました。毎日定期的に他の部門からオフラインでデータがエクスポートされているのに、なぜこのようなモードになっているのですか? 明らかにオフラインのバッチデータですが、ストリーミング処理方式である MQ プラス Storm を使用する必要があります。これほど大量のデータがある場合、1 日分のデータをすべて処理できるのはいつですか?

実際、このモードはオフラインのバッチ コンピューティング プロセスです。バッチ コンピューティングのプロセスでは、分類サービスが呼び出され、オフラインで実行されます。もちろん、分類サービスがこの種の同時実行をサポートする必要があるか、パフォーマンスが十分であることが前提となります。

少し話がそれたようですね。前の話題に戻りましょう。これはユーザーポートレートの例だけではなく、他の多くの部門でも同様です。

例えば、基本的なデータを提供する部署の中には、大量のデータのクリーニングと整理のみを担当しているところもあり、そのデータが後々どのように使われるかは、実は気にしていないところもあります。

プラットフォームの運用保守部門は、プラットフォームに問題がないか、リソースが十分にあるかだけを気にします。クラスター内でどのような業務が実行されているかは気にしません。

広告にポートレートを使用するような一部の上位部門では、ポートレートがどのように生成されるかは気にしません。ポートレートが十分に正確である限り、上位レベルの配信アルゴリズムのロジックにのみ集中する必要があります。

つまり、各ブロックは独立しており、1 つのポイントに集中するだけで済みます。一般の人にとって、プロセス全体をカバーするのは困難です。

「ネジ」は深く「釘付け」になっていても、そのレベルが十分でなければ、それは単なる「ネジ」でしかありません。

そこで、中小企業における同じポジションを見てみましょう。

まず第一に、ビジネス上の問題を解決し、ビジネス主導になる必要があります。

たとえば、正確な広告を配信する必要がある場合、ビジネス目標を細分化し、実際のビジネス上の問題をモデルの問題に変換するアルゴリズム エンジニアまたはデータ マイニング エンジニアが必要です。

広告の正確な配信は、ラベルマッチングの問題と、さまざまな上位レベルのスクリーニングおよびソート関連のロジックに基づいて実装されます。遡ると、ラベルはポートレートレベルで実装されるため、ポートレートをどのように描画するかという問題を解決する必要があります。

肖像画を描くときは、使用するアルゴリズムだけでなく、データを取得する方法、データの前処理方法、そしてアルゴリズムを設計する方法にも注意する必要があります。アルゴリズムを実際に設計する際には、データのバッチ処理、データの規模、同時実行性、およびその他の一連の問題を考慮する必要があります。

これらのプロセスでは、パッケージ化されたアルゴリズムライブラリを見つけるのが難しかったり、アルゴリズムのパッケージ化を行う時間がなかったりして、オープンソースのものしか使えなかったりするため、外部の情報を十分に理解したり、外部から知識を素早く獲得する能力が必要になります。

カプセル化は確実に悪化するため、一部のクラスター操作に必然的に関与することになり、一部の基礎となる Linux 操作は避けられません。

そのため、一般的な中小企業のアルゴリズムエンジニアは、アルゴリズムを十分に研究するのではなく、追加の知識に触れることになります。データ処理プロセスを理解し、アルゴリズムの研究とモデリングを行い、ビジネスを理解し、迅速に学習し、実際の生産エンジニアリングを学ぶなどする必要があります。

実は、私はずっと無意識のうちにアルゴリズムエンジニアとデータマイニングエンジニアを2つの職業に分けてきました。アルゴリズムエンジニアは、明確な問題をより詳細に解決する方法という、ある一点の研究に重点を置いていると思います。これは、大企業でアルゴリズムに取り組む同志に少し似ています。

データマイニングエンジニアは、当然のことながら、より多くのことに触れ、実際のビジネスに導かれ、アルゴリズムモデルを組み合わせて実用的な問題を解決します。これには、さまざまなデータ処理、エンジニアリングフレームワーク、エンジニアリングなどの一連の問題が必然的に含まれます。アルゴリズムはその一部にすぎません。これは、中小企業でアルゴリズムを使用して実用的な問題を解決する人のようなものです。

それで、この 2 つのタイプの人のうち、どちらが優れているのでしょうか?

実はこの質問はちょっとばかげていて、良いと悪いの間に違いはありません。1つはより焦点が絞られており、問題をより徹底的に解決できます。もう1つはより複雑で、実際の問題をすばやく変換でき、より効率的です。

たとえば、現在非常に人気の人工知能を考えてみましょう。彼らの研究の方向性は自殺することです（ほとんどの場合、現在の研究が直接的な商業価値をもたらすかどうかは気にしません）。したがって、彼らが必要としているのは間違いなく、非常に専門的で集中力のある人材です。したがって、BATの人工知能研究所はすべて博士課程の学生の強制収容所です。

しかし、一般的な中小企業の場合、実際の問題を迅速に解決することが目標です。「迅速に」と「実際の問題を解決」という2つのキーワードがあることに注意してください。

したがって、限られた時間内にアルゴリズムを使用して実用的な問題を解決し、効率を向上させる必要があります。

したがって、高度に複雑なスキルには一定の要件があり、単一のアルゴリズム ポイントではなく、マイニング プロジェクト プロセス全体が必要になります。

最後に、最後の質問を分析しましょう。テンセントのT2-2/3レベルのアルゴリズム同志にとって、大企業を辞める目的は何ですか？あるいは、何が得られますか？

テンセントにはT2-3がたくさんあることはわかっていますが、T3はリーダーになれるものの、狼が多すぎて肉が少なすぎるため、T3の数は減少しています。そのため、多くの人にとって、去ることは避けられない道です。

次に、個人のスキルにポイントを追加する場合、それはゲームをプレイするのと同じです。 1 つまたは 2 つのスキルに多くのポイントを割り当てると、多くの特定の状況で無敵になる可能性があります。

しかし、私たちが置かれている環境は変化しやすく、直面する事柄も複雑で多様であることが多いため、特定の分野で十分な経験を積んだ後、さらに適切なスキルを学び、全体的な質を高め、外の世界で生き残る能力を高める必要があります。

今後は、一部の専門分野を除いて、ほとんどの人にとって、一方向には深く、他の面では広いという複合的な才能が、間違いなく非常に人気が出ると思います。

ですから、大きな工場から抜け出したいと思っている友人たちにとって、外の世界は素晴らしいものであり、今こそ外に出て見に行くべき時なのです。

さまざまな人と関わり、さまざまなものに触れ、よりコントロールでき、より大きな達成感を得られる仕事を見つけ、自分に欠けているスキルを身につけて、より開かれた世界を体験することが重要です。

[この記事は51CTOコラムニスト「黄崇源」によるオリジナル記事です。転載については原作者までお問い合わせください。]

この著者の他の記事を読むにはここをクリックしてください