この記事は公開アカウント「Reading Core Technique」(ID: AI_Discovery)から転載したものです。 AIコンサルティングサービスを利用したい場合、コンサルティング内容を最大限に活用できるように、まずはこの6つのAI用語を理解する必要があります。
1. データラングリングデータ ラングリングとは、メタデータを取得して、それを機械学習や人工知能が理解できる形式と構造に変換するプロセスです。データ ラングリングは、クライアントが収集したデータを取得し、それを使用してソフトウェア ソリューションに必要なモデルを構築するために AI コンサルタントが実行する最初のステップの 1 つです。 このプロセスには、データの入力、データの構造化、不良データのクリーンアップ、より有効なフィールドを作成するためのデータ処理など、多くの手順が含まれます。この部分は単純に思えるかもしれませんが、おそらく最も重要な部分であり、クライアントが入力したデータを使用して、新しいコンサルタントがこのデータを整理できるようにする必要があります。 2. AIモデルのデータ補間ほとんどのデータ セットには欠損値フィールドがあり、そのためデータ セットがまばらで断片化されているように見えます。最も迅速な修正方法は、データセットからフィールドまたは属性を単純に削除することですが、コンサルタントがアクセスできるデータはそもそも貴重であるため、これは多くの場合、初歩的な解決策です。 この場合、ほとんどのAIコンサルティング会社は、データ処理技術を通じて、残ったデータに基づいて欠損値に最も妥当な数値を割り当てます。最も一般的な手法は平均補間であり、これは現場の既知のデータの平均を取り、ギャップを埋めるものです。多くのデータ サイエンス コンサルタントがこの手法を使用しており、これは現在のデータ アーキテクチャを混乱させることなくギャップを埋める優れた方法です。 3. データの分割人工知能や機械学習を使用する多くのモデルは、モデルのトレーニングとテストを目的としてデータをグループで処理します。多くの AI コンサルティング企業では、グループ化に十分なデータがあることを確認するために、提供されるデータがファイル サイズと行数に関して特定の数量要件を満たすことを要求します。 場合によっては、クライアントと協力して、確立されたデータセットに追加するテスト セットとして将来のデータを収集することもあります。 Scalr.ai では、特に将来、簡単に制御できるデータ ストリームを通じてデータを簡単に取得できるようになると、この 2 つを組み合わせるように努めます。 4. 教師あり学習多くの AI コンサルティング サービスでは、機械学習やデータ サイエンスを活用し、アルゴリズムを使用して属性 (フィールドとも呼ばれます) と既知の最終目標との間のつながりを見つけます。ほとんどの AI コンサルタントは、AI ソフトウェア ソリューションでこれらのアプローチの少なくとも 1 つを使用しています。 このアプローチの典型的な例は、家の平方フィート数、階数、ドアの数をフィールドとするモデルです。ターゲット変数は家の既知の価値であり、このモデルを使用して将来の住宅価格を予測できます。 5. 教師なし学習ご想像のとおり、このプロセスでは上記と同じ入力データセットが使用されますが、ターゲット変数は使用されないため、異なる結論が導き出されます。一般的に言えば、これはターゲット変数が不明であり、データに関する全体的な情報が不明であるが、何らかのターゲット変数の構築を開始したいために行われます。 ほとんどの AI コンサルティング企業は、これらのアルゴリズムを使用して、セキュリティ システム内の危険信号となる可能性のある範囲外のデータ ポイントなど、データ内の外れ値を見つけます。 6. モデル評価指標最後に、望ましい結果を得るために効果的なモデルとアルゴリズムを構築する人材を雇用します。 AI コンサルタントは、評価指標を使用して、行われている作業の実際の進捗状況を把握し、発生した問題に基づいてソリューションを調整する方法を決定できます。 ほとんどの場合、モデルを評価するために使用される用語は、精度、AUC、および精度ですが、ソフトウェアでモデルを評価する方法は他にもたくさんあります。 |
<<: 幾何学的機械学習: 基礎科学でどのように実現するか?
序文今は知識が急速に反復される時代です。この時代では、次のように感じるかもしれません。「最初から最後...
偉大な将軍の名声の裏には、数え切れないほどの兵士たちの援助がある。この声明は自動運転の分野にも当ては...
プロンプト エンジニアリング (コンテキスト プロンプトとも呼ばれる) は、モデルの重み/パラメータ...
Microsoft の Copilot は、世界で最も強力な生産性向上ツールの 1 つと言われていま...
「思考の連鎖(CoT)」の概念を注意深く研究したことがあるなら、おそらく Jason Wei とい...
今週ネイチャー誌に掲載された科学報告で、研究者らはロボットが人間の言語の生成を促進できることを発見し...
当社のガイドで、ビジネスに AI の力を活用する方法を学びましょう。 RAG と CRAG の統合、...
パート01、 シリーズとデータフレーム: Pandas のコアPandas の 2 つの主要なデータ...
「汎用人工知能」は、今や2020年代の「水から石油」の技術になりつつあります。ほぼ2週間ごとに、大規...
8月4日、中国北方工業集団公司、北奔重型トラック集団有限公司、渤海、松山湖材料研究所は調印式を開催し...
この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...
導入人工知能の重要な分野はコンピュータービジョンです。コンピューター ビジョンは、コンピューターとソ...
このチュートリアルでは、著者が最新の機械学習アルゴリズムについて簡単に実践的なレビューを行います。同...