OpenAIはAIモデルのトレーニング用データセットを生成するパートナーを募集している

IT Homeは11月10日、OpenAIがAIモデルのトレーニング用にパブリック/プライベートデータセットを生成するために組織と協力すると発表したと報じた。このデータパートナーシップの目的は、「より多くの組織がAIの未来を導くのに貢献できるようにする」ことと、「より有用なモデルから利益を得る」ことにある。

IT Homeはブログから、OpenAIが「最終的にAIをより安全にし、全人類に利益をもたらすためには、AIモデルがあらゆるトピック、業界、文化、言語を深く理解できるようになることを期待しており、そのためには可能な限り幅広いトレーニングデータセットが必要である」と述べたことを知った。

OpenAIは、データ・パートナーシップ・プログラムの一環として、「人間社会を反映した」、現在はオンラインで簡単にアクセスできない「大規模な」データセットを収集すると述べた。同社は画像、音声、動画など複数のモダリティにわたる取り組みを計画しているが、特にさまざまな言語、トピック、形式にわたる「人間の意図を表現する」（長文の文章や会話など）データを求めている。

OpenAIは、必要に応じて組織と協力し、光学式文字認識と自動音声認識ツールを組み合わせてトレーニングデータをデジタル化し、必要に応じて機密情報や個人情報を削除すると述べた。

OpenAI は、AI モデルのトレーニングに誰でも使用できる公開オープンソース データセットと、独自の AI モデルをトレーニングするためのプライベート データセットのセットの2 種類のデータセットを作成したいと考えています。

OpenAIによると、このプライベートセットは、データを非公開にしたいが、OpenAIのモデルに自分の分野をより深く理解してもらいたい組織向けだという。これまでOpenAIは、アイスランド政府やMiðeind ehfと協力してGPT-4のアイスランド語会話能力を向上させ、Free Law Projectと協力してモデルの法的文書理解能力を向上させてきた。