ITリーダーが避けるべき6つのGenAIの落とし穴

OpenAI が最近発表した ChatGPT のカスタム バージョンにより、あらゆる企業が GenAI をさまざまな方法で簡単に使用できるようになりますが、使用しない方が良い場合もあります。大西洋の両側で数週間以内に開催された2つのAI安全サミットでは、AIの潜在的な危険性について疑問が提起されたが、架空の殺人ロボットの科学的脅威も、どのAIモデルが規制される可能性があるかに関する奇妙に具体的なガイドラインも、現在利用可能な多数のGenAIツールの活用に苦戦している企業にとって特に役立つようには思えなかった。

GenAI に対する最も大きな苦情は、作家やアーティストから寄せられたもので、彼らは自分たちの作品が許可なく大規模言語モデルのトレーニングに使用されていることに不満を抱いている。 11月初旬、ハリウッドの何カ月にもわたる脚本家と俳優のストライキは、スタジオに譲歩を求め、AIツールが人間の脚本家や俳優に取って代わる方法を制限することで和解に達したが、クリエイティブ業界以外の企業であっても、GenAIの使用には注意する必要がある。恥ずかしい形で裏目に出て、訴訟の対象となる可能性があるからだ。

多くの企業は著作権を懸念事項として挙げています (FTC も同意しているようです)。競合他社からコピーして貼り付けたようなビジネス プランを提出すると問題が生じる可能性がありますが、遭遇する可能性のある問題はそれだけではありません。

評判の失墜

マイクロソフトの最近のガーディアン紙との出来事は、創造的な AI をどのように使用すべきでないのかを示す教科書的な例です。ガーディアン紙は、マイクロソフトのAIニュースシステムが、女性の死について読者に推測を求める無神経な世論調査を自動生成し、それをニュース記事に挿入したため、このテクノロジー企業に「深刻な評判の失墜」をもたらしたと主張している。

しかし、Bing の AI ニュースがセンシティブなニュース記事に疑わしいアンケートを追加したのは今回が初めてではない。同じ AI ツールは、後に射殺された女性を殺害することを拒否したのは正しい決定だったか、国立公園で発見された人骨は適切に識別されたか、火災で 50 軒の家屋を失った地域の人々は本当に緊急避難勧告に従う必要があったか、火事で 2 人の子供が亡くなったことに読者が「希望と支援」を感じ、他の子供の火傷被害者のために募金活動を行うかどうかなど、他のアンケートも作成した。

AI搭載のBingチャットの広告にはマルウェアへのリンクも含まれていたし、マイクロソフトのAIツールはオタワへの訪問者にフードバンクで食事をするよう提案したり、無名のウェブサイトでバイデン大統領を含む政治家に関する偽ニュースを強調したり、ニュース記事の詳細を非常に曖昧にして、女優がスポーツトレーナーを暴行したと示唆したりしたが、実際にはトレーナーが馬を虐待したと非難されていた。

ChatGPT のような GenAI モデルがこれまでに犯した注目のミスとは異なり、弁護士や医療専門家はほとんどの場合、先に進める前に少なくとも結果を確認する機会があったが、これらのガーディアンによる世論調査は、人間の承認なしに自動化されたシステムを通じて、何百万人もの訪問者がいる Microsoft のプロパティに公開されたようだ。

マイクロソフトは、この調査は間違いだったと述べ、調査すると約束したが、AIシステムとやりとりしていることを人々に知らせることや、人間とAIのやりとりに関するガイドラインなど、責任あるAIの使用に関する同社の原則のいくつかに明らかに違反しているようだ。同社はAzure OpenAIの顧客に対して、「あらゆるトピックに関するコンテンツ」の作成や、「最新かつ事実に基づいた正確な情報が重要な状況」での使用を控えるようアドバイスしており、これにはニュースサイトも含まれる可能性がある。

AIの過剰使用

より広い意味では、Azure OpenAI の包括的な透明性に関する注記は、サービスが不適切または不快なコンテンツを生成する可能性があること、および無関係、虚偽、または信頼できるデータを誤って伝える応答を生成する可能性があることを警告するのに役立ちます。そこには、使用または乱用が人生の可能性や法的地位に影響を与える可能性のある政治キャンペーンや非常に機密性の高いイベントなど、回避すべき状況がいくつか記載されています。また、医療、教育、金融、法律などのハイリスクな分野など、注意が必要な状況も記載されています。ただし、特定の分野に限定された質問は、自由形式の制限のない質問よりも、長くて問題のある応答を生成する可能性が低くなります。

マイクロソフトは、GenAI が不適切であると考える分野を特定することを拒否し、代わりに、コンテンツの作成、言語の要約または改善、コード生成、セマンティック検索など、顧客が成功を収めている分野のリストを提供したが、同社の広報担当者は次のように述べた。「私たちの世界では、AI は非常に強力になり、驚くべきことを行うことができます。ただし、このテクノロジは旅であり、成長と発展の余地がたくさんあることを理解することが重要です。この区別は重要です。」

GenAI のすべての顧客がこれを理解しているわけではなく、GenAI によって作成されたわかりにくく質の悪いコンテンツがすでにビジネスの場で登場しています。カンファレンスの略歴、ブログ投稿、スライド デッキは印象的かもしれませんが、よりよく理解しているべきマネージャーによって承認された場合は意味がありません。プロのライターやセキュリティ教育者によって投稿されるこうしたコンテンツは、驚くほど多くの指を持つ人物などの AI 画像が補足されて増えています。こうした中身のない戯言は、不安になるほど一般的になる可能性があり、評判が危機にさらされているため、企業は警戒を怠らない責任がある。

無神経なコメントは社内でも同様に不適切です。アンケートやクイズは長時間の会議やチームチャットを盛り上げます。そこで、人々が話していた内容に基づいてクリエイティブな AI にアンケートやクイズを作成させたくなるものです。たとえば、家族の病気やペットの死の詳細を誰かが共有した場合、これはひどい結果を招く可能性があります。

「GenAI は一般的に、共感、倫理的判断、人間の微妙なニュアンスに対する深い理解が不可欠な環境には適していません」と、業界情報プラットフォーム GlobalData の破壊的技術担当アソシエイト プログラム マネージャー、サウラブ ダガ氏は指摘する。同氏が挙げた敏感な領域のリストは、マイクロソフトのガイドラインと似ている。「重大な法的、財務的、または健康関連の影響を及ぼす可能性のある、リスクの高い決定は、AI には適さない可能性があります。」

マルチモーダル モデルに関する作業がさらに進むまでは、あらゆるコンテキストでテキストと画像を混合する GenAI には注意が必要です。誤ったキャプションによって、まったく問題のない画像が不快なものに変わってしまう可能性があるためです。また、画像生成モデルでは、看護師はすべて女性で、CEO はすべて男性であると簡単に想定されてしまうからです。

「特に GenAI は、以前から存在していたが、十分に対処されていなかった問題を拡大させている」と、Microsoft 365 Copilot や Llama2 などのオープン アクセス モデルを使用して AI システムを構築する顧客を支援するサービスを提供している Dell Technologies の AI 戦略担当シニア バイスプレジデント、マット ベイカー氏は警告した。 「プロセスとワークフローを例に挙げてみましょう。人事や採用などの分野では、アルゴリズムの偏りが要因になる可能性があります。企業は、衛生状態、優先順位、データの機密性を正直に検討し、最大の利益を得てリスクを最小限に抑える領域に GenAI ツールを導入していることを確認する必要があります。」

AIは常に正しいと仮定する

GenAI ツールは素晴らしいものですが、本質的に確率的であるため、間違いを犯すことが多く、生成される内容が不正確、不公平、または不快なものになる危険性があります。ただし、言葉遣いが自信に満ち、説得力があるため、その危険性は見逃されてしまいます。

重要なのは、すぐに使える結果を期待しないこと、そして GenAI が間違った方法で役立つ可能性があるという事実に注意し、完璧なアイデアを与えてくれるものではなく、新しいアイデアを刺激するブレインストーミングのディスカッションとして扱うことです。

マイクロソフトの GenAI ツールのほとんどが Autopilot ではなく Copilot に組み込まれているのはそのためだと、CEO のサティア ナデラ氏は今夏の Inspire カンファレンスで次のように述べている。「人間をループに取り込み、人間が常に制御権を持ち、強力な副操縦士としてあらゆるタスクを手助けできるように設計することが目的です。」より良い結果を得るためにプロンプ​​トを試行錯誤することを学ぶことは GenAI 導入の重要な部分であるため、Copilot Lab のようなツールは従業員がそうしたスキルを習得するのに役立ちます。

同様に、プロセスを自動化するのではなく、従業員が AI によって生成された結果を実験して評価できるように、独自の GenAI ツール用のワークフローを作成します。 AI の推奨事項を確認する人が状況についてどのような情報を持っているか、また、正確性と適切性を確認せずに最初のオプションを受け入れることで時間を節約するのではなく、結果をレビューして引用元を確認する動機が何であるかを念頭に置いてください。

ユーザーは、GenAI から受け取る推奨事項と決定を十分に理解し、その結果がどうなるかを把握し、他の人にそれを正当化できる必要があります。英国情報コミッショナー事務局は、「企業がAI支援による意思決定について説明しない場合、規制措置、評判の失墜、国民の関心の低下に直面する可能性がある」と警告している。

あらゆる場面で複数の選択肢を提供し、提案を説明する方法を示したり、プロンプトを使用して大規模言語モデルに特定の応答を出した理由を説明するように指示したりすることが役立ちます。クリエイティブな AI に重要な情報のソースを引用させるだけでなく、日付、統計、ポリシー、または前例など、より詳細な調査が必要な重要な要素を強調表示する方法を検討してください。

しかし、最終的には、GenAI が人間の創造性や判断力の代わりではなく、まだ検証が必要な有用なツールとして見られるような文化を構築することが目的です。

「GenAI や他の形態の AI は、人間の意思決定を補強するために使われるべきであり、その限界が危害を及ぼす可能性がある状況でそれを置き換えるものではない」とダガ氏は指摘する。「人間の審査員は、AI の出力を額面通りに受け入れるのではなく、批判的に評価するように訓練されるべきである。」

人間によるレビュー、AI の提案による実験の奨励、徹底的な評価などのプロセスに加えて、不適切な場合にタスクが完全に自動化されるのを防ぐためのガードレールを整備する必要があります。 「例えば、AIは企業のプレスリリースを作成するかもしれないが、その内容を承認して選ばれたジャーナリストや出版物と共有できるのは人間の編集者だけだ」と彼は付け加えた。

GenAI は、新しいコードベースの探索、定型コードの入力、関数の自動補完、単体テストの生成など、開発者の生産性を確実に向上させます。また、この生産性の向上を活用しながら、人間によるレビューなしでコードを本番環境にリリースしないという決定を下すこともできます。

コロラド州に拠点を置くコンサルティング会社サガブルのグローバルCTO兼創業者、アンディ・マン氏は、企業はAIを不適切領域に導入するなど、自らの選択の結果に責任があると述べた。 「顧客は、データ漏洩が『当社の AI のせいだ』というだけの理由で許してはくれません。」

隠されたAI

従業員や顧客によるシステムの責任ある使用を確保することは非常に重要であり、透明性はその重要な要素です。多くの出版物が AI 生成コンテンツを使用しているのは恥ずかしいことです。その品質の低さはすぐに見破られますが、社内会議の要旨、マーケティング情報、チャットボットの応答など、高品質なコンテンツであっても AI システムによって生成されることを認識しておく必要があります。チャットボットなどの自動化システムに「出口」を提供し、ユーザーが問題を実際の人間にエスカレートできるようにします。

「特に機密性の高い分野では、顧客は GenAI とのやり取りを拒否できる必要がある」とダガ氏は述べた。

AIがすべての問題を解決できると仮定する

ビジネスにおける GenAI の使用が増えるにつれて、AI が提案するものについて人々が独自の判断を下す必要があるという認識も高まっています。昨年の DevOps 自動化の現状レポートでは、IT スタッフの 10 人中 8 人が同様に感じており、2023 年の DevOps 自動化と AI の調査では、その数は 90% をわずかに上回るまでに跳ね上がりました。

マン氏は、特に IT 運用など、予測可能で望ましい検証可能な出力を生成するために利用できるドメイン固有のトレーニング データが限られている状況では、トレーニング データが不十分なために結果が不正確になりがちなため、このような注意は合理的であると述べました。

「新しい問題や原因不明の問題を扱うユースケースでは、知識が欠落していたり​​文書化されていないと、GenAI の意義は薄れます」と彼は警告した。「文書化されていない人間の部族知識が唯一の潜在的な入力である場合、大規模な言語モデルのトレーニングは不可能です。」

しかし、彼は GenAI をアシスタントとして使うことにチャンスがあると考えています。 「エンジンをトレーニングして、定義された分野と知識ストア全体で「既知の良好な」IT 運用がどのようなものかを理解できるようにすることで、エンジンはコンサルタントまたはプロアクティブな専門家になることができます。また、既知の問題を特定し、既知の原因を診断し、既知の非効率性を特定し、既知の修復策で対応することができます」と彼は言いました。しかし、一見新しい IT の問題の中には、使い慣れたプロセスとソリューションで解決できるものもありますが、どの問題が新しいかは事前にはわかりません。

「AI世代は何かを知らないとはほとんど言わず、むしろ『未知の未知』を解決するよう要求すると、誤解を招くような、誤った、誤った、あるいは悪意のある結果を出すことが分かっています」とマン氏は語った。

人間のための雇用をもっと創出する

確かに、GenAI が生成したコンテンツは役に立ちますが、作成が非常に簡単なため、それをレビューして対応する必要がある人間の作業も増えてしまいます。

Fiction 誌は、AI によって書かれた低品質のストーリーが大量に届いたため、事実上サービス拒否攻撃を受けたと報告しました。出版社は原稿の校正に AI を使用する実験を行ってきましたが、執筆者や編集者は同様に、提案された編集が役に立たなかったり、無関係だったり、あるいは単に間違っていることが多いと報告しています。まず第一に、専門用語、散文のスタイル、複雑な文の構造、正しいが珍しい単語の使用法に関する問題があります。 GenAI が実際に貢献できる分野を評価するときは正直に考えてください。

AI ツールを導入する上で重要なのは、エラーを毎回個別に修正するのではなく、エラーを処理するプロセスを用意することです。 GenAI が間違いから学習したり、毎回同じ結果を返すとは想定しないでください。これが重要な場合は、オンザフライ エンジニアリングとフィルターを使用して、結果を最も重要な領域に制限する必要があります。

また、計画していなかった領域やプロセスで GenAI を使用すると、精度が低下する可能性があることにも注意してください。繰り返しますが、透明性が重要です。従業員は、GenAI をいつ使用できるか、また GenAI を使用していることをどのように開示するかについての会社のポリシーを知る必要があります。エンタープライズ チャット システムと同様に、監査や eDiscovery に GenAI の使用を含めることもできます。

企業はより緊急にこれらのポリシーの策定を開始する必要があるかもしれません。 TECHnanalysis Research が 2023 年春に調査した米国企業 1,000 社のうち、88% がすでに GenAI を使用していましたが、これらの早期導入企業のうち、正式なポリシーを持っていた企業はわずか 7% でした。

AI の機会に関する最近の IDC の調査では、ビジネス リーダーの 25% 以上が、AI ガバナンスとリスク管理の欠如がテクノロジーの実装と拡張の課題であると述べています。最初の懸念は企業データの機密性ですが、評判の損失も優先されるべきです。さらに、半数以上が熟練労働者の不足を最大の障壁として挙げています。熟練労働者とは一般的には開発者やデータ エンジニアを指しますが、技術にあまり詳しくないビジネス ユーザーにも、AI ツールに尋ねる質問を慎重に組み立て、結果を評価および検証するスキルが必要になります。