GPT-4が化学者になる！ USTC などが初の「科学リスク」ベンチマークと SciGuard ビッグモデルを発表

「我々の実験は制御不能になった！これは我々の世界の終わりだ！」 - デイ・アフター・トゥモロー

SF映画では、狂気の科学者が終末の大災害を引き起こす主人公であることが多いが、AI技術の急速な発展により、このシナリオはますます私たちに近づいているようだ。

AIの潜在的な脅威に対する世界的な注目は、一般的な人工知能やさまざまなマルチメディア生成モデルに集中していますが、より重要なのは、「AI科学者」、つまり急速に科学的なビッグモデルを開発している人々をどのように規制するかということです。

この課題に対処するため、USTC、マイクロソフトリサーチなどの機関による合同チームが、生物学、化学、創薬などの科学分野におけるさまざまなAIモデルのリスクを詳細に分析し、実際の事例を通じて化学科学におけるAI悪用の危険性を実証しました。

論文リンク: https://arxiv.org/abs/2312.06632

研究チームは、既存のオープンソース AI モデルの一部が、有害物質の作成や法律や規制の回避に使用できることを発見しました。

この現象に対処するため、研究者らは科学分野における AI の悪用リスクを制御するための SciGuard と呼ばれるインテリジェントエージェントを開発し、さまざまな AI システムのセキュリティを評価するために科学分野のセキュリティに焦点を当てた初のレッドチームベンチマークを提案しました。

実験結果によると、SciGuard はテストにおいて、良好なパフォーマンスを維持しながら、最小限の有害影響しか示しませんでした。

科学分野におけるAIの潜在的リスク

最近、USTC と Microsoft Research の最新の研究で衝撃的な結果が明らかになりました。オープンソースの AI モデルは、規制を回避し、悪名高い 2 つの化学兵器、シアン化水素と VX 神経ガスの合成経路を提供する新しい方法を見つけることができるのです。

シアン化水素は非常に有毒な物質です。シアン化水素を生成する従来の反応では、厳しく規制された原材料と非常に厳しい反応条件（1000 度を超える高温など）が必要です。

しかし、図 1 では、LocalRetro と呼ばれるオープンソースの AI モデルを使用することで、安価で入手しやすい原材料を使用し、操作が簡単な合成ルートを発見しました。

同様に、このモデルは、既存の原材料に対する規制措置を回避できる可能性のある、これまで報告されていなかったVX神経ガスを製造するための新しい合成経路も発見することに成功した。

図1: オープンソースのAIモデルは、規制を回避できるシアン化水素とVX神経ガスの新しい反応経路を提案している

同時に、研究チームは、大規模言語モデルも強力な科学的ツールとなり、研究の敷居を大きく下げていると指摘した。

図 2 は、大規模言語モデルを使用してハザード情報を取得する例を示しています。

テクノロジーが発展するにつれて、大規模な言語モデルを搭載したエージェントは、ChemCrow などの科学的タスクを自動化できるようになります。この種のエージェントは慎重に管理しないと、簡単に大きな危険を引き起こす可能性があります。

悪影響を防ぐため、研究チームは論文の公開版では危険な情報を隠した。

図2: GPT-4は爆発性PETNの合成法を示している

図3では、研究者らは、有害物質の発見、有害な用途の発見、規制の回避、副作用、誤解を招く情報の提供、知的財産権の侵害、プライバシーの漏洩、科学研究における偏りの可能性など、AIが科学分野にもたらす可能性のある9つの潜在的なリスクを挙げています。

時間の経過と AI の進化に伴い、これらのリスクも常に進化しており、人々は常に新しいリスクに注意を払い、評価する必要があります。

図3: 研究者が科学におけるAIの潜在的リスクを9つ挙げる

SciGuard モデル

これらの課題に対処するために、チームは、AI For Science モデルがリスク管理を実行できるように、SciGuard と呼ばれる大規模な言語モデル駆動型エージェントを提案しました。

SciGuard は人間の価値観に沿っており、さまざまな科学データベースを規制（有害化合物）データベースなどと結合します。

さらに、エージェントはさまざまな科学ツールと AI4Science モデルを使用して、SciGuard がユーザーの意図を判断するのに役立つ追加情報を提供できます。

図4: SciGuardフレームワーク

SciGuard の中核となるのは強力な大規模言語モデル (LLM) です。これは人間の言語を理解して生成するだけでなく、複雑な科学的問題を処理して分解するのに役立ちます。 SciGuard には、科学コミュニティ向けにカスタマイズされたセキュリティ原則とガイドラインのセットが組み込まれています。

これらの原則とガイドラインは、高リスク物質の安全な取り扱い、データプライバシーの維持、法律や規制の遵守など、科学研究で遭遇する可能性のあるさまざまなリスク要因を考慮に入れています。

これらの安全原則とガイドラインを実装するために、SciGuard は PubChem などの認められた科学データベースを活用して長期メモリを構築します。このメモリバンクには、化学物質とその潜在的な危険性に関する大量のデータが含まれています。

このデータを使用して、SciGuard はユーザーのクエリの詳細なリスク評価を実行できます。たとえば、ユーザーが特定の化合物の合成方法を問い合わせると、SciGuard は関連する化合物に関する情報をすばやく取得し、そのリスクを評価し、安全に関するアドバイスや警告を提供したり、応答を停止したりすることができます。

SciGuard は、データベースに加えて、化学合成経路計画モデルや化合物特性予測モデルなど、さまざまな科学モデルも統合します。これらのモデルにより、SciGuard はユーザーが特定の科学的タスクを達成できるよう支援します。

同時に、これらのモデルは SciGuard に追加のコンテキスト情報を提供することもできます。たとえば、SciGuard は特性予測モデルを使用して、溶解性、毒性、可燃性など、化合物のさまざまな特性を評価し、リスク評価を支援します。

複雑なタスクを処理するための SciGuard のもう 1 つの重要なテクノロジーは、有名な Chain of Thought (CoT) メソッドです。 CoT により、SciGuard はタスクの各ステップを反復的に計画できます。このアプローチにより、SciGuard は複雑なタスクを細分化し、ミッションを遂行する際に各アクションが安全性と倫理基準を満たしていることを保証できます。

これらの技術的特徴により、SciGuard は科学的 AI モデルのリスクを効果的に制御できるだけでなく、科学研究の効率とセキュリティも向上できます。このシステムの開発は、科学研究における自由な探究と革新を保証するだけでなく、人工知能の安全かつ合理的な使用を保証するための強力な例も提供します。

SciMT-安全性

研究チームは、大規模言語モデルと科学エージェントの安全性レベルを測定するために、化学と生物科学の分野に焦点を当てた初の安全性質問応答ベンチマークであるSciMT-Safetyを提案しました。これには、可燃物、腐食性物質、爆発物、微生物、非常に危険な農薬、中毒性物質、生物学的毒性などの危険物質が含まれています。

図5: 主流モデルのテスト結果

研究チームは、GPT-4、GPT-3.5、Claude-2、Llama2-7B-Chat、Llama2-13B-Chat、PaLM-2、Vicuna-7B、Vicuna-13B、Mistral-7B、ChemCrowエージェントをテストしました。上図は最終テスト結果を示しています。SciGuardは、チームが提案した科学的セキュリティテストセットで最高の防御効果を達成しました。

Llama はベンチマークで良い結果を達成しましたが、驚くべきことに、PaLM-2 は危険な回答を出す可能性が高かったです。

図6: ベンチマークからの2つの具体的な例

この論文では、著者らは2つの例を挙げている。悪意のある質問に直面して、各 LLM とエージェントは「正直に」有害な情報 (モザイク部分) を提供しましたが、SciGuard だけが最終的な結論にこだわりました。