マイクロソフト、医療病理学の症例を分析する LLaVA-Med AI モデルを発表

6月14日、マイクロソフトの研究者らは、主に生物医学研究に使用され、CTやX線画像に基づいて患者の病状を推測できるLLaVA-Medモデルのデモを行った。

マイクロソフトの研究者らは、マルチモーダル AI モデルのトレーニングに向け、バイオメディカル画像とテキストの対応に関する大規模なデータセットを取得するため、病院グループと協力したと報じられています。データセットには、胸部X線、MRI、組織学、病理学、CT画像などが含まれており、比較的包括的にカバーされています。

▲ 画像出典：Microsoft

Microsoft は、Vision Transformer と Vicuna 言語モデルに基づいて、8 つの NVIDIA A100 GPU 上で LLaVA-Med を GPT-4 でトレーニングしました。このモデルには、「各画像のすべての事前分析情報」が含まれており、画像に関する質問と回答を生成して、「生物医学画像に関する質問に自然言語で答えられる」というアシスタントのビジョンを実現します。

学習プロセス中、モデルは主に「そのような画像の内容を説明すること」と「生物医学的概念を詳しく説明すること（ITホーム注：画像からどのように見えるかを判断する）」を中心に展開します。 Microsoft によれば、このモデルは最終的に「優れたマルチモーダル会話機能」を備えており、「LLaVA-Med は、視覚的な質問に答えるための 3 つの標準的な生物医学データセットのいくつかの指標において、他の最先端モデルよりも優れています。」

▲ 画像出典：Microsoft

研究チームは次のように述べている。「LLaVA-Med モデルは、有用なバイオメディカル視覚アシスタントの構築に向けた重要なステップであると考えていますが、現在の LLaVA-Med モデルには、大規模モデルに共通する誤った例や精度の低さといった欠点がまだあります。今後、研究チームはモデルの品質と信頼性の向上に注力し、将来このモデルが商用バイオメディカルで使用できるようになる予定です。」

IT Home は、このモデルがオープンソース化され、誰でも GitHub で関連情報を見つけることができることに気づきました。