ディープラーニングを使って心臓病を診断する方法

[[204301]]

概要: この論文では、心臓磁気共鳴画像 (MRI) データセットからの画像内の右心室を自動的にセグメント化できるシステムの開発について説明します。これまで、これは主に古典的な画像処理方法によって処理されてきました。最新のディープラーニング技術は、より信頼性が高く自動化されたソリューションを提供できる可能性があります。

人間の心臓は、故障することなく最長 1 世紀にわたって機能し続けることができる驚くべき機械です。心臓機能を測定する重要な方法の 1 つは、心室駆出率を計算することです。心室駆出率は、心拡張期末の心室容積に対する拍出量の割合です。この指標を測定する最初のステップは、心臓画像内の心室をセグメント化することに依存します。

ニューヨークで Insight AI プログラムに取り組んでいたとき、私は右心室のセグメンテーション問題に取り組むことにしました。以下では全体のプロセスを簡単に紹介します。

問題の説明

心臓磁気共鳴画像 (MRI) データセット画像内の右心室を自動的にセグメント化できるシステムを開発します。これまで、これは主に古典的な画像処理方法によって処理されてきました。最新のディープラーニング技術は、より信頼性が高く自動化されたソリューションを提供できる可能性があります。

2016 年の Kaggle 主催の Left Ventricle Segmentation Challenge の優勝者 3 名全員がディープラーニング ソリューションを使用しました。ただし、右心室 (RV) のセグメント化は、次の理由により困難です。

心筋と同様の信号強度を持つ空洞内の小柱の存在、RV の複雑な三日月形、心尖画像スライスのセグメント化の難しさ、および個人間、特に異なる疾患の症例間での RV の形状と強度の大幅な変動。

医学用語はさておき、RV を特定するのはさらに困難です。左心室は厚い壁を持つ輪状構造ですが、右心室は不規則な形状をしており、壁が薄く周囲の組織と溶け込むこともあります。以下は、MRI スナップショットにおける右心室の内壁と外壁 (心内膜と心外膜) の手描きの輪郭です。

これはセグメンテーションが簡単な例です。これはもっと難しいです:

これは訓練されていない目には完全な挑戦です:

実際、医師が右心室の容積を測定して結果を出すのには、左心室の場合と比べて 2 倍の時間がかかります。この研究の目的は、右心室の自動セグメンテーションのための高精度なディープラーニングモデルを開発することです。モデルの出力はセグメンテーション マスクです。これは、ピクセルが右心室の一部であるか、単なる背景であるかを示すピクセル単位のマスクです。

データセット

この現在の問題において、ディープラーニングが直面する最大の課題は、データセットが小さすぎることです。 データセット（こちらから入手可能）には、16 人の患者から医師がセグメント化した MRI 画像 243 枚のみが含まれています。 ラベルのない画像も 3697 枚あり、教師なし学習や半教師あり学習の手法に役立つ可能性がありますが、これは教師あり学習の問題であるため、これらは除外しました。 画像サイズは216×256ピクセルです。

データセットのサイズが小さいことを考えると、見たことのない画像に一般化するのは不可能ではないかと思うかもしれません。残念ながら、医療におけるラベル付きデータは高価で、入手が困難です。データセットを処理するための標準的な手順は、画像にアフィン変換（ランダムな回転、平行移動、拡大縮小、せん断）を適用することです。さらに、画像の局所的な領域を伸縮する弾性変形を実装しました。

この画像強化アルゴリズムを適用する目的は、ニューラル ネットワークがトレーニング例のみを記憶することを防ぎ、RV が任意の方向を持つ固体の三日月形の物体であることを学習させることです。私が実装したトレーニング フレームワークでは、トレーニングのたびにニューラル ネットワークが新しいランダムな変換を認識できるように、画像変換アルゴリズムをデータセットに適用しました。

ほとんどのピクセルが背景に属しているため、クラス間の分布は不均衡です。ピクセル強度が 0 から 1 の間で正規化されている場合、データセット全体のピクセルの 5% のみが RV キャビティの一部になります。

損失関数を作成するときに、クラスの分布のバランスをとるために再重み付けスキームを試みましたが、最終的には、重み付けなしの平均アルゴリズムが最も優れたパフォーマンスを発揮することがわかりました。

トレーニング中は、画像の 20% が取り出され、検証セットとして使用されます。 RV セグメンテーション チャレンジの主催者は、別の 32 人の患者の MRI 画像 514 枚からなる別のテスト セットを持っています。私が提出した予測シルエットは、最終的にこのテスト セットを使用して評価されました。

また、データセット上でのモデルのパフォーマンスを定量化する方法も必要です。 RV セグメンテーション チャレンジの主催者は、Dyss 係数を使用することを選択しました。モデルは RV を記述するマスク *X* を出力し、Dyss 係数は次のようにして *X* を医師が作成したマスク *Y* と比較します。

計算値は、交差面積と 2 つの面積の合計の比率の 2 倍になります。交差しない領域の場合、値は 0 になります。2 つの領域が完全に同一の場合、値は 1 になります。

モデルのアーキテクチャを見てみましょう。

U-net: ベースラインモデル

このプロジェクトを完了するのに 4 週間しかなかったため、できるだけ早くベースライン モデルを稼働させたいと考えました。私は、Ronneberger、Fischer、Brox による u-net モデルを選択しました。これは、バイオメディカル セグメンテーション プロジェクトで成功を収めており、その作成者は積極的な画像拡張と画像ごとの再重み付けアルゴリズムを使用して、わずか 30 枚の画像でネットワークをトレーニングできたためです。

u-net アーキテクチャは、画像を一連の高レベルの特徴に縮小する縮小パスと、それに続く特徴情報を使用してピクセル単位のセグメンテーション マスクを構築する拡大パスで構成されます。 u-net がユニークなのは、初期の特徴マップからセグメンテーション マスクを構築するネットワークの後続部分に情報を渡す「コピー アンド マージ」接続です。著者らは、これらの接続により、ネットワークが高レベルの特徴とピクセル単位の詳細の両方を同時に組み込むことができると指摘しています。

使用したアーキテクチャは次のとおりです。

私たちの画像は、u-net の作成者が当初考えていたサイズの半分なので、グリッドに合わせるために、元のモデルのダウンサンプリング レイヤーの数を 4 から 3 に減らす必要があります。また、画像のサイズを一定に保つために、畳み込みにゼロを埋め込みます。モデルは Keras を使用して実装されました。

画像拡張を行わない場合、トレーニング データセット上の u-net の Diess 係数は 0.99 (0.01) に達する可能性があります。これは、モデルが RV セグメンテーション問題の複雑さを捉えるのに十分な能力を持っていることを意味します。しかし、検証Diess係数は0.79（0.24）なので、u-netは強すぎます。画像拡張により一般化が向上し、トレーニング精度が 0.91 (0.06) に低下する代わりに検証精度が 0.82 (0.23) に向上します。

トレーニングと検証のギャップをさらに減らすにはどうすればよいでしょうか。Andrew Ng 氏がこの素晴らしい講演で説明しているように、より多くのデータを使用する (可能性は低い)、正規化する (ドロップアウトとバッチ正規化は効果がない)、または新しいモデル アーキテクチャを試すといった方法があります。

U-netの拡大：グローバル受容野

臓器画像をセグメント化するには、臓器の配置を理解する必要があります。 u-net の最も深い層のニューロンでさえ、受容野は 68×68 ピクセルしかないことが判明しました。ネットワークのどの部分もイメージ全体を「見る」ことはできません。ネットワークは、人間には右心室が 1 つしかないことを認識していません。たとえば、次の画像では、矢印でマークされた領域が誤って分類されています。

ネットワークの受容野を拡大するために、拡張畳み込みを使用します。

上の図では、畳み込みの最下層は通常の 3×3 畳み込みです。次のレイヤーでは、畳み込みを 2 倍に拡大し、元の画像での有効受容野は 7×7 になります。上部の畳み込みを 4 倍に拡大すると、15×15 の受容野が生成されます。等々。

原則として、黄色でマークされた畳み込み層は、u-net では拡張畳み込みに置き換えられます。最も内側のニューロンには、入力画像全体をカバーする受容野ができました。私はこれを「拡張Uネット」と呼んでいます。

定量的に見ると、u-net を拡張するとパフォーマンスが向上し、トレーニング パフォーマンス 0.92 (0.08) を維持しながら検証 Dice スコア 0.85 (0.19) に達します。

DenseNet の拡張: 一度に複数のスケール

物理学のテンソル ネットワークに触発されて、私は「Dilated DenseNet」と呼ぶ新しい画像セグメンテーション アーキテクチャを試してみることにしました。これは、拡張畳み込みと DenseNet のアイデアを組み合わせたもので、ネットワークの深さとパラメータを大幅に削減できます。

セグメンテーションでは、ピクセルレベルのマスクを生成するために、グローバルコンテキストと複数のスケールの情報が必要です。ダウンサンプリングして画像を小さくするのではなく、拡張畳み込みに完全に依存してグローバルコンテキストを生成するとどうなるでしょうか? すべての畳み込み層が同じサイズになったので、DenseNet アーキテクチャの主要なアイデアを適用して、すべての層間で「コピーとマージ」接続を使用できます。 DenseNet を拡張した結果を下図に示します。

DenseNet では、最初の畳み込み層の出力が後続のすべての層への入力として供給され、2 番目と 3 番目の層についても同様です。

拡張された DenseNet は優れたパフォーマンスを発揮し、検証セットで Dice スコア 0.87 (0.15)、トレーニング精度 0.91 (0.10) を達成しながら、非常に高いパラメータ効率を維持しています。

結果

RV セグメンテーションにおける人間との比較評価は、モデルのパフォーマンスを評価する方法の指針となります。研究者らは、人間がRVセグメンテーションタスクでDyssスコア0.90（0.10）を達成するだろうと推定した。上記の公開モデルは、テスト セットで 0.84 (0.21) の精度を持つ完全畳み込みネットワーク (FCN) です。

私が開発したモデルは、検証セットで最先端の技術を超え、人間のパフォーマンスに近づいています。ただし、実際のテストは、テスト セットでモデルのパフォーマンスを評価することです。さらに、上記の数値は心内膜のものですが、心外膜ではどのように機能するのでしょうか? 心外膜で別のモデルをトレーニングし、最良の結果が得られることを期待して、セグメンテーションのアウトラインを主催者に提出しました。

心内膜から始まる結果は次のとおりです。

これは心外膜です:

拡張された U-net は、心内膜では最先端の技術に匹敵し、心外膜ではその性能を上回りました。 Dilated DenseNet は、わずか 190K のパラメータでこれに続きます。

要約する

ディープラーニング モデルのパフォーマンスは魔法のように見えることもありますが、これは慎重な設計の結果です。データセットが小さい場合でも、慎重に選択されたデータ拡張スキームにより、ディープラーニング モデルの一般化を向上させることができます。

これらのアイデアに基づいて、心臓 MRI で右心室をセグメント化する最先端のモデルを作成しました。拡張された DenseNet が他の画像セグメンテーション ベンチマークで正常に実行できたことを非常に嬉しく思いました。

この記事の最後で、このプロジェクトで将来必要になる可能性のある作業について説明します。

• データセットは、セグメント化が困難な根尖スライスを強調するように重み付けされました。
• マルチステージ（ローカリゼーション、登録、セグメンテーション）パイプラインを探索します。
• 生産システムにおける駆出率の最適化。
• メモリ効率の高い Dilated DenseNet: 密に接続されたネットワークには、大量のメモリが必要になるという大きな欠点があります。 TensorFlow の実装は異なり、バッチ サイズが 3 枚の画像で 16 GB GPU 上の 8 レイヤーに制限されます。先に提案したメモリ効率の高い実装に切り替えると、より深いアーキテクチャを作成できます。