ディープラーニングを用いた医療画像解析: ファイル形式

[[198733]]

今年 3 月に開催された NVIDIA の GTC 2017 カンファレンスでは、医療分野におけるディープラーニング技術に関する数多くの優れた成果が紹介されました。 Ian GoodFellow、Jeremy Howard、およびその他のディープラーニングの専門家がディープラーニングに関する洞察を共有しました。トップクラスの医学部（マウントサイナイ病院、ニューヨーク大学、マサチューセッツ総合病院など）とLung Cancer BOWLのKaggle優勝者が、モデリング戦略について説明しました。このシリーズを振り返ると、前回の記事では、テキストと画像データに関する基本的なディープラーニングについて説明しました。この記事では、医療画像とその形式の分析に焦点を当てます。

この記事は、医療画像とその構成要素、医療画像形式、医療画像形式の変換の 3 つの部分で構成されています。この記事の目的は、ディープラーニングを使用して医療画像を分析するという最終目標を達成するために役立つ知識を整理することです。

医療画像とコンポーネント

このトピックに関する優れたリソースは、イタリアの生物組織およびバイオイメージング研究所 (IBB) の Michele Larobina 氏と Loredana Murino 氏による論文です。この研究所はイタリア国立研究評議会（NCR）の一部です。イタリア最大の公立研究機関です。もう一つの参考資料は、この論文「R での DICOM および NIfTI データ標準の使用」です。

では、医療画像とは何でしょうか? 医療画像とは、解剖学的領域の内部構造と機能を表現したものです。 2 次元ピクセルまたは 3 次元ボクセルの形式で表示されます。空間位置にマッピングされた数値は、サンプリングおよび再構築プロセスの離散的な表現です。特定のサンプリング モダリティの視野を記述するために使用されるピクセル数は、解剖学的構造と機能の詳細を表します。ピクセルによって表現される値は、イメージング モード、サンプリング プロトコル、再構成、およびその後の処理によって異なります。

医療データの構成

医療データの構成

図に示すように、医療データには、ピクセル深度、測光解釈、メタデータ、ピクセル データという 4 つの主要コンポーネントがあります。これらの部分によって画像のサイズと解像度が決まります。

ピクセル深度、ビット深度、または色深度は、各ピクセルの情報をエンコードするために使用されるビット数です。たとえば、8 ビット ラスターには 0 から 255 までの 256 個の一意の値があります。

参考: http://desktop.arcgis.com/en/arcmap/10.3/manage-data/raster-and-images/bit-depth-capacity-for-raster-dataset-cells.htm

フォトメトリック解釈は、ピクセル データをモノクロやカラーなどの正しい画像表現に解釈する方法を指定します。ピクセル値に色情報が格納されているかどうかを判断するために、ピクセルあたりのサンプル数 (チャネル数とも呼ばれる) の概念を導入します。モノクロ画像にはピクセルごとに 1 つのサンプルしかなく、画像には色情報は保存されません。この画像を表示するには、黒から白までのグレースケールを使用します。グレースケール レベルの数は、サンプルを保存するために使用されるビット数によって決まります。この場合、サンプルの深さはピクセル深度と一致します。 X 線、CT、MRI などの放射線医療画像はすべて、グレースケールの光度測定解釈を備えています。 PETやSPECTなどの核医学画像はカラーで表示されます。

メタデータは画像を説明する情報です。不思議に思われるかもしれませんが、ファイル形式が何であっても、ピクセルデータを超えた画像関連の情報が存在します。メタデータと呼ばれるこのタイプの情報は、通常、ファイルの先頭のヘッダーの形式で保存され、少なくとも画像マトリックスの寸法、空間精度、ピクセル深度、および測光解釈の情報が含まれます。

ピクセル データ – ピクセル値が保存される場所です。データ型に応じて、ピクセル データは、データを表現するのに必要な最小数のビットを使用して、整数型または浮動小数点型として保存されます。

つまり、画像サイズ = ヘッダーサイズ（メタデータを含む）+行 × 列 × ピクセル深度 × フレーム数

医療画像フォーマット

放射線生物画像には、DICOM (Digital Imaging and Communications in Medicine)、NIFTI (Neuroimaging Information Technology Initiative)、PAR/REC (Philips MRI Scan Format)、ANALYZE (Mayo Medical Imaging)、NRRD (Near Raw Raster Data)、および MNIC 形式の 6 つの主要な形式があります。

2017年5月現在の医療画像フォーマット

その中で、DICOM と NIFTI が最も一般的に使用されている形式です。

DICOMフォーマットの基礎知識

DICOM は、Digital Imaging and Communications in Medicine の略です。 DICOM は、米国の National Electrical Manufacturers Association (NEMA) によって開発された標準です。医療画像処理の分野における情報処理、保存、印刷、伝送の標準を定義します。これらは、スキャナーから直接取得されるファイル形式、または病院の画像アーカイブおよび通信システム (PACS) で取得されるファイル形式です。

これには、DICOM 形式で画像や患者データを受信できるエンティティ間で TCP/IP を使用して通信するためのファイル形式とプロトコルが含まれます。

DICOM ファイルは、ファイル ヘッダーと同じファイル名の *.dcm 画像データで構成されます。ファイル ヘッダーのサイズは、提供される情報の量によって異なります。ファイル ヘッダーには、患者 ID、患者名、画像モダリティ、その他の情報が含まれます。フレームの数と画像の精度を定義します。この情報は、画像ビューアが画像を表示するときに使用されます。 1 つの単語のサンプルには、多数の DICOM ファイルが存在します。

出典: https://www.leadtools.com/sdk/medical/dicom-spec1

pydicom は、dicom ファイルを読み取るための Python ライブラリです。この記事の最初の部分にあるサンプル コードを参照できます。

ディープラーニングを用いた医療画像解析

ディープラーニングは画像や動画を分析し、その結果を自動運転などのさまざまなアプリケーションに活用することができます...

oro.dicom は、dicom データを読み取ることができる R パッケージです。

上の図は、oro.dicom パッケージを使用して、解凍された DICOM ファイルを読み取る方法を示しています。

NIFTIフォーマットの基本

Nifti 形式はもともと神経画像処理のために発明されました。 Neuroimaging Informatics Technology Initiative (NIFTI) は、ANALYZE7.5 形式の代替として NIfTI 形式を定義しています。元々の応用分野は神経画像診断でしたが、他の分野でも使用されています。この形式の主な特徴は、各ボクセルのインデックス (i、j、k) をその空間位置 (x、y、z) に関連付ける 2 つのアフィン座標が含まれていることです。

nibabel は nifti ファイルを読み取ることができる Python ライブラリであり、oro.nifti は nifti ファイルを読み取ることができる R ライブラリです。

DICOMとNIFTIの違い

DICOM と NIfTI の主な違いは、NIfTI の生画像データは 3D 画像として保存されるのに対し、DICOM は 2D レイヤーとして保存される点です。 NIFTI は 3D 画像としてモデル化されるため、DICOM に適用される機械学習アプローチに適しています。数百または数千の DICOM ファイルを処理するよりも、単一の NIFTI ファイルを処理する方がはるかに簡単です。 NIFTI 形式では、DICOM 形式の複数のファイルと比較して、3D 画像ごとに 2 つのファイルしかありません。

Nrrd形式の基礎知識

柔軟な Nrrd 形式は、単一のヘッダー ファイルと、結合または分離できる複数のイメージ ファイルで構成されます。 Nrrd ヘッダー ファイルは、科学的な視覚化と画像処理のための N 次元ラスター情報を正確に表現します。 National Alliance for Medical Image Computing (NA-MIC) は、NRRD 形式を使用して拡散強調画像 (DWI) ボリュームと拡散テンソル画像 (DTI) を表す方法を開発しました。 Nrrd DWI および Nrrd DTI データは 3D スライスとして読み取ることができ、テンソルの方向が予想される神経解剖学と一致していることを視覚的に確認できます。

一般的な NRRD ファイル形式 (データとファイル ヘッダーを含む):

参考: http://teem.sourceforge.net/nrrd/format.html#general.1

MINC形式の基礎知識

MINS は Medical Imaging NetCDF Toolkit の略です。

Minc2 は NetCDF から HDF5 に変換されました。 HDF5 は無制限の数のデータ型をサポートし、柔軟で効率的な I/O と大量の複雑なデータに対応するように設計されています。これらの追加機能により、Minc2 は大規模で複雑なデータセットを処理できるようになります。

研究論文からのこれらの形式の比較をいくつか示します。

参考文献: Medical Image Formats、Springer Publication 2014。

フォーマット変換

DICOM を NIFTI に変換する

dicom2nii(https://www.nitrc.org/projects/dcm2nii/)は、DICOMをNIFTIに変換するためのツールです。 nibabel は、nifiti ファイルを読み書きするための Python ライブラリです。 DICOM を NIFTI に変換する場合は、自動変換ツール (例: dcm2nii) を使用できます。 Python2 ライブラリ dcmstack は、一連の DICOM ファイルを多次元配列にスタックできます。これらの配列は、元の DICOM ファイルのすべてのメタデータを含むオプションのヘッダー拡張子を持つ NIFTI ファイルとして書き出すことができます。 Python3 では、この形式変換を完了するための新しいライブラリ dicom2nifti が提供されています。読者の皆さんには、nipy プロジェクトをチェックしてみることをお勧めします。

DICOM から MINC への変換

脳イメージングセンター (BIC) の MINC チームは、DICOM を MINC 形式に変換するツールを開発しました。このツールは C 言語で開発されており、GitHub のアドレスは次のとおりです: https://github.com/BIC-MNI/minc-tools/tree/master/conversion/dcm2mnc

NIfTIまたはANALYZEからMINCへ

脳イメージングセンター (BIC) の MINC チームは、NIfTI または ANALYZE 画像を MINC 形式に変換するツールも開発しました。このプログラムはnii2mncと呼ばれます。 nii2mnc を含む多くの形式変換ツールは、https://github.com/BIC-MNI/minc-tools/tree/master/conversion で見つかります。

要約する

ご覧のとおり、医療画像を保存するためのファイル形式はいくつか存在し、ディープラーニングで使用できます。私たちの目標は、正確な予測を実現するために畳み込みニューラル ネットワーク (CNN) に必要なすべての機能を取得できる最適なファイル形式を使用することです。