複合現実技術による医療シナリオ、Weizhuo Zhiyuan は 3D シーンを使用して病変を正確に特定します

[51CTO.comからの原文] 今日の医療業界は、次第にテクノロジー化と精密化が進んでいます。医療システムの変革の原動力の少なくとも半分は技術革新によるもので、最も直感的な変化は、よりインテリジェント化することです。医師にとって最も欠かせない補助技術は、医療用画像です。医療用画像をよりインテリジェント化する方法というのは、医療技術において解決すべき緊急の課題です。

人工知能と医療画像の衝突

医用画像診断における人工知能技術の具体的な応用は、主に2つの部分に分かれています。1つは画像認識で、知覚段階に応用されています。その主な目的は、画像などの非構造化データを分析して、何らかの意味のある情報を得ることです。もう1つはディープラーニングで、学習と分析段階に応用されています。これは、AI応用の中核部分です。大量の画像データと診断データを通じて、ニューラルネットワークはディープラーニングで継続的にトレーニングされ、「診断」能力を習得できるようになります。

医療画像データは、実際にはレポート + 画像です。画像そのものを分析するだけでは不十分であり、それに対応する診断レポートも分析することが重要です。しかし、中国における画像診断レポートは医師によって大きく異なります。画像診断は医師の個人的な習慣、勤務先の病院、学歴などの要因に左右されるため、画像診断レポートの基準は地域や病院によって一貫していません。

AI+画像処理の問題点

1. データ収集

データはディープラーニングアルゴリズムに必要なコアリソースです。データなしでアルゴリズムを習得するだけでは、優れたトレーニング結果を得ることはできません。現在、わが国の医療用画像はまだ従来のフィルムから電子データへの移行段階にあります。大量の画像データはまだデジタル化されておらず、病院間のデータ共有と相互運用性のレベルは低く、大規模なデータの入手は業界の企業にとって課題となっています。

2. データ注釈

ディープラーニングでは、取得したデータに基づいて事前の知識を組み合わせてモデルをトレーニングしますが、トレーニング セットには事前にラベルを付ける必要があります。ほとんどの注釈は手動認識に依存しているため、データの注釈付けには多くの人手と時間がかかります。医療画像処理の分野で信頼性の高い注釈付きデータを取得することも課題の 1 つになっています。

3. 「AI+医療」における学際的人材の集積

より専門的な診断と治療の分野では、アプリケーションとプラットフォームの開発者は人工知能アルゴリズムを研究するだけでなく、医療画像認識に対する深い理解を確立する必要があります。人工知能と医療の両方のバックグラウンドを持つ人材が最もコア競争力を持っています。

医療画像診断におけるMRの応用

科学技術の発展に伴い、ARとVRは人々の生活に溶け込んでいます。2009年以来、クアルコムやコカコーラなどの有名企業がAR（拡張現実）とVR（仮想現実）の徹底的な研究を行ってきました。斬新な表現と没入感あふれる体験は、多くのファンをARとVRに惹きつけています。その後、MR（複合現実）などの新しいデジタル技術の登場も、大きな潜在的価値を示しています。 ARやVRとは異なり、MRは仮想世界と現実世界を統合し、リアルタイムのインタラクションとタイムリーな情報取得を可能にし、ユーザーエクスペリエンスのリアリティを高めます。信頼性、リアルタイムのインタラクション性、概念化などの特徴を備えています。ヘルスケアは、複合現実が新しい市場を創出するだけでなく、既存の市場を破壊する可能性を秘めている分野の 1 つです。

Weizhuo Zhiyuan は、Microsoft の HoloLens 複合現実メガネの助けを借りて、ホログラフィック イメージングを使用して、従来の医療用フィルムが平面で共有できないという問題を解決しました。また、製品がディープラーニングを実行するのに多くの時間がかかるという問題も解決しました。最も重要なのは、Weizhuo Zhiyuan が医療とアルゴリズムの両方のスキルを備えた研究開発担当者を集め、製品の専門性と正確性を確保していることです。

複合現実医療の現状

複合現実医療製品 (ステージ 1):医療画像データをインテリジェントに処理し、複合現実テクノロジを通じてホログラフィックに表示して、臨床プロセスと教育プロセスを視覚化します。

MR デジタル医療プラットフォーム (フェーズ II):クラウドベースのインテリジェントなストレージ、ホログラフィック データの処理と共有、および遠隔医療シナリオを接続する複合現実。

視覚化されたインテリジェント医療エコロジー（フェーズ3）：高度に視覚化されたインテリジェント医療データ分析と臨床外科手術プロセスにより、「人間+機械」のインテリジェンスを通じて医師に力を与えます。

現在、複合現実医療製品やMRデジタル医療プラットフォームは実現されており、視覚インテリジェント医療エコシステムはまだ研究開発段階にあります。高度に視覚化された医療データ分析には大量の医療画像データが必要ですが、病院の画像データは非公開リソースであるため、現時点では補​​正アルゴリズムをトレーニングするより良い方法はありません。

ハイブリッドデジタル医療プラットフォームの応用

スターシャドウ複合現実ディスプレイシステム

Star Shadow 複合現実ディスプレイシステムは、複合現実技術に基づいた画像データのホログラフィックボクセルレンダリング読み取りツールです。医師が診断のために画像を素早く識別する必要がある場合、Star Shadow が支援として使用されます。 Xingying は手動操作や学習を必要としません。医師は CT や MRI の画像データを画像データにインポートするだけで、システムがボリューム レンダリングを通じてそれらをインテリジェントに分析し、複合現実メガネにレンダリングします。3D モデルを手動で再構築する必要はなく、メガネの中にリアルタイムのホログラフィック モデルが表示されます。モデルの再構築もシステム内で完了できます。医師は、複合現実メガネをかけて、2次元と3次元のボクセルレンダリングを組み合わせた画像データを表示したり、立体画像データ上で手術経路やインプラントの配置をシミュレーションするなどの臨床手順を体験したりすることができます。これにより、手術計画の立案と策定が容易になり、より科学的で効率的な診断が可能になります。

図1 スターシャドウ複合現実感ディスプレイシステムの操作手順

星図複合現実表示システム

スターチャート複合現実表示システムは、複合現実の医療画像読影ツールです。医療画像データをインポートし、システムによるインテリジェント処理を行った後、医師は複合現実メガネを使用して、あらゆる角度から症例の3次元モデルをホログラフィックに閲覧することができ、病変内のさまざまな組織の空間的な位置関係を理解する医師の能力が向上します。 Star Chart の特徴は、複数人での視聴をサポートしていることで、現在、最大 7 つのグラスを同時に視聴できます。しかし、星の影を平面的に描くのとは異なり、星図では、ケースの各個別モデルを独立して分離し、任意の色に変更することができます。各個別モデルは、表示または非表示にしたり、透明度を調整したりすることができます。例えば、皮膚を隠して血管と腫瘍の位置関係だけを表示したり、注釈を付けたりすることも可能です。あらゆる角度からモデルを見ることができるので、症例の詳細な観察や議論に適しています。スターチャートは、手術視野内に手術部位の3次元モデルを配置し、位置、透明度、サイズなどのパラメータを調整することで、病変に関するより多くの情報を取得し、医師に参考となるより貴重な画像情報を提供します。

図2 星図複合現実表示システム

スターナビゲーション複合現実ナビゲーションシステム

Star Navigation は、リアルタイムの術中ナビゲーションや教育訓練に使用されるシステムです。プローブの深さや角度など、手術器具のリアルタイムの位置情報を追跡し、複合現実で空間情報を提示することができます。これは、医師が手術を効率的かつ正確に完了するのに役立つ非常に正確なナビゲーション ツールです。これは医学教育に使用され、学生の臨床医療手術トレーニングに役立ちます。

図3 スターナビゲーション複合現実ナビゲーションシステム

Nebula 複合現実デジタル医療プラットフォーム

Nebulaはオンライン複合現実コラボレーションシステムです。オンラインでアカウントを登録し、HoloLensとWebページにログインすると、3Dモデルをアップロードできるほか、編集、加工、保存、共有もできます。HoloLensを装着すると、自分の3D症例や共有した3D症例を閲覧することもできます。遠隔医療にも活用できます。

図4 「時間と空間の制約を打ち破る」Nebula による遠隔共同手術

威卓智源の最高執行責任者アンディ氏は、威卓智源はマイクロソフトスケールアップ北京第11バッチと密接な関係にあり、複合現実医療の分野で常にパートナーであると述べた。また、マイクロソフトスケールアップ北京第11バッチは、コンセプト、テクノロジー、市場の面で威卓智源に多大な支援を提供し、幅広いコミュニケーションプラットフォームを提供するとともに、多数の対外宣伝の機会も提供した。