ヘルスケア AI が有用であることをどうやって保証するのでしょうか?

ヘルスケアビジネスの大局において、予測モデルは血液検査、X 線検査、MRI と同じ役割を果たします。つまり、介入が適切かどうかの判断に影響を与えます。

「大まかに言えば、モデルは数学的な演算を実行し、医師や患者が行動を起こすかどうかを決定するのに役立つ確率推定値を生成します」と、スタンフォード・ヘルスケアの主任データサイエンティストであり、スタンフォードHAIの教員でもあるニガム・シャーは述べています。しかし、これらの確率推定は、より有益な決定を促す場合にのみ医療提供者にとって有用です。

「コミュニティとして、私たちは、このモデルが有用かどうかを問うよりも、モデルのパフォーマンスにこだわりすぎていると思います」とシャー氏は語った。 「私たちはそのパラダイムの外側で考える必要がある。」

シャー氏のチームは、病院がモデルに基づいて介入を実施する能力があるかどうか、またその介入​​が患者と医療機関にとって有益であるかどうかを評価している数少ない医療研究グループの1つです。

「AI研究者がモデルを次々と構築しているものの、何も展開していないのではないかという懸念が高まっている」とシャー氏は語った。その理由の 1 つは、モデル作成者が、モデルによって開始される介入が、有益よりも有害であるにもかかわらず、費用対効果の高い方法で病院の運営に統合できることを示す有用性分析を実施していないことです。 「モデル開発者が時間をかけてこの追加分析を行う意思があれば、病院は注目するだろう。」 「彼は言った。

有用性分析を行うツールは、オペレーションズ・リサーチ、医療政策、計量経済学の分野ではすでに存在しているが、医療分野のモデル開発者はそれらを活用するのが遅れているとシャー氏は述べた。彼のチームは、より多くの人々に彼らのモデルの有用性を評価するよう促す論文を多数発表することで、その考え方を変えようと努めてきた。これらには、モデル作成者が有用性を考慮する必要があることを示した JAMA 論文や、医療における予測モデルの有用性を分析するためのフレームワークを提案し、実際の例を使用してそれがどのように機能するかを示した研究論文が含まれます。

「病院が業務に加える新しいものすべてと同様に、新しいモデルの導入には価値があるはずだ」とシャー氏は語った。 「モデルの価値を判断するための成熟したフレームワークが存在します。今こそ、モデラーがそれらを活用するときです。」

モデル、介入、介入の利点と害の相互作用を理解する

上の図に示されているように、モデルの有用性は、モデルとそれが引き起こす介入、そして介入の利点と害との間の相互作用によって決まるとシャー氏は述べた。

まず、最も注目されることが多いモデルは、患者の再入院リスクであろうと糖尿病発症リスクであろうと、予測すべきあらゆることを正確に予測できる必要があります。さらに、シャー氏は、それが公平でなければならない、つまり、それが生み出す予測は人種、民族、国籍、性別に関係なく、すべての人に平等に当てはまる必要がある、病院間で一般化可能である必要がある、または少なくとも地元の病院の患者層に対して信頼できる予測を行う必要がある、そして、それは解釈可能である必要がある、と述べた。

第二に、医療機関は、検査やモデルに基づいていつ、どのように介入するかについてのポリシーを策定し、誰が介入の責任者であるかを決定する必要があります。また、介入するための能力（十分なスタッフ、資材、その他のリソース）も必要です。

シャー氏は、このモデルに応じて特定の方法で介入するかどうか、あるいはどのように介入するかについての政策を策定することは、健康の公平性に影響を与えるだろうと述べた。公平性に関して、シャー氏は「研究者はモデルがすべての人にとって等しく正確であるかどうかに多くの時間を費やし、介入がすべての人に等しく利益をもたらすかどうかに十分な時間を費やしていません。私たちが解決しようとしている不平等のほとんどは後者から生じているにもかかわらずです」と述べた。

たとえば、どの患者が予約に来ないかを予測することは、その予測がすべての人種や民族グループに対して同様に正確であれば、本質的に不公平ではないかもしれませんが、介入方法の選択（予約時間を繰り返すか、予約に間に合うように交通手段のサポートを提供するか）は、さまざまな人々のグループに異なる影響を与える可能性があります。

第三に、介入のメリットはリスクを上回ります。いかなる介入もプラスとマイナスの両方の結果をもたらす可能性があるとシャー氏は述べた。したがって、モデルの予測の有用性は、それが引き起こす介入の利点または害によって決まります。

この相互作用を理解するには、一般的に使用されている予測モデルであるアテローム性動脈硬化性心血管疾患 (ASCVD) リスク方程式を検討します。この方程式は、9 つ​​の主要なデータ ポイント (年齢、性別、人種、総コレステロール、LDL/HDL コレステロール、血圧、喫煙歴、糖尿病の状態、降圧薬の使用など) に基づいて、患者の心臓発作または脳卒中の 10 年リスクを計算します。シャー氏は、ASCVD リスク方程式の完全な有用性分析では、上図の 3 つの要素を考慮し、それが有用であることがわかるだろうと述べた。

まず、このモデルは心臓病の予測力が高いと広く考えられており、公平で一般化可能、かつ解釈可能です。第二に、ほとんどの医療機関は、スタチン処方のリスクレベルに関する標準ポリシーに従って介入しており、スタチンは広く入手可能であるため、介入する十分な能力を備えています。最後に、スタチン使用の害と利益の分析では、一部の患者は副作用に耐えられないものの、ほとんどの人はスタチンから利益を得ていることが示唆されています。

モデルの有用性分析の例: アドバンスド・ケア・プランニング

上記の ASCVD の例は、説明的ではありますが、おそらく最も単純な予測モデルの 1 つです。しかし、予測モデルは、より複雑な方法で医療ワークフローを混乱させる介入を引き起こす可能性があり、一部の介入の利点と害は明確でない可能性があります。

この疑問を解決するために、シャー氏とその同僚は、予測モデルが実際に役立つかどうかをテストするためのフレームワークを開発しました。彼らは、アドバンス・ケア・プランニング（ACP）と呼ばれる介入をトリガーするモデルを使用してフレームワークを実証しました。

ACP は人生の終わりに近づいている患者に提供されることが多く、将来起こりうる出来事や、無能力になったときの患者の希望について率直かつ正直に話し合います。こうした会話は、患者に自分の人生をコントロールしているという感覚を与えるだけでなく、医療費の削減、医師の士気の向上、さらには患者の生存率の向上にもつながります。

スタンフォード大学のシャー氏のチームは、入院患者のうちどの人が今後12か月以内に死亡する可能性が高いかを予測できるモデルを開発した。私たちの目標は、ACP の恩恵を受ける可能性のある患者を特定することでした。モデルが死亡率を適切に予測し、公平で、解釈可能で、信頼できることを確認した後、チームはモデルによってトリガーされた介入が有用であったかどうかを判断するために 2 つの追加分析を実施しました。

1 つ目は費用対効果分析で、介入が成功すると (モデルが効果の可能性があると正しく特定した患者に ACP を提供すると) 約 8,400 ドル節約できるのに対し、ACP を必要としない患者 (つまり、モデル エラー) に介入すると約 3,300 ドルのコストがかかることが判明しました。 「今回の場合、非常に大まかに言えば、たとえ3分の1しか正しくなかったとしても、損益はゼロになるだろう」とシャー氏は語った。

しかし、分析はそこで止まりませんでした。 「約束された 8,400 ドルを節約するために、私たちは実際に、たとえば 48 時間で 21 の手順、3 人の人員、7 回の引き継ぎを伴うワークフローを実行する必要がありました」と Shah 氏は言います。 「それで、現実世界で、これができるのでしょうか？」

この疑問に答えるために、研究チームは 500 日間の入院期間にわたって介入をシミュレートし、人員不足や時間不足 (患者の退院による) などのケア提供要因が介入のメリットにどのような影響を与えるかを評価しました。また、外来患者に ACP を提供する場合と比較して、入院患者のスタッフを増やす場合の相対的な利点も定量化しました。結果: 外来治療の選択肢があることで、期待されるメリットがより多く得られるようになります。 「75％の有効性を得るには退院患者の半数を追跡するだけで十分であり、これは非常に良いことだ」とシャー氏は語った。

この研究は、たとえ本当に優れたモデルと本当に優れた介入があったとしても、介入を実行する能力があって初めてモデルが役に立つことを示している、とシャー氏は述べた。後から考えればこの結果は直感的に思えるかもしれないが、シャー氏は当時はそうではなかったと語った。 「この研究を行っていなかったら、スタンフォード病院は、費用対効果があまり高くなかったにもかかわらず、ACPを提供するために入院患者の収容能力を拡大しただけだったかもしれない。」

シャー氏のチームがモデル、介入、介入の利点と害の間の相互作用を分析するために使用するフレームワークは、実際に役立つ予測モデルを特定するのに役立つ可能性があります。 「少なくとも、モデル作成者は、モデルが有用な介入を示唆しているかどうかを判断するために、何らかの分析を行う必要がある」とシャー氏は述べた。 「これは始まりになるでしょう。」