高精度医療におけるマルチモーダル機械学習: 範囲のレビュー

npj デジタルメディスン第 5 巻、記事番号: 171 (2022) この記事を引用

18,000 アクセス

19 件の引用

47 オルトメトリック

メトリクスの詳細

機械学習は、臨床意思決定支援への利用など、医療分野の問題に取り組むために頻繁に活用されています。その使用は歴史的に単一モーダルデータに焦点を当ててきました。予測を改善し、臨床専門家の意思決定のマルチモーダルな性質を模倣する試みは、異種データを融合することによって機械学習の生物医学分野で実現されています。このレビューは、この分野における現在の研究を要約し、将来の研究に適したトピックを特定するために実施されました。私たちは、健康におけるマルチモーダルなデータ融合を特徴付けるために、スコーピングレビューの PRISMA 拡張機能に従ってこのレビューを実施しました。検索文字列は確立され、2011 年から 2021 年まで PubMed、Google Scholar、IEEEXplore のデータベースで使用されました。最終セットの 128 件の論文が分析に含まれました。マルチモーダル手法を利用する最も一般的な健康分野は、神経学と腫瘍学でした。初期の融合は、最も一般的なデータ結合戦略でした。特に、データ融合を使用した場合の予測パフォーマンスが向上しました。これらの論文には、明確な臨床展開戦略、FDA の承認、多様な亜集団からのマルチモーダルなアプローチを使用することで偏見や医療格差がどのように改善されるかについての分析が欠けていました。これらの発見は、健康診断/予後問題に適用されるマルチモーダルデータ融合に関する概要を提供します。マルチモーダルアプローチの結果をユニモーダル予測と比較した論文はほとんどありませんでした。ただし、実際に実行した企業では、予測精度が平均 6.4% 向上しました。マルチモーダル機械学習は、ユニモーダルな方法よりも推定の堅牢性が高いものの、スケーラビリティと情報の連結に時間がかかるという欠点があります。

臨床意思決定のサポートは、健康分野でアルゴリズムと機械学習を実装する人々にとって長年の目標でした 1、2、3。アルゴリズムによる意思決定支援の例では、臨床検査値、画像プロトコル、または臨床 (身体検査スコア) の特徴を利用します 4,5。高齢者の糖尿病など、一部の健康診断は単一の検査値または単一の閾値に基づいて行うことができます6。他の診断は、一連の徴候、症状、検査値、および/または補助画像に基づいており、臨床診断と呼ばれます。多くの場合、これらの臨床診断は、確認ラベルを付ける前に陽性と陰性の特徴を混合する必要がある加法的なスコアリングシステムに基づいています。

臨床診断の手法では、これらの異種データ入力の相対的な重み付けや、人間の意思決定能力の限界を浮き彫りにする潜在的な非線形関係が考慮されていない可能性があります。アルゴリズムによる意思決定サポートの強みは、このようなタスクの負荷を軽減し、理想的にはより成功した結果を生み出すために使用できることです。これが精密医療の約束です。精密医療/健康は、個人または患者の表現型に合わせて医療 (意思決定、治療、実践など) をカスタマイズする医療モデルを作成することを目的としています7。これには、患者の健康の軌跡を縦断的に追跡する 8 ことが含まれ、多くの場合、この固有の情報を診断と治療に組み込む遺伝学/エピジェネティクス 9,10 および数学的モデリング 11 が組み込まれます 12。これを、疾患ごとに 1 つの治療法が存在する、1 つの薬剤ですべてに適合するモデルと比較してください。図 1 は、異種データを生成する病院/ケアセンターからの情報の流れを示しています。コンピュータによるモデリングと情報の融合を通じて、薬物や治療目標などの関心のある結果が最終的にこれらのケアセンターにおける患者レベルでのより良い意思決定を促進します。この現象は、ヘルスケアデータを使用した融合研究への関心を引き起こしました。

情報は周期的なパターンで保健センターから情報コモンズに移動し、そこで情報は変換され、アルゴリズムモデリングが実行されます。これらのアルゴリズムは、臨床試験、表現型解析、創薬など、さまざまな健康結果に関する洞察を提供します。これらの洞察は、可能な限り最も効率的で証拠に基づいた医療を提供するために、保健センターや医療従事者に還元されるはずです。

この文献を特徴づける取り組みは、健康におけるイメージングと EHR データの深層学習融合の系統的レビューを行った Huang らによって行われました 13。ただし、それは EHR、画像データ、深層学習アプリケーションに限定されていました。フォローアップレビュー記事には、オミクスとイメージングデータの融合に関する解説が含まれていました14。この研究の目的は、この研究領域の現在の範囲を強調し、要約し、この分野を前進させるための提案を提供することです。現在の研究は、使用されている機械学習プロトコルの種類の幅広さにおいてより包括的であり、現在のすべてのモダリティ (情報の種類/ソース) を網羅することを試みています。

データ融合は情報理論によって支えられており、異種のデータソースをマージして、ソースの相補性に基づいて情報状態を作成するメカニズムです 15、16 (ボックス 1)。機械学習では、データ融合の取り組みにより予測力が向上し 17,18、したがって妥当性が低い可能性がある設定でもより信頼性の高い結果が得られることが期待されています 19。データフュージョンは、単一の種類ではなく多数の情報要素に依存することで、モデリングの結果が本質的により堅牢になるという利点を宣伝します。ただし、情報の組み合わせの方法論には欠点があります。モデルの指定が複雑になり、結果の解釈可能性が低下します19、20。

さまざまなソースやファイル形式からのデータが均一であることはほとんどなく、これは特に臨床データの場合に当てはまります21。たとえば、データセットには、異なる命名規則や測定単位が設定されている場合や、異なる地域の人口バイアスを表す場合があります。データセット間の系統的な差異を検索して修正し、それらの相互運用性の程度を評価するには注意が必要です。たとえば、コルブリら。サイト内正規化を実行することにより、コンピューター断層撮影 (CT) および PCR 検査値を集計します。これにより、サイト間で値が確実に比較できるようになりました。その際、すべてのデータセットですべてが利用できるわけではなかったため、彼らはいくつかの潜在的に有益な臨床変数を破棄しました22。

類似した情報を連携させ (調和)、データの純度を維持する (情報の対応) には、バランスが必要です23。融合を成功させるには、統合プロセスの両方の品質管理を保証するデータ調和技術が使用されます。臨床データの調和には、医学、生物学、コンピューターサイエンスの間で学際的な研究が必要です。駆出率保存型心不全（HFpEF）の臨床領域では、深い表現型情報とトランスオミクス情報を統合するための複数のテンソル因数分解定式化の新たな応用が見られ 24、これは精密医療の他の領域にも拡張されています 25。 EHR ベースの表現型アルゴリズムの移植性を高めるために、電子医療記録とゲノミクス (eMERGE) ネットワークは、共通データモデル (CDM) と表現型アルゴリズムロジックの標準化された設計パターンを採用し、EHR データとゲノムデータを統合し、一般化性と拡張性を実現しました 26 、27、28、29。

機械学習で使用されるデータ融合には、主に 3 つのタイプがあります。初期（データレベル）、中間（共同）、および後期（意思決定レベル）30。早期融合の場合、複数のデータソースが同じ情報空間に変換されます。これにより、多くの場合、Chen et al. が実行したような、代替状態からのベクトル化または数値変換が行われます。ベクトル化された病理学レポートによる31。医療画像には、面積、体積、構造計算に基づいて数値変換できる特性があります32。これらは、構造化データソースからの追加の測定値と連結され、個々の分類器に入力されます。正準相関分析 33、非負行列因数分解 34、35、独立成分分析 (ICA)、および数値特徴変換手法は、すべてのデータを同じ特徴空間に変換するための共通のオプションとして存在します 36。

中間データ融合は段階的なモデルのセットとして発生し、モデルアーキテクチャにおいて最大の自由度を提供します。たとえば、3 段階の深層ニューラル学習および融合モデルが Zhou らによって提案されました 37。ステージ 1 は、独立したモダリティに対するソフトマックス分類器による特徴選択で構成されます。ステージ 2 と 3 では、これらの選択された特徴を組み合わせ、さらに洗練された特徴のセットを確立し、これらを Cox-nnet に入力して、アルツハイマー病の診断のための統合潜在特徴表現を実行します。初期融合とは対照的に、中間融合は、各タイプのデータを区別する特徴を組み合わせて、元の個別の表現よりも表現力豊かな新しい表現を生成します。

後期融合では、通常、各モデルが受信データソースに対応する複数のモデルがトレーニングされます。これはアンサンブル学習に似ており、個々のモデルよりも優れたパフォーマンスを提供します38。アンサンブル手法は、複数の学習アルゴリズム (通常は同じデータセットに適用される) を使用して、構成要素の学習アルゴリズム単独から得られるよりも優れた予測パフォーマンスを取得します。ただし、ここでのマルチモーダル機械学習アンサンブルは、データ型内またはデータ型間のアンサンブル学習を指す場合があります。これらは記号表現をソースとして受け取り、それらを組み合わせてより正確な決定を取得します39。ベイジアンの手法は通常、モデルのセット間の投票プロセスをサポートして全体的な決定を行うためにこのレベルで使用されます40。後期融合では、マルチタスク深層学習の実行が進んでいます41、42、43、44、45、46、47。データ融合の 3 つのサブタイプの概略図を図 2 に示します。融合技術の属性を表 1 に示します。

情報の融合は無数の方法で発生します。機械学習における初期、中間、後期の融合は、すべての情報が 1 つのモデルに流れ込む場合 (初期)、あるモデルからの出力が別のモデルの入力になる段階的な方法 (中間)、そして最後にすべてのモデルが入力される場合によって代表されます。固有のデータ型は個別のモデリングを受け、その後アンサンブルや投票が (遅れて) 行われます。

マルチモーダル機械学習: アルゴリズムフレームワーク内の固有で補完的な情報を活用するために、異種のデータソースを統合することに関係する機械学習の分野。

データの調和: 機械学習を使用してさまざまなデータソースを統合し、その品質と使用率を向上させます。

マルチビュー機械学習: マルチモーダル機械学習の別の用語。

データ融合: マルチモーダル/マルチビュー機械学習のためのデータ統合を実行するために行われる特定の方法論。それらは、初期、中期/共同、後期の 3 つの大きなカテゴリに分類されます。

図 3 に表示されているトピックモデリングは、カテゴリ、調査対象の特定の健康疾患、および含まれる研究のモダリティタイプを示しています。その後、これらは、予測/分類/クラスタリング用のモデルを作成するために統合された情報の組み合わせのカテゴリにマッピングされました (表 2)。このプロットは、研究仲間が、新しい研究の可能性をもたらす可能性のある、皮膚科 48 、血液学 49 、アルコール使用障害などの医薬品/薬物問題など、頻度が低い分野を特定するためのリソースとして役立つはずです 50。図 4 は、このレビューに含まれる論文のコーディングプラットフォーム、長期にわたる出版傾向と所在地、著者の所在地および患者コホートを示しています。

神経学、特にアルツハイマー病の研究が、このテーマに関して出版された論文のほとんどを占めています (n = 22)。新型コロナウイルス感染症（COVID-19）のパンデミックの発生に伴い、いくつかの主要な研究論文がこのテーマに特化しており、これらのテーマは呼吸器疾患または感染症の階層を通じて到達することができます。このレビューで言及されているすべての論文は、データを融合する際に 2 つまたは 3 つの異なるデータソースを使用しており、特に画像処理と EHR (n = 52) のデータが最も一般的でした。

論文数 (使用されたプラットフォームに言及した論文) を合計することにより、使用されたコーディングプラットフォームの論文に分類されたフュージョンタイプのヒートマップ。最も人気のあるのは Python プラットフォームと初期のフュージョンです。注目すべきことに、論文のうち 37 紙はプラットフォームについて明示的に言及していませんでした。 b 過去 10 年間にこの分野で発表されたオリジナルの研究論文の総数。 c 著者の寄稿の大陸別の内訳（一部の論文には複数の大陸からの著者が含まれていることに注意してください）。 d 出版物の種類の内訳（臨床/非臨床雑誌）。臨床読者向けのジャーナルに掲載された論文は半分未満 (37.6%) でした。 e 研究対象集団の性別内訳。論文には男性と女性の両方が代表されていましたが、代表の程度は個々の研究内で異なりました。

論文で使用されたモデルのうち、126/128 がモデルの検証手順の実行を明示的に報告しました。実行された最も一般的な検証プロセスは、N 分割相互検証 (55)51,52、トレーニングテスト分割 (51)、リーブ 1 アウト相互検証 (10)、および外部データセット (10) でした。このレビューの記事内および記事全体で、豊富な機械学習の技術と方法が使用されています。それらは表 2 にまとめられており、どのフュージョンアンブレラサブタイプに実装されているかが示されています。

ほとんどの論文は初期融合を使用して出版されました。それらのうち、ほとんどは医療画像および EHR データを使用して公開されました34,36,48,53,56,57,60,62,63,64,68,71,73,75,85,86,87,88,90,92 、93、94、95、96、98、100、104、111。これらの論文のほぼすべてでは、基本的に画像特徴の数値化を実行し、処理前に画像特徴を構造化データに変換しましたが、2 つの論文では行列因数分解を実行しました 34,36。 EHR とテキストデータの組み合わせは、15 の論文で指摘されています31、54、69、72、79、80、81、91、99、102、106、112。孟ら。臨床ノート上の潜在ディリクレ割り当て (LDA) を使用した双方向表現学習モデルを作成しました112。コーエンら。医薬品の使用に関連してユニグラムとバイグラムを使用しました54。ゼンら。テキストの概念識別子を入力特徴として使用しました81。 9 件の論文が画像データ、EHR およびゲノムデータとの早期融合を使用しました 32,50,51,55,61,65,83,89,108。ドアンら。多遺伝子リスクスコアを持つ画像から派生した連結コンポーネント83。リンら。また、MRI、脳脊髄液、遺伝情報から集計スコアを作成し、それらを単一の統合された極端な学習マシンに統合して、軽度の認知障害を予測しました55。トレンブレイら。は、正規化後に多変量適応回帰スプライン (MARS) を使用し、相関性の高い特徴を削除しました89。 10 件の論文が画像データとゲノムデータを使用して融合を実行しました 33,52,70,76,77,78,82,84,97,110。これらのうち 3 つは、イメージングパラメータをベクトル化し、モデルに入力する前に一塩基多型 (SNP) と相関させることにより、特徴として相関行列を生成しました 33,70,78。このカテゴリの 3 つの論文は EHR と時系列を使用しました 58,74,101。ヘルナンデス氏もカニエール氏も、は、心臓リハビリテーションの目的でその方法を実装し、サポートベクターマシン (SVM) の力を利用しました。ただし、ヘルナンデスは ECG データを特徴空間に固有の構造的および時間的関係を保存するテンソルに組み立てることによって時系列情報を保存しました 74。一方、カニエールは t-SNE プロットを使用して時系列情報の次元削減を実行しました 58。 2 つの論文は、イメージングと時系列を使用した初期融合に関するものでした67,103。 EHR とゲノム情報を活用した論文が 2 件ありました66,119。ルオら。は、高血圧に苦しむ人々の表現型と遺伝子型の間の一貫性を見つけるために、ハイブリッド非ネガティブ行列因数分解 (HNMF) を実装しました 119。 1 つの論文では画像データとテキストデータを使用した早期融合を活用しており 105、もう 1 つの論文では EHR、ゲノミクス、トランスクリプトミクス、および保険金請求を使用しています 157。

中間融合は、論文数が 2 番目に多かった。 14 人は画像データと EHR データを使用しました43,59,113,114,118,121,123,125,126,129,131,132,133,135,137。 Zihni et al. 脳卒中を予測するために、臨床データをモデリングするための多層パーセプトロン（MLP）と画像データをモデリングするための畳み込みニューラルネットワーク（CNN）からの出力を単一の完全に接続された最終層に統合しました135。非常によく似たアプローチが Tang らによって採用されました。誰が 3 次元 CNN を使用し、最後の層で層を結合した113。 EHR とテキストデータは 11 件の論文で融合されました41、44、80、107、109、116、122、126、134、136、142。このうち、641、44、80、122、134、142 社は、EHR と臨床ノートの融合において、長期短期 (LSTM) ネットワーク、CNN、または知識誘導型 CNN160 を使用しました。チョードリーら。彼らは、グラフニューラルネットワークとオートエンコーダーを使用して、構造化された臨床検査結果と臨床メモからメタ埋め込みを学習しました107,109。ピボバロフら。彼らは、臨床ノートや投薬/検査指示書（EHR）データから確率的表現型を学習しました136。 2 つのモデルはそれぞれ LDA を採用しており、データ型が要素のバッグとして扱われ、2 つのモデル間に一貫性をもたらし、固有の表現型を識別します。イェら。そしてシンら。多数の二次モデルをテストする前に、それぞれ NLP およびバッグオブワード技術による概念識別子を使用しました 116,126。一般に、臨床ノートは構造化された EHR データに補完的な情報を提供できますが、そのような情報を抽出するには自然言語処理 (NLP) が必要になることがよくあります 161,162,163。イメージングとゲノムを使用したいくつかの研究が発表されました37,117,120。ここでは、ラジオゲノミクスを使用して、注意欠陥/多動性障害（ADHD）、神経膠芽腫の生存、認知症をそれぞれ診断しました。 Yooらは、多遺伝子性リスクスコアをMRIと組み合わせた。 ADHD の診断にランダムフォレストのアンサンブルを使用した 120。周ら。各モダリティの潜在表現（つまり、高レベルの特徴）を独立して学習することにより、認知症診断のために SNP 情報と MRI および陽電子放出断層撮影法 (PET) を融合しました。続いて、モダリティの組み合わせごとに関節潜在特徴表現を学習し、第 2 段階で学習した関節潜在特徴表現を融合することで診断ラベルを学習しました37。 Wijethilake 氏は、MRI と遺伝子発現プロファイリングを使用し、複数のモデル SVM、線形回帰、人工ニューラルネットワーク (ANN) に統合する前に再帰的特徴除去を実行しました。線形回帰モデルは、他の 2 つの統合モデルや単一モダリティよりも優れたパフォーマンスを示しました117。王ら。およびZhangら。画像情報とテキスト情報を統合する取り組みを紹介しました45,46。どちらも CNN の言語モデリングに LSTM を使用して、二重注意モデルに結合されたエンベディングを生成しました。これは、モダリティごとに保存された注目情報を使用してコンテキストベクトルを計算することで達成され、共同学習が実現されます。イメージング/EHR/テキスト 115、ゲノム/テキスト 49、イメージング/時系列 127、イメージング/テキスト/時系列 47、イメージング/EHR/ゲノム 130、イメージング/EHR/時系列 124、EHR/ゲノム 128、EHR/テキスト/時間を使用して論文が公開されることはほとんどありませんでした。シリーズ42。

はるかに少数の論文 (n = 20) が後期融合法を使用しました。そのうち 7 つはイメージングおよび EHR データタイプを使用していました 138,139,144,150,151,154,164。 Xiongらは両方とも。およびインら。出力を CNN に入力して、最終的な重み付けと決定を提供します150,151。イメージング、EHR、ゲノムという 3 つのアプローチを使用して 3 つの論文が発表されました 130,147,148。徐ら。とファリスら。 EHR とテキストデータを使用して論文を発表しました146,155。ファリスら。 TF-IDF、ハッシュベクタライザー、およびバイナリ化された臨床データと組み合わせた文書埋め込みを使用して臨床ノートを処理しました155。ロジスティック回帰 (LR)、ランダムフォレスト (RF)、確率的勾配降下分類器 (SGD 分類器)、および多層パーセプトロン (MLP) が両方のデータセットに個別に適用され、2 つのモデルの最終出力が異なるスキームを使用して結合されました。、加算、乗算。イメージングと時系列を使用した 2 つの論文 149,152 が出版され、どちらも CNN を使用しており、1 つは新生児のビデオ情報 149 で、もう 1 つは胸部 X 線写真 152 でした。ただし、時系列データの処理においては異なります。サレキン氏は双方向 CNN を使用し、西森氏は一次元 CNN を使用しました。 Imaging/EHR/Text153、EHR/Genomic/Text145、images/EHR、time series/141、Imaging/Genomic156、EHR/Genomic140、および Imaging/Text39 を使用して出版された論文ははるかに少ないです。

2 つの論文では、複数のデータ融合アーキテクチャを実行しました158,159。黄ら。 7 つの異なる融合アーキテクチャを作成しました。これらには、早期融合、関節融合、後期融合が含まれます。最も優れたパフォーマンスを発揮したアーキテクチャは、コンピューター断層撮影と EHR データを使用した肺塞栓症の診断のための後期弾性平均融合でした 159。彼らの Late Elastic Average Fusion では、EHR 変数の ElasticNet (正則化機能として機能する L1 事前分布と L2 事前分布を組み合わせた線形回帰) を利用しました。 El-Sappagh et al. は、早期および後期融合を実行して、解釈可能なアルツハイマー病の診断および進行検出モデルを作成しました158。彼らの最も優れたパフォーマンスを発揮したモデルは、SHapley Additive exPlanations (SHAP) 機能属性を使用して、ランダムフォレスト分類器のインスタンスベースの説明を実装したモデルでした。臨床データ、ゲノムデータ、画像データを使用しているにもかかわらず、最も影響力のある機能はミニ精神状態検査であることが判明しました。

データ融合は、あるデータタイプに一方の性別が多く含まれ、別のデータタイプにもう一方の性別が多く含まれる場合、より代表的なデータセットを作成することで、健康モデリングにおける性別の表現に対処し、集団の多様性の問題（少数派集団を含む）を増やすのに役立つ可能性があります。さまざまなデータセットを使用することによるこの相互補償能力は、人種や民族の多様性にも当てはまります。

臨床読者向けのジャーナルに掲載された論文は半分未満 (37.6%) でした。研究の最終コホートに含まれる論文はどれも、FDA の承認を得た臨床使用のためのツールを作成していませんでした。この分野の論文数の増加に基づいて、これらの発見を特徴づける必要性と関心が世界的に高まっています。

この研究の開始時から概説した研究課題に戻ると、表 3 に到達します。

このレビューに含まれる論文では多くの問題が提起されています。最も一般的に報告された制限は、単一施設からのコホート、小さなサンプルサイズ、遡及データ、不均衡なサンプル、欠損データの処理、特徴量エンジニアリング、交絡因子の制御、および使用されたモデルの解釈でした。サンプルは、ほとんどの場合、単一の病院または学術医療センターから構築されました148。サンプルサイズが小さいと、モデルの適合性や一般化性が低下することがよくあります。研究全体で報告された固有の患者数の中央値は 658 人、標準偏差は 42,600 でした。これは、一部の研究では大規模な多施設コホートを活用できたが、非常に多くの研究ではそれができなかったことを示唆している70、82、120、131。

予測データに関する機械学習の調査はほとんど行われず、これはこの分野特有の問題です84。サンプルの不均衡は無視されることが多く、その結果、モデルに偏りが生じ、パフォーマンス指標が誤解を招くことになります75,151。欠損データは通常、データの削除や代入によって無視されますが、適切に処理されないと結果が歪む可能性があります68,106,173。欠損データの頻度と種類については、さらなる研究が必要です174,175,176,177。最終結果に関するさまざまな補完方法の比較は、報告プロセスの一部であるべきである178。統計分析を実行するとき、研究者は通常、年齢や性別などの考えられる交絡因子を無視しました。そうすることは、結果への影響に大きな影響を与える可能性があります153。このような考えられる交絡効果は、モデルによって考慮されるか 179,180、モデルの結果を報告する前に最初に調整される必要があります。臨床医が結果に信頼性があると判断し、それを使用して治療のガイダンスを提供できるように、モデルと出力の合理的な解釈を提示する必要があります。しかし、ほとんどの著者は、臨床対象者向けにモデルを解釈することに時間を割きませんでした。さらに、その結果が臨床上の意思決定支援ツールとしてどのように機能するか。モデルの種類が異なれば、説明も異なります129,130。これらの制限は、図 5 のデータ処理およびモデリング構築パイプラインで発生する箇所で強調表示されています。

マルチモーダルフュージョンの実装に対する制限は、ワークフロー内の位置によって階層化されます。これらには、基礎となるデータに関連する問題、そのデータから生じるモデリング、そして最終的に、これらを医療システムに移植してトランスレーショナルな意思決定サポートを提供する方法が含まれます。

この分野を促進し促進するために、私たちはこの分野の将来の研究に向けていくつかのギャップを概説しました。これらを図 5 にリストして検討します。医薬品/薬物のトピックは過小評価されている分野であり、この分野で出版されている論文はわずか 2 件のみです 50,66。薬物相互作用の影響を認識することは、特に高齢者医学において難しく、増大しつつある問題 181,182,183,184 であり、これがビールの基準のきっかけとなった 185。マルチモーダル機械学習を実行すると、医原性の過誤、コンプライアンス違反、または依存症の結果である薬剤の誤用に関連する有害事象を早期に検出できる可能性があります。上で概説したのと同様の正当化は、論文が 1 件しかない血液学 49 や論文が 3 件しかない腎臓学 41、87、99 など、「飽和状態にある」と見なされる他の領域にも適用できます。

ML を使用して臨床の意思決定を強化し、臨床研究と結果を改善することは、苦しみを軽減し、人命を救うことができるため、経済的、倫理的、道徳的な影響をもたらすプラスの効果をもたらします。現在、複数の研究で、ML モデルがトレーニングされるデータに偏りがある場合、予測に偏りが生じることが多いことが指摘されています 186,187。マルチサイトの代表的なデータを確保することで、モデルのバイアスが制限されます。また、データ変換を高速化してテクノロジーをより広く利用できるようにするため、オープンアクセスのパイプライン/ライブラリの作成も主張しています188,189。複雑で時間のかかるデータ変換を犠牲にして精度を向上させるということは、マルチモーダルなアプローチから得られる予測力がこのフロントエンドのボトルネックによって相殺されることを意味する可能性があり、予測が時間的に関連性がなくなったり役に立たなくなったりすることを意味します。

異種データを組み込むことは一見より良い予測に役立ちますが 139、特定の疾患に関する知識が蓄積されるにつれて、医療におけるデータ融合は、動的な状況に積極的に適応することを保証する進化する目標です 190。遍在的に適用できる単一の ML モデルはありません。たとえば、タンパク質間相互作用では、XGBoost アンサンブルアルゴリズムを利用すると、ノイズの多い特徴が減少し、重要な生の特徴が維持され、過剰適合が防止されることが示されています 122。同様に、LightGBM191 には、トレーニング速度の高速化、効率の向上、メモリ使用量の削減、精度の向上という利点があり 192、他のモデルよりも常に優れたパフォーマンスを示しています 193,194。グラフニューラルネットワークは、創薬/標的につながる新しい接続を合成できます122。

同様に、解釈可能性を可能にするモデルを常に考慮する必要があります。たとえば、Perotte et al.99 のモデルは、従来のより単純な機械学習分類器と比較されておらず、集合的な行列因数分解は本質的に解釈が困難になります 79。これを Fraccaro らの研究と比較してください。彼らの黄斑変性症の研究では、ホワイトボックスがブラックボックス手法の実装と同様に実行されたことに注目しました68。

この分野とそれに関連するデータセットが成熟するにつれ、デジタルデータセットの検索可能性、アクセシビリティ、相互運用性、および再利用 (FAIR) 195 というデータ管理の原則に対処するための作業が必要になります。これには、オープンまたはフェデレーテッドアクセスポイント (検索可能性/アクセシビリティ) を備えた一意/匿名化され検索可能なメタデータ、広範囲に共有されるデータ (相互運用可能)、そして最終的には明確なデータ使用契約に基づいて正確で関連性のある属性を含むデータが必要になります。 /license (再利用可能)。結果の明確な定義、バイアスの評価、結果の解釈可能性/透明性、および予測に固有の制限が存在することが不可欠です196。

普及のために非常に重要なのは、予測が患者固有であり、詳細なレベルで実行可能であることです197。例えば、３０日間の再入院予測アルゴリズム１０６が実装された場合、リソース管理に情報を提供し、再入院する患者の数を減らす可能性のある追加の調査を促すことができる。リンデンら。個々の患者のレベルで解釈できる予測を作成できる、ディープパーソナライズされた縦方向畳み込み RIsk モデル (DeepLORI) を開発しました122。臨床情報と経験に基づいた情報の両方を活用して、有意義で使用可能な推奨事項 136 を作成すると、既存のフレームワークと関連付けることで臨床医/エンドユーザーの理解が向上する可能性があります。 CRISP-ML などのリソースは、ユースケースをより実用的なアプリケーションに移行するためのフレームワークを提供します198。その一方で、使用ツールとして食品医薬品局 (FDA) の承認を争う取り組みが採用の増加に奨励されています。

これらの予測に固有の制限を注釈付けするユーザーインターフェイスを備えたモデルを導入すると、臨床意思決定者がインターフェイスをとり、それに応じて変更を実装できるようになります。前述のタスクを実行することで、個々の分野が、関連性があり、実行可能で、地域/部分集団の違いを超えた、その後の現実世界の実装に向けた推奨事項を作成することが促されます。このスコーピングレビューの限界には、それが体系的なレビューではないことが含まれます。そのため、本来収録されているはずのタイトルが欠落している可能性がございます。この研究の主な目的は、健康におけるマルチモーダル機械学習に関する科学論文のプロファイリングを実行することであったため、含まれている研究の個々の方法論的品質についての批判的な評価は行われませんでした。ただし、結果や主張に影響を与えた可能性のある方法論的な制限については解説が記載されています。このレビューは、機械学習の種類や使用されるデータには関係なく、健康ドメイン全体にわたる包括的なメタデータと評価を提供します。この研究は、この分野における将来の研究の要約と足がかりとして役立ちます。医療におけるデータ融合は、世界的に関心が高まっている分野です。他の健康分野と比較して頻度が高かった健康分野は神経学とがんであり、これは研究が十分に進んでいないテーマ（血液学、皮膚学）をさらに探求する機会を浮き彫りにする役割を果たしています。ユニモーダル機械学習は、画像データ、臨床データ、またはゲノムデータを同時に解釈して正確な診断を通知し、使いやすさと実装を容易にするためのさらなる作業を保証する現在の日常的な臨床実践とは本質的に対照的です。全体的に見て、マルチモーダルデータフュージョンはユニモーダルアプローチよりも予測パフォーマンスを向上させ (AUC の平均 6.4% 向上)、該当する場合にはそれが保証されると主張するのは正当であると思われます。マルチモーダル機械学習は、精密医療において患者とその固有の健康の指紋をさらにサブグループ化するために活用されるツールとなる可能性があります。さらに、私たちのレビューには FDA の承認を求めた論文はなかったので、モデルの翻訳にさらなる努力をすることを提唱し、その目的を促進する必要性を探ります。

このレビュー記事と併せて公開されたダッシュボードリソースは、https://multimodal-ml-health.herokuapp.com/ で入手できます。このダッシュボードは、このホワイトペーパーで示された主要な調査結果をインタラクティブなインフォグラフィックベースで表示するために作成されました。今後の研究を促進するために、研究者が特定の包括的な健康トピックに基づいてタイトルの基礎となるデータファイルを選択によってフィルタリングできるようにするドロップダウンメニューが作成されました。これにより、関連する文書の検索が容易になります。

含める要件は次のとおりです。(a) オリジナルの研究論文。 (b) 過去 10 年以内に出版されたもの (2011 年から 2021 年まで)。 (c) 英語で出版される。 (d) 診断または予測アプリケーションのために健康における機械学習を使用するマルチモーダルまたはマルチビューのトピック。ここでの文脈における「マルチモーダル」または「マルチビュー」とは、複数のデータソースが同じではないことを意味します。タイプ。たとえば、CT と MRI を使用した論文はマルチモーダルイメージングとみなされる場合があります。ただし、私たちの基準では、単一モード (つまり、イメージングのみが含まれる) とみなされます。このレビューの目的から除外されるものは次のとおりです。(a) 英語で出版されていない科学論文。 (b) 解説または社説。または (c) 他のレビュー記事。データが人為的でない場合、論文も除外されました。また、統合された組織イメージングやトランスクリプトミクスデータを生成する空間トランスクリプトミクスなど、データ生成段階ですでに融合が起こっている論文も除外しました199,200,201。すべての論文は原稿に含めるために 2 人による検証を受けました。

検索文字列は、文献検索とドメインの専門知識を通じて確立されました。追加のキーワードは、以前に含まれていた記事の要約から確立されたキーワード共起行列に基づいて特定されました。図 6a は検索文字列を示しています。個々の文字列には各列の 1 つのキーワードが含まれており、これは検索文字列のすべての組み合わせに対して実行されました。包含/除外プロセスの概要は図 6b に示されており、スコーピングレビュー用の PRISMA 拡張機能によって設定された標準に従っています202。

健康関連キーワード、マルチモーダル関連キーワード、機械学習関連キーワード、|: または。たとえば、「健康 + 異種データ + 機械学習」が検索文字列の 1 つになります。 b 研究への参加プロセスの概要。 c 提示された研究上の質問。

論文から収集された情報には、タイトル、出版年、ツールの FDA 承認、臨床雑誌に掲載されたかどうか、著者の所属、著者数、場所 (大陸)、要約などが含まれます。取り上げられた健康トピックだけでなく、病気を含むより広範な医学トピックも抽出されました。たとえば、肺がんが問題となる特定の病気になります。私たちの分類によれば、それはがんと呼吸器のトピックから生じています。健康トピックの分類は、正確性を確保するために医師によって監視およびレビューされました。各論文で取り上げられている 1 つの健康疾患を複数の健康トピックが網羅していることが多いため、複数の論文が 2 回カウントされます。これは、サンキープロットの右側から中央の特定の健康疾患までマッピングされた場合に当てはまります。

私たちは、使用されたさまざまなモダリティと区分 (つまり、テキスト/画像対 EHR/ゲノム/時系列) の数を記録し、抽出しました。各論文の目的は、キーワード (可能な場合) とともに 1 ～ 2 文の要約として抽出されました。研究における患者の特徴付けは、コホート内の固有の患者の数と患者の性別（つまり、男性/女性/両方、または言及されていない）を確認することによって行われました。

抽出された計算情報には、(a) データ処理/分析に使用されるコーディングインターフェイス、(b) 機械学習の種類、(c) データ結合手法 (初期、中間、後期)、(d) 機械学習の種類が含まれます。使用されるアルゴリズム。検証が実行されたかどうか (はい/いいえ)、実行された統計テスト、検証の性質、および結果の尺度がすべて各論文について記録されました。各論文の重要性、影響、限界は、論文に記載されている主要な発見と限界をレビューすることによって抽出されました。

研究デザインの詳細については、この記事にリンクされている Nature Research レポートの概要をご覧ください。

Nils, BH & Sabine, S. 機械学習ベースの臨床意思決定サポートの倫理: 専門化理論のレンズを通した分析。 BMC医学。倫理学 22、112 (2021)。

Sanchez-Pinto, LN、Luo, Y. & Churpek, MM 救命救急におけるビッグデータとデータサイエンス。チェスト 154、1239–1248 (2018)。

記事 PubMed PubMed Central Google Scholar

Miotto, R.、Wang, F.、Wang, S.、Jiang, X.、Dudley, JT ヘルスケアのための深層学習: レビュー、機会、課題。簡単なバイオインフォーム。 19、1236–1246 (2017)。

ティモシー、JWD 他 3 次元の右心室運動の機械学習により、肺高血圧症の転帰予測が可能になります: 心臓 MR 画像研究。放射線学 283、381–390 (2017)。

記事 Google Scholar

Gigi, FS、Gregory, RH、Bradley, JN、Jun, D. 個人の健康データと機械学習モデルを使用して乳がんのリスクを予測します。 PLoS One 14、e0226765 (2019)。

マイケル、F.、ジャスティン、BE-T. & Elizabeth, S. 高齢者の糖尿病診断に関する 2019 年内分泌学会ガイドラインの臨床および公衆衛生への影響。糖尿病ケア 43、1456–1461 (2020)。

記事 Google Scholar

Gambhir、SS、Ge、TJ、Vermesh、O.、Spitler、R. 精密な健康の達成に向けて。科学。翻訳。医学。 10、eaao3612 (2018)。

記事 PubMed PubMed Central Google Scholar

Schüssler-Fiorenza Rose, SM 他精密な健康のための長期的なビッグデータアプローチ。ナット。医学。 25、792–804 (2019)。

論文 PubMed Google Scholar

フィーロ、WG 「ゲノミクスとプレシジョンヘルス」について紹介します。 JAMA 317、1842–1843 (2017)。

論文 PubMed Google Scholar

Kellogg, RA、Dunn, J. & Snyder, MP 正確な健康のためのパーソナルオミックス。循環資源 122、1169–1171 (2018)。

論文 CAS PubMed Google Scholar

Thapa, C. & Camtepe, S. 高精度の医療データ: データのセキュリティとプライバシーに関する要件、課題、既存の技術。計算します。バイオル。医学。 129、104130 (2021)。

論文 PubMed Google Scholar

Pranata, S. et al. 糖尿病患者のためのプレシジョンヘルスケアの要素、定義、戦略: 文献レビュー。内部。Ｊ．Ｅｎｖｉｒｏｎ．解像度公衆衛生学 18、6535 (2021)。

記事 PubMed PubMed Central Google Scholar

Shih Cheng, H.、Anuj, P.、Saeed, S.、Imon, B. & Matthew, PL 深層学習を使用した医療画像と電子医療記録の融合: 体系的なレビューと実装ガイドライン。 npjデジタルメディカル 3、136（2020）。

Weixian, H.、Kaiwen, T.、Jinlong, H.、Ziye, Z.、Shobin, D. オミクスとイメージングデータの融合法のレビュー。 IEEE/ACM Trans Comput Biol Bioinform (IEEE、2022)。

Federico, C. データ融合技術のレビュー。 Scientific World J. 2013、704504 (2013)。

Alan, NS、Christopher, LB & Franklin, EW JDL データ融合モデルの改訂。 Sens. Fusion.: アーキテクチャ、アルゴリズム、アプリケーション。 III 3719、430 (1999)。出版社＝SPIE。

Google スカラー

エリック、M.-M.-R.、アントニオ、AA、ラモン、FB、エンリケ、G.-C. 複数のドメインに最適なセンサーフュージョンアーキテクチャを予測する精度が向上しました。センサー 21、7007 (2021)。

Ahmad, FS、Luo, Y.、Wehbe, RM、Thomas, JD & Shah, SJ 駆出率を維持した心不全への機械学習アプローチの進歩。心不全クリン。 18、287–300 (2022)。

論文 PubMed Google Scholar

エリック、B.ら。センサーデータ融合のための機械学習/人工知能 - 機会と課題。 IEEE 航空宇宙および電子システムマガジン Vol. 36、80–93 (IEEE、2021)。

Li, Y.、Wu, X.、Yang, P.、Jiang, G.、Luo, Y. 肺がんの診断、治療、予後における機械学習の応用。プレプリントは https://arxiv.org/abs/2203.02794 (2022) にあります。

コハネ、IS et al. 電子医療記録データを使用した研究について、すべての読者が知っておくべきことですが、尋ねることを恐れているかもしれないこと。 J.Med. インターネット解像度 23、e22219 (2021)。

記事 PubMed PubMed Central Google Scholar

アンドレス、C.ら。 2014 ～ 2016 年のエボラ出血熱流行時の機械学習予後モデル: データ調和の課題、検証戦略、mHealth アプリケーション。 EClinicalMedicine 11、54–64 (2019)。

記事 Google Scholar

アフシン、J.、ジャン・ピエール、P.、ジョアンヌ、M.-P. 機械学習ベースの変形性膝関節症の患者固有の予測モデル。ナット。リウマトール牧師。 15、49–60 (2019)。

記事 Google Scholar

Luo, Y.、Ahmad, FS & Shah, SJ 駆出率を保存した心不全の精密医療のためのテンソル因数分解。 J. Cardiovasc. 翻訳。解像度 10、305–312 (2017)。

Luo, Y.、Wang, F.、Szolovits, P. 精密医療に向けたテンソル因数分解。ブリーフィングバイオインフォーム。 18、511–514 (2016)。

ラスムッセン L. et al. 電子医療記録ベースの表現型アルゴリズムの移植性を向上させるための考慮事項。 2019年AMIA年次シンポジウム2019の議事録（2019年）。

Zhong、Y.ら。 EHR 駆動の表現型抽出アルゴリズムの設計パターンの特徴付け。 2018 年の IEEE バイオインフォマティクスおよび生物医学国際会議 (BIBM) 1143–1146 (IEEE、2018)。

ラスムッセン、LV 他。研究ゲノミクスの結果を EHR に統合する際に遭遇する予期せぬ課題に対するソリューション。 ACI オープン 4、e132–e5 (2020)。

記事 Google Scholar

シャン、N.ら。電子表現型実装のための作業の可視化: eMERGE ネットワークから学んだ教訓。Ｊ．Ｂｉｏｍｅｄ．情報 99、103293 (2019)。

記事 Google Scholar

Dana, L.、Tulay, A.、Christian, J. マルチモーダルデータフュージョン: 手法、課題、展望の概要。手順 IEEE 103、1449–1477 (2015)。

記事 Google Scholar

Wei, C.、Yungui, H.、Brendan, B. & Simon, L. コンピュータによる患者の識別の向上における病理レポートの組み込みの有用性。Ｊ．パソール。知らせる。 7、46 (2016)。

Yubraj, G.、Ramesh Kumar, L.、Goo Rak, K. アポリポタンパク質 E 遺伝子型、脳脊髄液、MR、および FDG-PET 画像バイオマーカーの組み合わせた特徴に基づくアルツハイマー病の予測と分類。フロント。計算します。神経科学。 13、72 (2019)。

Xia An, B.、Xi, H.、Hao, W. & Yang, W. クラスタリング進化的ランダムフォレストに基づくアルツハイマー病のマルチモーダルデータ分析。 IEEE J. Biomed. 健康情報。 24、2973–2983 (2020)。

記事 Google Scholar

アリアナ、A. 他マルチモーダル MRI、fMRI、および表現型データの非負行列因数分解により、ADHD におけるデフォルトモードのサブネットワークの差次的変化が明らかになります。ニューロイメージ 102、207–219 (2014)。

記事 Google Scholar

Chao, G.、Luo, Y. & Ding, W. 教師付き次元削減の最近の進歩: 調査。マッハ。学ぶ。知ってください。抜粋 1、341–358 (2019)。

記事 Google Scholar

Pillai、PSLTY アルツハイマー病分類のための異種データの融合。スタッド。ヘルステクノロジー。情報 216、731–735 (2015)。

Google スカラー

Tao, Z.、Kim Han, T.、Xiaofeng, Z.、Dinggang, S. 認知症診断のための段階別ディープニューラルネットワークを使用した効果的な特徴学習とマルチモダリティデータの融合。ハム。脳マップ。 40、1001–1016 (2019)。

記事 Google Scholar

Robi, P. 意思決定におけるアンサンブルベースのシステム。 IEEE 回路システムマグ。 6、21–44 (2006)。

記事 Google Scholar

Francesco, C. & Marwa, M. 双極性障害とうつ病の認識のためのマルチモーダル時間機械学習。パターン分析アプリケーション 25、493–504 (2021)。

Durrant-Whyte、HF センサーモデルとマルチセンサーの統合。内部。 J.ロボット。解像度 7、97–113 (1988)。

記事 Google Scholar

Xu、Z.ら。メモリネットワークを備えた構造化および非構造化電子健康記録データを使用した、急性腎障害の予測サブ表現型の同定。Ｊ．Ｂｉｏｍｅｄ．知らせる。 102、103361 (2019)。

記事 Google Scholar

Dongdong, Z.、Changchang, Y.、Jucheng, Z.、Xiaohui, Y. & Ping, Z. 構造化データと非構造化データを組み合わせて予測モデルを作成する: 深層学習アプローチ。 BMC医学。知らせる。決定。マック。 20、280 (2020)。

Shaker, E.-S.、Tamer, A.、Islam、SMR、Kyung Sup, K. 時系列データに基づくアルツハイマー病の進行検出のためのマルチモーダルマルチタスク深層学習モデル。ニューロコンピューティング 412、197–215 (2020)。

記事 Google Scholar

Haiyang, Y.、Li, K. & Feng Qiang, X. 死亡率予測のためのマルチモーダル時間臨床ノートネットワーク。Ｊ．Ｂｉｏｍｅｄ．セマンティクス 12、3 (2021)。

Zizhao, Z.、Pingjun, C.、Manish, S. & Lin, Y. TandemNet: オプションのセマンティック参照として診断レポートを使用して医療画像から知識を抽出します。医用画像コンピューティングとコンピュータ支援介入に関する国際会議、10435、320–328 (Springer、Cham、2017)。

Xiaosong, W.、Yifan, P.、Le, L.、Zhiyong, L. & Ronald, MS TieNet: 一般的な胸部疾患の分類と胸部 X 線写真でのレポートのためのテキスト画像埋め込みネットワーク。コンピュータービジョンとパターン認識に関する IEEE コンピューター協会会議議事録 9049–9058 (IEEE コンピューター協会、2018 年)。

Syed Arbaaz, Q.、Sriparna, S.、Mohammed, H.、Gael, D. & Erik, C. うつ病レベルのマルチモーダル推定のためのマルチタスク表現学習。 IEEE インテル。システム。 34、45–52 (2019)。

記事 Google Scholar

Jordan, Y.、William, Y.、Philipp, T. 深層学習を使用したマルチモーダル皮膚病変分類。経験値ダーマトール。 27、1261–1267 (2018)。

記事 Google Scholar

カイ、Z 他 MLMDA: 異種の情報ソースを統合することによって、MicroRNA と疾患の関連性を予測および検証するための機械学習アプローチ。Ｊ．Ｔｒａｎｓｌ．医学。 17、260（2019）。

シヴァン、K.ら。マルチモーダルバイオマーカーと家族歴を含む長期データを使用したアルコール使用障害のリスク予測: 機械学習研究。モル。精神医学 26、1133–1141 (2021)。

記事 Google Scholar

マラ・テン、K 他アミロイド病理の MRI 予測因子: EMIF-AD マルチモーダルバイオマーカー発見研究の結果。アルツハイマー病治療それで。 10、100 (2018)。

イサム、H. et al. ラジオゲノミクスは、食道がん患者の血清におけるマイクロRNA-1246の発現を予測します。科学。議員第 10 号、2532 (2020)。

Jesus, JC、Jianhua, Y. & Daniel, JM 定量的な生理学的値と画像の特徴を融合することで画像分析ツールを強化します。 J. Digit Imaging 25、550–557 (2012)。

記事 Google Scholar

ケビン・ブレトンネル、C. 他自然言語処理と機械学習を通じて小児てんかん手術の候補者を予測する際の方法論的な問題。バイオメッド。知らせる。インサイト 8、BII.S38308 (2016)。

記事 Google Scholar

Weiming、L.ら。マルチモーダルデータを使用した極端な学習機械ベースの採点方法を使用して、軽度認知障害からアルツハイマー病への移行を予測します。フロント。神経科学の老化。 12、77 (2020)。

ミカ、C.ら。大うつ病エピソードによる最初の患者の入院から 2 年以内の再入院の予測: マルチモーダル機械学習アプローチ。翻訳。精神医学 9、285 (2019)。

Jongin, K. & Boreom, L. マルチモーダル疎階層極限学習マシンを使用したアルツハイマー病と軽度認知障害の特定。ハム。脳マップ。 39、3728–3741 (2018)。

記事 Google Scholar

Hélène De、C. 他ウェアラブルモニタリングと解釈可能な機械学習により、心臓リハビリテーション中の患者の進行を客観的に追跡できます。センサー (スイス) 20、1–15 (2020)。

Google スカラー

テイマー、A.、シェーカー、E.-S. & マサチューセッツ州ホセアルツハイマー病の進行検出のための堅牢なハイブリッド深層学習モデル。知識ベースのシステム 213、106688 (2021)。

Jeungchan, L. 他マルチモーダルな神経画像と自律神経指標を使用した、機械学習に基づく臨床疼痛の予測。痛み 160、550–560 (2019)。

記事 Google Scholar

Uttam, K.、Goo Rak, K.、Horacio, R.-G. 極限学習マシンを使用した、AD および MCI の分類のための sMRI、CSF、認知スコア、APOE ϵ 4 バイオマーカーの効率的な組み合わせ。計算します。知性。神経科学。 2020、8015156 (2020)。

Bo, C.、Mingxia, L.、Heung, IS、Dinggang, S. & Daoqiang, Z. MCI 変換予測のためのマルチモーダル多様体正則化転移学習。脳画像動作。 9、913–926 (2015)。

記事 Google Scholar

ケビン、H.、ウルリケ、L.、マーカス、M.、カーチャ、BB。臨床データ、ホルモンデータ、構造 MRI データを使用した全般性不安障害と大うつ病の分離: マルチモーダル機械学習研究。脳の行動 7、e00633 (2017)。

Fayao, L.、Luping, Z.、Chunhua, S.、Jianping, Y. 多峰性アルツハイマー病分類のためのプライマルにおける複数のカーネル学習。 IEEE J. Biomed. 健康情報。 18、984–990 (2014)。

記事 Google Scholar

ディエゴ、C.-B. 他。パーキンソン病の診断における I123-イオフルパン SPECT 画像および複数の異種バイオマーカーのための堅牢なアンサンブル分類手法。フロント。ニューロインフォーム。 12、53 (2018)。

Yi、Z.ら。異種の薬理学データベースから併用薬の副作用を予測します。 BMCバイオインフォーム。 19, 517 (2018)。

Chin Po, C.、Susan Shur Fen, G.、Chi Chun, L. 多峰性の行動記述子と実行機能を使用した自閉症スペクトラム障害の鑑別診断に向けて。計算します。スピーチラング。 56、17–35 (2019)。

記事 Google Scholar

パオロ、F.ら。黄斑の臨床徴候と患者の特徴を組み合わせて加齢黄斑変性症を診断する: 機械学習による網膜へのアプローチ。 BMCオフタルモール。 15、10 (2015)。

ベンジャミン、DW 他。てんかん手術候補者の早期特定: 多施設の機械学習研究。アクタニューロール。スキャン。 144、41–50 (2021)。

記事 Google Scholar

Xia An, B.、Wenyan, Z.、Lou, L.、Zhaoxu, X. 脳画像と遺伝子データに基づく新しい GERF アルゴリズムを使用して、EMCI におけるリスク遺伝子と病原性脳領域を検出。 IEEE J. Biomed. 健康情報。 25、3019–3028 (2021)。

記事 Google Scholar

Prashanth, R.、Sumantra Dutta, R.、Pravat, KM、Shantanu, G. マルチモーダル機能と機械学習による早期パーキンソン病の高精度検出。内部。 J.Med. 情報 90、13–21 (2016)。

記事 CAS Google Scholar

アリ、A.-M. 他。側頭葉のてんかん誘発領域の位置を特定するための機械学習: マルチモーダルな臨床記号学と画像の一致の価値を定量化します。フロント。デジタルヘルス 3、559103 (2021)。

Baiying、L. et al. マルチモーダルデータによる慢性B型肝炎における肝線維化の評価。ニューロコンピューティング 253、169–176 (2017)。

記事 Google Scholar

ラリー、H. et al. 術後の心臓ケア中の統合的かつ継続的な患者モニタリングのためのマルチモーダルテンソルベースの方法。アーティフ。知性。医学。 113、102032 (2021)。

Ivo、DDら。予測ビッグデータ分析: 大規模で複雑、不均一、不一致、複数の情報源による不完全な観察を使用したパーキンソン病の研究。 PLoS One 11、e0157077 (2016)。

Eleftherios, T.、Ioannis, S.、Apostolos, HK & Kostas, M. データ駆動型分析で分子および組織学的サブタイプを評価するための非小細胞肺癌の詳細なラジオトランスクリプトミクス。診断学 11、2383 (2021)。

Hua、W.ら。スパースマルチモーダルマルチタスク学習を介して、多次元異種イメージング遺伝学データから疾患に敏感で定量的形質関連のバイオマーカーを特定します。バイオインフォマティクス 28、i127–36 (2012)。

Xia, B.、Xi, H.、Yiming, X. & Hao, W. マルチモーダル画像遺伝学データに基づいてパーキンソン病関連遺伝子と脳領域を予測するための新しい CERNNE アプローチ。医学。アナル画像。 67、101830 (2021)。

ビジェイ、H.ら。異種の臨床データを使用して救急治療における合併症を予測します。 IEEE Access 4、7988–8001 (2016)。

記事 Google Scholar

Wang, H.、Li, Y.、Khan, SA、Luo, Y. 自然言語処理と知識誘導畳み込みニューラルネットワークを使用した乳がんの遠隔再発の予測。アーティフ。知性。医学。 110、101977 (2020)。

記事 PubMed PubMed Central Google Scholar

Zeng、Z.ら。機械学習を使用して電子健康記録から乳がんの遠隔再発を特定します。 J. ヘルスケア情報。解像度 3、283–299 (2019)。

カウツキー、A.ら。マルチモーダルなセロトニン作動性データによる ADHD と HC の機械学習分類。翻訳。精神医学 10, 104 (2020)

Nhat Trung, D. 他特徴的な多変量脳形態パターンと、精神障害における認知リスクスコアおよび多遺伝子リスクスコアによる追加の予測値。ニューロイメージ: Clin. 15、719–731 (2017)。

記事 Google Scholar

Niha, B. et al. 低酸素経路の放射性ゲノム分析は、膠芽腫の全生存率を予測します。科学。議員8、7（2018）。

ジャン、CPら。マルチモーダル画像処理と治療機能を組み合わせることで、多形神経膠芽腫患者における機械学習に基づく予後評価が向上します。がん医学。 8、128–136 (2019)。

記事 Google Scholar

ハオ、Z.ら。機械学習により、びまん性低悪性度および高悪性度神経膠腫におけるイソクエン酸デヒドロゲナーゼおよび 1p/19q 状態を予測するマルチモーダル MRI パターンが明らかになります。 J. Neurooncol 142、299–307 (2019)。

記事 Google Scholar

Namyong, P. et al. 不均一かつ不規則なデータを使用して、がん患者の急性腎障害を予測します。 PLoS One 13、e0199839 (2018)。

Wei Liang, T.、Chee Kong, C.、Sim Heng, O.、Alvin Choong Meng, N. 骨減少症診断のためのマルチモーダル医療データのアンサンブルベースの回帰分析。エキスパートシステム。応用 40、811–819 (2013)。

記事 Google Scholar

Sébastien, T.、Yasser, I.-M.、José María, M.-P.、Alan, CE、Louis De, B. 遠隔スポーツ脳震盪のマルチモーダルな特徴の定義。ユーロ。 J. Neurosci. 46、1956 ～ 1967 年 (2017)。

記事 Google Scholar

ジャンルカ、B.ら。機械学習を使用した急性虚血性脳卒中に対する血管内治療結果のマルチモーダル予測モデリング。ストローク 51、3541–3551 (2020)。

Yiming、X.ら。中枢性思春期早発症が疑われる患者を予測するための、説明可能な動的マルチモーダル変分オートエンコーダー。 IEEE J. Biomed. 健康情報。 26、1362–1373 (2021)。

アラン、DKら。異種の臨床データと転帰データを使用した外傷性脳損傷の予後のための混合モデルのフレームワーク。 IEEE J. Biomed. 健康情報。 26、1285–1296 (2021)。

キャスパー、R. et al. ベイジアンネットワークモデルによる子宮内膜がんの術前リスク層別化 (ENDORISK): 開発および検証研究。 PLoS医学。 17、e1003111 (2020)

Tommaso, G. et al. イタリアのクレマの入院患者における SARS-COV-2 併存疾患ネットワークと転帰。 PLoS One 16、e0248498 (2021)。

Huan、Q.ら。治癒切除後の肺門周囲胆管癌の早期再発を予測するための機械学習ラジオミクス。肝臓内科 41、837–850 (2021)。

記事 Google Scholar

ラモン、C.ら。大規模な機械学習手法を使用したアルツハイマー病のリスク評価。 PLoS One 8、e77949 (2013)。

アレクセイ、T.ら。単純 X 線写真と臨床データからのマルチモーダル機械学習ベースの変形性膝関節症の進行予測。科学。議員9号、20038年（2019年）。

マイケル、JD 他前立腺がんの進行を高度に予測するアルゴリズムベースの検査を定義する、新しい自動グリーソングレードおよび分子プロファイルの開発と検証。前立腺がん前立腺疾患 21、594–603 (2018)。

記事 Google Scholar

Perotte, A.、Ranganath, R.、Hirsch, JS、Blei, D.、Elhadad, N. 異種電子健康記録データと時系列分析を使用した慢性腎臓病進行のリスク予測。混雑する。医学。情報准教授 22、872–880 (2015)。

記事 Google Scholar

Lei, Y.、Yalin, W.、Paul, MT、Vaibhav, AN & Jieping, Y. 不完全な複数の異種神経画像データの共同解析のためのマルチソース特徴学習。ニューロイメージ 61、622–632 (2012)。

記事 Google Scholar

Yanbo, X.、Siddharth, B.、Shriprasad, RD、Kevin, OM & Jimeng, S. RAIM: 多峰性患者モニタリングデータの反復的かつ集中的なモデル。知識発見とデータマイニングに関する ACM SIGKDD 国際会議議事録 2565 ～ 2573 (Association for Computing Machinery、2018)。

Yixue, H.、Mohd, U.、Jun, Y.、Hossain, MS、Ahmed, G. リカレント畳み込みニューラルネットワークに基づくマルチモーダル疾患リスク予測。未来のジェネレーター。コンピュータシステム 92、76–83 (2019)。

記事 Google Scholar

Shinichi, G. 他人工知能を活用した、心電図と心エコー図を使用した心アミロイドーシスの完全自動検出。ナット。共通。 12、2726 (2021)。

Rui, Y. 他マルチモーダルデータに基づく乳がん分類のためのより豊富な融合ネットワーク。 BMC医学。知らせる。決定。マック。 21、134 (2021)。

Li, Y.、Wang, H. & Luo, Y. 医用画像とレポートにわたるマルチモーダル表現学習のための事前トレーニング済み視覚および言語モデルの比較。 2020 IEEE 国際会議バイオインフォーム。生物医学 (BIBM) 2020 1999–2004 (2020)。

Sara Bersche、G. 他心不全患者の 30 日間の再入院のリスクを予測する機械学習モデル: 電子医療記録データの遡及分析。 BMC医学。知らせる。決定。マック。 18、44 (2018)。

Chowdhury, S.、Zhang, C.、Yu, PS & Luo, Y. ヘルスケアにおける表現学習のための混合プーリングマルチビューアテンションオートエンコーダ。プレプリントは https://arxiv.org/abs/1910.06456 (2019) にあります。

Ilan, S. et al. マルチモーダルデータから健康と病気の新しい兆候を特定するための教師なし学習アプローチ。ゲノム医学。 12、7 (2020)。

Chowdhury, S.、Zhang, C.、Yu, PS & Luo, Y. Med2Meta: メタ埋め込みによる医療概念の表現の学習。 HEALTHINF 2020、369–376 (2020)。

Google スカラー

Subramanian V、Do MN、Syeda-Mahmood T. 肺がん再発予測のためのイメージングとゲノミクスのマルチモーダル融合、IEEE 17th International Symposium on Biomedical Imaging (ISBI)、804–808、(2020)。

ミケーレ、D. et al. 神経画像ベースの診断のための異種データソースの結合: 重要なものを再重み付けして選択します。ニューロイメージ 195、215–231 (2019)。

記事 Google Scholar

Yiwen, M.、William, S.、Michael, KO & Corey, WA うつ病を予測するためにマルチモーダル電子健康記録データを使用して変圧器から学習した双方向表現。 IEEE J. Biomed. 健康情報。 25、3121–3129 (2021)。

記事 Google Scholar

Xing、T.ら。非小細胞肺がん患者の組織学的サブタイプを術前に予測するためのマルチモーダル MRI ベースのラジオミクスシグネチャの作成。バイオメッド。エンジニアリングオンライン 19、5 (2020)。

Kathleen, CF、Kristina Lundholm, F.、Marie, E.、Fredrik, Ö & Dimitrios, K. カスケード分類子を使用したマルチモーダル言語データからの MCI ステータスの予測。フロント。神経科学の老化。 11、205 (2019)。

アミール・ホセイン、Y. 他ソーシャルメディアにおけるマルチモーダルなメンタルヘルス分析。 PLoS One 15、e0226248 (2020)。

Ye, J.、Yao, L.、Shen, J.、Janarthanam, R.、Luo, Y. 機械学習と臨床記録を使用した重症糖尿病患者の死亡率の予測。 BMC医学研究所決定。マック。 20、1–7 (2020)。

CAS Google スカラー

Navodini, W.、Mobarakol, I.、Hongliang, R. 神経膠芽腫の全生存予測のためのラジオゲノミクスモデル。メッドバイオル。工学 Comput 58、1767–1777 (2020)。

記事 Google Scholar

ソラーレ、T. et al. 縦断的研究におけるアルツハイマー病の予測のための分散マルチタスク多峰性アプローチ。ニューロイメージ 206、116317 (2020)。

Luo, Y. et al. 高血圧の表現型と遺伝子型をハイブリッド非ネガティブ行列因数分解で統合します。バイオインフォマティクス 35、1395–403 (2019)。

論文 CAS PubMed Google Scholar

Jae Hyun, Y.、Johanna Inhyang, K.、Bung Nyun, K. & Bumseok, J. 注意欠陥/多動性障害の特徴的な特徴の探索: マルチモーダル MRI および候補遺伝子データからの発見。脳画像動作。 14、2132–2147 (2020)。

記事 Google Scholar

Chao, T.、Baoyu, L.、Jun, L.、Zhigao, Z. 異種特徴学習を備えた高度に自動化された骨格年齢評価モデル。 J.Med. システム。 42、249 (2018)。

Cheng, C. et al. XGBoost 特徴選択とスタックドアンサンブル分類器を使用して、タンパク質間相互作用の予測精度を向上させます。計算します。バイオル。医学。 123（2020）。

Xueyi、Z.ら。ディープラーニングラジオミクスは、早期乳がんにおける腋窩リンパ節の状態を予測できます。ナット。共通。 1236 年 11 月 (2020 年)。

フアン・カミロ、V.-C. 他。パーキンソン病のマルチモーダル評価: 深層学習アプローチ。 IEEE J. Biomed. 健康情報。 23、1618–1630 (2019)。

記事 Google Scholar

ピン、Z.ら。軽度認知障害患者におけるアルツハイマー病の識別変換のための深層学習ラジオミクス: 18F-FDG PET イメージングに基づく研究。フロント。神経科学の老化。 13、(2021)。

Shin, J.、Li, Y.、Luo, Y. 構造化された特徴と非構造化臨床ノートを使用した、敗血症患者の救命救急現場における死亡率の早期予測。 2021 年の IEEE バイオインフォマティクスおよび生物医学国際会議 (BIBM) 2885–2890 (IEEE、2021)。

Jayachitra, VP、Nivetha, S.、Nivetha, R. & Harini, R. マルチモーダルデータを使用して新型コロナウイルス感染症 (COVID-19) を効果的に診断するためのコグニティブ IoT ベースのフレームワーク。バイオメッド。信号処理制御 70、102960 (2021)。

トーマス、L.ら。行政請求データに基づいててんかんの併存疾患を予測するための説明可能なマルチモーダルニューラルネットワークアーキテクチャ。フロント。人工知能 4、610197 (2021)。

Alan Baronio, M.、Carla Diniz Lopes, B. & Silvio Cesar, C. 画像処理と構造化された健康データを融合した肝細胞癌のコンピュータ支援診断。健康情報。科学。システム。 9、20（2021年）

Janani, V.、Li, T.、Hamid Reza, H.、May, DW アルツハイマー病段階の早期検出のためのマルチモーダル深層学習モデル。科学。議員第 11 号、3254 (2021)。

カム・ハオ、H. 他糖尿病網膜症のリスク進行を特定するためのスキップ接続ディープネットワークの 3 部作による二峰性学習。内部。 J.Med. 知らせる。 132、103926 (2019)。

Yucheng、T.ら。コンピューター断層撮影と電子医療記録による II 型糖尿病の発症の予測。レクト。ノートの計算。科学。 12445、13–23 (2020)。

記事 Google Scholar

Rui, Y. 他ハイブリッドディープラーニング手法を使用した、乳がん分類のためのマルチモーダルデータの統合。レクト。ノートコンピュータサイエンス。 11643、460–469 (2019)。

記事 Google Scholar

Batuhan, B. & Mehmet, T. マルチモーダル学習による医療エンティティの畳み込みを使用した臨床転帰予測の改善。アーティフ。知性。医学。 117、102112 (2021)。

Esra、Z.ら。脳卒中における転帰予測のためのマルチモーダル融合戦略。 HEALTHINF 2020 - 第 13 回健康情報学国際会議、議事録; 第 13 回生物医工学システムおよび技術に関する国際合同会議、BIOSTEC 2020 421–428 (2020) の一部。

リンマ、P. et al. 異種の EHR データからの確率的表現型の学習。Ｊ．Ｂｉｏｍｅｄ．知らせる。 58、156–165 (2015)。

記事 Google Scholar

マサチューセッツ州レオンら。パラメトリックベイジアンマルチタスク学習を使用した縦断イメージングバイオマーカーのモデル化。ハム。脳マップ。 40、3982–4000 (2019)。

記事 Google Scholar

パリス・アレクサンドロス、L. 他最近発症した精神病とうつ病の不均一性と分類: マルチモーダルな機械学習アプローチ。統合失調症。ブル。 47、1130–1140 (2021)。

記事 Google Scholar

ニコラオス、K.ら。精神病の臨床的高リスク状態にある個人、または最近発症したうつ病のある個人の機能的転帰の予測モデル: マルチモーダル、マルチサイト機械学習分析。 JAMA 精神医学 75、1156–1172 (2018)。

記事 Google Scholar

Dongdong, S.、Minghui, W. & Ao, L. 多次元データを統合することによるヒト乳がんの予後予測のためのマルチモーダルディープニューラルネットワーク。 IEEE/ACM トランス。生物学を計算します。バイオインフォーム。 16、841–850 (2019)。

記事 Google Scholar

カレン、SA et al. 多峰性の神経精神医学データに基づいて、初期抗精神病薬未投与の統合失調症患者における短期および長期の治療反応を堅牢かつ信頼性の高い予測するための機械学習フレームワーク。トランスレーショナル精神医学 10、276 (2020)。

サン、M.ら。臨床記録と構造化された多変量生理学的測定値を使用して、救命救急現場での急性腎障害を早期に予測します。スタッド。ヘルステクノロジー。情報 264、368–372 (2019)。

Google スカラー

Dennis, SR、Simuni, T. & Luo, Y. パーキンソン病の予測モデルにより、進行サブタイプの候補遺伝子セットが明らかになりました。 2020 IEEE 国際会議バイオインフォマ。生物医学 (BIBM) 2020、417–420 (2020)。

ミン、Ｘら。後期融合学習によるマルチモーダル機能を使用して、新型コロナウイルス感染症、その他のウイルス感染症、健康な人を正確に区別します。 J.Med. インターネット解像度 23（2021）。

Min, C.、Yixue, H.、Kai, H.、Lin, W.、Lu, W. 医療コミュニティからのビッグデータに対する機械学習による病気の予測。 IEEE Access 5、8869–8879 (2017)。

記事 Google Scholar

Keyang, X. et al. 自動化された ICD コーディングのためのマルチモーダル機械学習。手順マッハ。学ぶ。解像度 106、1–17 (2019)。

Google スカラー

Liuqing, Y. et al. アルツハイマー病の深層学習ベースのマルチモーダル進行モデリング。統計バイオ医薬品。解像度 13、337–343 (2021)。

記事 Google Scholar

Peng、L.ら。膀胱尿路上皮癌の臨床転帰を予測するためのラジオゲノミクスシグネチャー。ユーロ。無線。 30、547–557 (2020)。

記事 Google Scholar

Md Sirajus, S. et al. 新生児の術後疼痛評価のためのマルチモーダル時空間深層学習アプローチ。計算します。バイオル。医学。 129、104150 (2021)。

Jian, X. et al. 緑内障性視神経障害の検出における視野と乳頭周囲円形OCTスキャンを使用したマルチモーダル機械学習。眼科学 129、171–180 (2021)。

Google スカラー

Dai, Y.、Yiqi, Z.、Yang, W.、Wenpu, Z.、Xiaoming, H. 改善された畳み込みニューラルネットワークに基づくパーキンソン病の異種データの補助診断。マルチメッド。ツールアプリケーション 79、24199–24224 (2020)。

記事 Google Scholar

誠、N. 他マルチモーダルディープラーニングモデルを使用したアクセサリーパスウェイ分析。科学。議員番号 11、8045 (2021)。

Wenhuan, Z.、Anupam, G.、Daniel, HH 高度な機械学習手法を応用して、新型コロナウイルス感染者からの拡張されたマルチモーダルなデータを分析することについて。計算 9、1–15 (2021)。

Google スカラー

Jeremy, AT、Kit, ML & Marta, IG 機械学習による精神病症状の多次元予測。ハム。脳マップ。 41、5151–5163 (2020)。

記事 Google Scholar

Hossam, F.、Maria, H.、Mohammad, F.、Haya, E. & Alaa, A. 遠隔医療のための、患者の医学的質問と構造化された症状に基づくインテリジェントな複合医療診断システム。知らせる。医学。ロック解除 23、100513 (2021)。

Md Ashad、A. 他マルチモーダルデータセット内の高次相互作用を検出するためのカーネルマシン法: 統合失調症への応用。 J. Neurosci. 方法 309、161–174 (2018)。

記事 Google Scholar

Luo, Y. et al. 多次元の精密医療アプローチにより、脂質異常症を特徴とする自閉症のサブタイプが特定されます。ナット。医学。 26、1375–1379 (2020)。

論文 CAS PubMed Google Scholar

Shaker, E.-S.、Jose, MA、Islam、SMR、Ahmad, MS、Kyung Sup, K. アルツハイマー病の説明可能な人工知能に基づく多層マルチモーダル検出および予測モデル。科学。議員 11、2660 (2021)。

Shih Cheng, H.、Anuj, P.、Roham, Z.、Imon, B. & Matthew, PL CT イメージングと電子医療記録を活用するためのディープニューラルネットワークとのマルチモーダル融合: 肺塞栓症検出のケーススタディ。科学。議員 10、22147 (2020)。

Yao, L.、Mao, C. & Luo, Y. ルールベースの機能と知識誘導型畳み込みニューラルネットワークを使用した臨床テキスト分類。 BMC医学。情報決定。マック。 19、71 (2019)。

記事 CAS Google Scholar

Velupillai, S. et al. 健康転帰研究のための臨床自然言語処理の使用: 概要と将来の進歩のための実用的な提案。Ｊ．Ｂｉｏｍｅｄ．情報 88、11–19 (2018)。

記事 Google Scholar

Luo、Y.、Uzuner、Ö。 & Szolovits, P. グラフアルゴリズムによるセマンティクスと構文の橋渡し — 生物医学関係を抽出する最先端の技術。簡単な。バイオインフォーム。 18、160–178 (2016)。

記事 PubMed PubMed Central Google Scholar

Zeng, Z.、Deng, Y.、Li, X.、Naumann, T. & Luo, Y. EHR ベースの計算表現型解析のための自然言語処理。 IEEE/ACM トランス。生物学を計算します。バイオインフォーム。 16、139–153 (2018)。

記事 PubMed PubMed Central Google Scholar

ニコラオス、K.ら。臨床的高リスク症候群および最近発症したうつ病を持つ患者の精神病を予測するためのマルチモーダル機械学習ワークフロー。 JAMA 精神医学 78、195–209 (2021)。

記事 Google Scholar

ピーターセン、RC 他。アルツハイマー病神経画像イニシアチブ (ADNI): 臨床的特徴付け。神経学 74、201–209 (2010)。

記事 PubMed PubMed Central Google Scholar

ワインスタイン、JN 他がんゲノムアトラス汎がん解析プロジェクト。ナット。ジュネット。 45、1113 (2013)。

記事 PubMed PubMed Central Google Scholar

Christopher, JK、Alan, K.、Mustafa, S.、Greg, C.、Dominic, K. 人工知能で臨床効果をもたらすための主な課題。 BMC医学。 17、195 (2019)。

マイケル、AM 他 2016 年国際皮膚画像コラボレーション国際シンポジウム生物医学画像チャレンジの結果: 皮膚科医によるダーモスコピー画像からの黒色腫診断におけるコンピューターアルゴリズムの精度の比較。混雑する。アカド。ダーマトール。 78、270–7.e1 (2018)。

記事 Google Scholar

Jannin、PGC & Gibaud、B. NDT データ融合の医療応用 (Springer、2001)。

Guang, Y.、Qinghao, Y.、Jun, X. マルチモーダルおよびマルチセンターのデータ融合による医療説明可能な AI のブラックボックスを解き明かす: ミニレビュー、2 つのショーケースとそれ以降。情報フュージョン 77、29–52 (2022)。

記事 Google Scholar

Zhang, Z.、Sejdić, E.、放射線画像と機械学習: 傾向、展望、展望。計算します。バイオル。医学。 108、354–370 (2019)。

David, L.、Enrico, C.、Jessica, C.、Parina, S.、Farah, M. 臨床医の意思決定をサポートするために機械学習がどのように組み込まれるか: FDA 承認の医療機器の分析。 BMJヘルスケアインフォーム。 28、e100301 (2021)。

Luo, Y.、Szolovits, P.、Dighe, AS、Baron, JM 機械学習を使用して臨床検査結果を予測します。午前。Ｊ．クリン．パソル。 145、778–788 (2016)。

論文 PubMed Google Scholar

Thakur, S.、Choudhary, J. & Singh、DP Systems 435–443 (Springer、2021)。

Luo, Y.、Szolovits, P.、Dighe, AS & Baron, JM 3D-MICE: 複数の分析物の縦断的臨床データに対する横断的および縦断的代入の統合。混雑する。医学。知らせる。准教授 (JAMIA) 25、645–653 (2017)。

記事 Google Scholar

Xue, Y.、Klabjan, D.、Luo, Y. 時間次元を持つ臨床データの混合ベースの多重代入モデル。 2019 IEEE ビッグデータ国際会議 (ビッグデータ) 2019 245–252 (IEEE、2019)。

Cao、W.ら。 Brits: 時系列の双方向リカレント Rmputation。 NeurIPS、31 (2018)。

Luo, Y. 臨床データの欠損データ補完における最先端技術の評価。簡単な。バイオインフォーム。 23、bbab489（2022）。

論文 PubMed Google Scholar

Zhao, Q.、Adeli, E.、Pohl, KM 医療アプリケーション向けの交絡因子のない深層学習モデルのトレーニング。ナット。共通。 11、1–9 (2020)。

記事 Google Scholar

Luo, Y. & Mao, C. ScanMap: 多遺伝子リスクモデリングのための教師あり交絡認識非負行列因数分解。ヘルスケアのための機械学習カンファレンスにて。 2020: PMLR 27–45 (2020)。

Kalavathy, R. & Suresh, RM 電子医療記録から有害事象を報告するためのファーマコビジランス。Ｊ．Ｃｈｅｍ．薬局。科学。 2015、188–191 (2015)。

Google スカラー

Luo, Y. et al. EHR ベースのファーマコビジランスのための自然言語処理: 構造化されたレビュー。麻薬金庫。 https://doi.org/10.1007/s40264-017-0558-6 (2017)。

Segura Bedmar, I.、Martínez, P. & Herrero Zazo, M. Semeval-2013 タスク 9: 生物医学テキストからの薬物間相互作用の抽出 (ddiextraction 2013)。 2013: 計算言語学協会 (2013)。

Hammann, F. & Drewe, J. 潜在的な有害な薬物間相互作用のデータマイニング。専門家の意見。薬物メタブ。有毒。 10、665–671 (2014)。

論文 CAS PubMed Google Scholar

ドナ、MF 他米国老年医学会は 2019 年に、高齢者における不適切な薬物使用の可能性に関する AGS ビールの基準を更新しました。混雑する。ジェリアトル。社会 67、674–694 (2019)。

Google スカラー

Obermeyer, Z.、Powers, B.、Vogeli, C. & Mullainathan, S. 人口の健康を管理するために使用されるアルゴリズムにおける人種的偏見を分析します。サイエンス 366、447–53。（2019年）。

論文 CAS PubMed Google Scholar

Wang, H. et al. 機械学習を使用して社会行動因子を統合し、心血管関連の死亡リスクを予測します。スタッド。ヘルステクノロジー。情報 264、433–437 (2019)。

Google スカラー

Christof, E. 業界におけるオープンソースソフトウェア。 IEEE ソフトウェア。 25、52–53 (2008)。

記事 Google Scholar

ロバート、MS なぜオープンソースソフトウェアを開発するのでしょうか? 非金銭的利益、金銭的報酬、およびオープンソースライセンスタイプの役割。オックスフ。 Rev. 経済政策 23、605–619 (2007)。

記事 Google Scholar

Luo, Y.、Wunderink, RG & Lloyd-Jones, D. 医療におけるプロアクティブな機械学習とリアクティブな機械学習: 新型コロナウイルス感染症 (COVID-19) のパンデミックからの教訓。 JAMA 327、623–624 (2022)。

論文 CAS PubMed Google Scholar

Ke、G.ら。 LightGBM: 非常に効率的な勾配ブースティングデシジョンツリー。上級神経情報プロセスシステム 30（2017）。

Derara Duba, R.、Taye Girma, D.、Achim, I. & Worku Gachena, N. 勾配ブースティングマシン (Lightgbm) を使用した糖尿病の診断。診断 11、1714 (2021)。

Xiaolei, S.、Mingxi, L.、Zeqian, S. LightGBM に基づく新しい暗号通貨価格トレンド予測モデル。金融。解像度レット。 32、101084 (2020)。

記事 Google Scholar

Dongzi, J.、Yiqin, L.、Jiancheng, Q.、Zhe, C. & Zhongshu, M. SwiftIDS: LightGBM および並列侵入検知メカニズムに基づくリアルタイム侵入検知システム。計算します。安全です。 97、101984 (2020)。

記事 Google Scholar

ウィルキンソン医学博士ら。科学データの管理と管理に関する FAIR の基本原則。 Nature 3、160018 (2016)。

Google スカラー

Weissler、EH、他。臨床研究における機械学習の役割: 証拠生成の未来を変える。トライアル 22、537 (2021)。

Pratik, S. et al. 臨床開発における人工知能と機械学習: トランスレーショナルな視点。 npjデジタルメディカル 2、69 (2019)。

Inna, K. & Simeon, S. 公共医療における機械学習ソリューションの解釈可能性: CRISP-ML アプローチ。フロント。ビッグデータ 4、660206 (2021)。

Marx, V. 今年のメソッド: 空間分解トランスクリプトミクス。ナット。方法 18、9 ～ 14 (2021)。

論文 CAS PubMed Google Scholar

Zeng, Z.、Li, Y.、Li, Y. & Luo, Y. 空間的に分解されたトランスクリプトミクスデータ分析のための統計的および機械学習の手法。ゲノムバイオル。 23、1–23。（2022年）。

記事 Google Scholar

Longo, SK、Guo, MG、Ji, AL & Khavari, PA 単一細胞と空間トランスクリプトミクスを統合して細胞間組織動態を解明します。ナット。ジュネ牧師。 22、627–644 (2021)。

論文 CAS PubMed Google Scholar

スコーピングレビュー用の PRISMA 拡張機能 (PRISMA-ScR): チェックリストと説明。アン。インターン。医学。 169 467–473 (2018)。

リファレンスをダウンロードする

この研究は、YL への NIH 助成金 U01TR003528 および R01LM013337、および FC への AG073323 によって一部支援されています。

予防医学部門、ノースウェスタン大学、シカゴ、60201、イリノイ州、米国

エイドリアン・クライン、ハンイン・ワン、イークアン・リー、サヤ・デニス、メーガン・ハッチ、ユアン・ルオ

コーネル大学人口健康科学部、ニューヨーク、10065、ニューヨーク、米国

シュー・ジェンシン＆ワン・フェイ

クリーブランドクリニックラーナー医科大学、ケースウェスタンリザーブ大学、クリーブランド、44195、オハイオ州、米国

フェイシオン・チェン

PubMed Google Scholar でこの著者を検索することもできます

AK はレビュープロセスを主導し、データ抽出の実行、計算分析、図の生成、書き込み、ダッシュボードの作成を実行しました。 HW、YL、SD、MHはデータ抽出を行いました。 ZX は研究の限界を総合しました。 FW と FC は校正とコンテンツのキュレーションを実行しました。 YL はレビューを考案し、レビュープロセスを監督し、必要なフィードバック、校正、コンテンツのキュレーションを提供しました。

袁羅氏への手紙。

著者らは競合する利害関係を宣言していません。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープンアクセスこの記事はクリエイティブコモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブコモンズライセンスへのリンクを提供し、変更が加えられたかどうかを示します。この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブコモンズライセンスに含まれています。素材が記事のクリエイティブコモンズライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Kline、A.、Wang、H.、Li、Y. 他。高精度医療におけるマルチモーダル機械学習: 範囲のレビュー。 npj 数字。医学。 5、171 (2022)。 https://doi.org/10.1038/s41746-022-00712-8

引用をダウンロード

受信日: 2022 年 6 月 20 日

受理日: 2022 年 10 月 14 日

公開日: 2022 年 11 月 7 日

DOI: https://doi.org/10.1038/s41746-022-00712-8

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

npj デジタルメディシン (2023)

ニュース

高精度医療におけるマルチモーダル機械学習: 範囲のレビュー