UnMICST: 人体組織の高度に多重化された画像の堅牢なセグメンテーションのための実際の拡張を備えた深層学習

Communications Biology volume 5、記事番号: 1263 (2022) この記事を引用

2494 アクセス

1 引用

7 オルトメトリック

メトリクスの詳細

今後のテクノロジーにより、研究と診断のために、高度に多重化された (20 ～ 60 チャンネル) 細胞以下の解像度の哺乳動物組織画像を日常的に収集できるようになります。 このような画像から単一細胞データを抽出するには、正確な画像セグメンテーションが必要ですが、これはディープラーニングで一般的に取り組む困難な問題です。 この論文では、さまざまな機械学習アーキテクチャを使用して組織の画像セグメンテーションを大幅に改善する 2 つの発見を報告します。 まず、意図的に焦点をぼかし飽和させた画像をトレーニング データに含めることで、その後の画像セグメンテーションが大幅に改善されることが予想外にわかりました。 このような実際の拡張は、計算による拡張 (ガウスぼかし) よりも優れています。 さらに、抗体カクテルを使用して複数の組織の核膜を画像化することが実用的であり、それにより核の輪郭をより適切に識別し、セグメンテーションを改善できることがわかりました。 2 つのアプローチにより、広範囲の組織タイプのセグメンテーションが累積的かつ大幅に改善されます。 私たちは、実際の拡張機能の使用は、顕微鏡以外の画像処理にも応用できると推測しています。

組織や腫瘍を組織する細胞の種類、基底膜、および結合構造は、細胞内小器官から臓器全体 (<0.1 ～ >104 μm) にわたる長さのスケールで存在します。 免疫組織化学 1 によって補完されたヘマトキシリンおよびエオシン (H&E) を使用した顕微鏡法は、組織構造の研究において長い間主要な役割を果たしてきました 2,3。 さらに、臨床組織病理学は、癌などの疾患を臨床的に病期分類し、管理するための主要な手段であり続けています4。 しかし、古典的な組織学では、細胞サブタイプを正確に特定し、発生メカニズムを研究し、疾患遺伝子を特徴づけるための分子情報が不十分です。 正常組織および疾患組織のハイプレックス イメージング (補足表 1)5、6、7、8、9 (空間プロテオミクスと呼ばれることもあります) により、20 ～ 60 種類の抗原の存在量に関する細胞内分解能データが得られます。これは、細胞の種類を識別するのに十分です。細胞の状態（静止、増殖、死滅など）を測定し、細胞シグナル伝達経路を調べます。 ハイプレックスイメージングは​​、保存された 3D 環境における組織の完全性にとって不可欠な無細胞構造の形態と位置も明らかにします。 ハイプレックス イメージング方法は、解像度、視野、多重度 (プレックス) が異なりますが、いずれも組織切片の 2D 画像を生成します。 現在の実践では、これらの厚さは通常 5 ～ 10 μm です。

多重画像をセグメント化して定量化すると、得られる単一細胞データは、単一細胞 RNA シーケンス (scRNASeq) データを自然に補完するものとなり、正常細胞と疾患細胞および組織の理解に劇的な影響を与えてきました 10,11。 ただし、解離性 RNASeq とは異なり、多重組織イメージングでは形態および空間情報が保存されます。 ただし、ハイプレックス イメージング データは、これまでの生物学に焦点を当てたマシン ビジョン システムの主な重点である培養細胞の画像よりも、コンピューターによる分析が大幅に困難です。 特に、イメージング データの単一細胞分析にはセグメンテーションが必要です。セグメンテーションは、インスタンスまたはピクセル単位で画像にクラス ラベルを割り当て、画像を細分化するコンピューター ビジョン技術です。 次に、得られたセグメンテーション マスクを使用して、マスクによって識別された各オブジェクト (細胞) 全体、またはマスクの輪郭を描くかマスクの中心にある形状 (通常は環) 全体の蛍光シグナル強度を統合することによって、さまざまなマーカーの強度を定量化します。 培養下で成長した後生動物の細胞をセグメント化する方法の開発には広範な研究が費やされていますが、細胞の密集とさまざまな細胞タイプの多様な形態のため、組織画像のセグメント化はより困難な課題です。 最近では、画像認識、物体検出、合成画像生成における畳み込みニューラル ネットワーク (CNN) の広範な使用と並行して、機械学習を使用したセグメンテーション ルーチンが標準になりました 13。 ResNet、VGG16、そして最近では UNet や Mask R-CNN14,15 などのアーキテクチャは、数百万のパラメータを学習し、データセット全体で一般化する機能により広く受け入れられています。これは、幅広いセグメンテーション コンペティションでの優れたパフォーマンスによって証明されています。公開されている画像データセット17、18を使用したハッカソンチャレンジ16でも同様です。

培養細胞と組織の両方において、ほとんどの細胞タイプには 1 つの核 (有糸分裂中の細胞、筋肉細胞、肝細胞、および破骨細胞は重要な例外です) が 1 つあり、シグナル対バックグラウンドの高い核染色があるため、核の局在化は細胞をセグメント化するための最適な開始点です。比率は広く入手可能です。 核は一般に、広視野蛍光顕微鏡の解像度（開口数 – NA – 0.9 対物レンズの場合約 0.5 μm）と比較して非常に大きい（5 ～ 10 μm）ため、複数の倍率での検出が容易です。 核は細胞のほぼ中心にも見られることがよくあります。 画像取得中に追加のマーカーを使用することには利点があります。 たとえば、Schüffler et al.19 は、マルチチャネルセグメンテーションに多重化された IMC データと分水嶺法を使用しました。 ただし、どのタンパク質がさまざまな細胞型や組織で十分に広く発現され、セグメンテーションに役立つかは明らかではありません。 Ilastik や Weka20,21 などのランダム フォレストに基づく方法は、決定木のアンサンブルを介してクラスごとのピクセル分類に複数のチャネルを利用し、画像内のピクセルごとのクラス確率を割り当てます。 ただし、ランダム フォレスト モデルの学習能力は CNN よりもはるかに低く、これが大きな欠点です。 したがって、CNN をマルチチャネル データとともに使用して核のセグメンテーションを強化する可能性は広く検討されていません。

セグメンテーション ルーチンのパフォーマンスを定量化するために、さまざまなメトリックが使用されます。 これらは、ピクセル レベルとインスタンス レベルのメトリクスに大別できます。 前者はピクセル レベルでのセグメンテーション マスクの形状と位置の重複を測定しますが、後者はマスクの有無に一致があるかどうかを測定します。 スイープ交差オーバーユニオン (IoU; Jaccard Index)16 は、ピクセルレベルのパフォーマンス指標の例です。 これは、グラウンド トゥルース アノテーションから導出されたマスクと、ピクセルの結合とピクセルの交差の比率に基づいて予測されたマスクの間のオーバーラップを測定することによって計算されます。 IoU が大きいほど精度は高くなり、理想値は 1 です (ただし、これが達成されることはほとんどありません)。 F1 スコアは、精度 (予測に正規化された真陽性) と再現率 (グランド トゥルースに正規化された真陽性) の加重平均を使用するインスタンス レベルのメトリクスの一例です。 この場合の「陽性」は、通常、予測されたマスクとグランド トゥルースの間の (ピクセル レベルでの) 50% の重複としてスコア付けされます。 したがって、マスクの形状に関する実質的な不一致に対応できます。 この文脈では、教師あり学習は人間の専門家によるグラウンドトゥルースの確立に依存していることに注意することが重要です。 以下で詳細に説明するように、組織イメージングの場合、報告されているピクセル レベルのアノテーションに関する人間の専門家間の一致レベルはわずか約 0.6 (IoU 60%) であり、専門家自身がセグメンテーション マスクの正確な形状を決定できないことを示唆しています。 (およびそれらが表すセル)。 当然のことですが、核が存在するかどうかを判断するのは比較的簡単であるため、F1 スコアなどのインスタンス レベルのメトリクスを使用して評価すると、観察者間の一致は大幅に高くなります (0.7 ～ 0.9)。 上で述べたように、ハイプレックス イメージングにおけるセグメンテーション マスクは、核、細胞質、および細胞表面タンパク質に対する抗体の統合強度を計算するために一般的に使用され、これによりマスクの形状を正確に決定することが重視されます。 したがって、多重組織画像の単一細胞解析におけるセグメンテーションの精度を評価するには、IoU などの厳格なピクセルレベルのメトリックの使用が不可欠です。

人間と計算によるセグメンテーションの精度は、元の画像の品質に大きく依存します。 実際には、人間やマウスの組織の多くの画像には焦点アーチファクト (ぼやけ) があり、一部の細胞の画像は飽和しています (カメラの線形範囲を超える強度で)。 これは、最大 1000 個の連続的に取得された画像タイルを使用して、数平方センチメートルもの大きさの標本のモザイク画像を作成するスライド全体のイメージングに特に当てはまります。 スライド全体のイメージングは​​診断の必要性 22 であり、厳密な空間分析に十分なパワーを実現するために不可欠です 23。 しかし、組織画像のセグメンテーションに関する最近の論文の多くは、その分析を最も鮮明に焦点が合った領域に限定しています。 これは論理的です。なぜなら、教師あり学習の設定では、画像が鮮明で観察者間の一致度が高い場合、トレーニング データを取得してグラウンドトゥルースを確立するのが容易だからです。 しかし、実際には、組織標本のすべての顕微鏡画像には焦点に関する問題があります。高解像度イメージングが可能な対物レンズ (高 NA レンズ) の被写界深度は、通常、標本の厚さよりも浅いため、平面の上下の物体は見えなくなります。最適な焦点がぼやけます。 人体生検標本の画像は、組織切片が常にカバー スリップと均一に同一平面上にあるわけではないため、特にぼやけや飽和アーチファクトが発生しやすいです。 人間の組織に関する研究のほとんどは診断や治療に付随して行われるため、問題のある標本を完全に拒否することはほとんどできません。 さらに、組織が崩壊しているため、以前に分析された組織切片の再画像化はほとんど不可能です。 したがって、実世界のデータを使用した画像のセグメンテーションでは、一般的な画像の収差を補正する必要があります。

画像アーティファクトを考慮してトレーニング データを拡張する最も一般的な方法は、ランダムな回転、せん断、反転などによる画像の前処理を伴う計算拡張 24 によるものです。これは、アルゴリズムが方向などの画像の無関係な側面を学習するのを防ぐように設計されています。 。 現在まで、フォーカスアーティファクトは、トレーニングデータを増強するために計算されたガウスぼかしを使用して対処されてきました25、26、27。 ただし、ガウスぼやけは、帯域通過が制限されている光学結像システム (つまり、実際の顕微鏡) に固有のぼやけに、屈折率の不一致と光散乱の影響を加えたものにすぎません。

この論文では、一般的な画像アーチファクトを含む多重組織画像において、機械学習アルゴリズムによる画像セグメンテーションの精度を最大化する方法を調査します。 私たちは、人間による複数の正常組織と腫瘍のキュレーションを通じて、グラウンドトゥルースの注釈を含む一連のトレーニング データとテスト データを生成し、これらのデータを使用して、それぞれが独立してトレーニングおよび評価された 3 つの深層学習ネットワークで達成されたセグメンテーション精度をスコアリングします。マスク R-CNN、およびピラミッド シーン解析ネットワーク (PSPNet)。 結果として得られるモデルは、細胞の識別と組織のセグメント化のためのユニバーサル モデル (UnMICST) ファミリーで構成されており、各モデルは同じトレーニング データに基づいていますが、異なるクラスの ML ネットワークに基づいています。 分析に基づいて、3 つのネットワークすべてのセグメンテーションの精度を向上させる 2 つの方法を特定しました。 1 つ目は、DNA 挿入色素を使用して取得した核クロマチンの画像に核膜染色 (NES) の画像を追加することです。 2 つ目は、実際の拡張をトレーニング データに追加して、実際の組織画像で発生するアーティファクトの種類に対してモデルをより堅牢にするために、ここでは意図的に焦点をぼかした過飽和の画像 (同じ標本から収集したもの) として定義します。 実際のデータによる拡張は従来のガウスぼかし拡張よりも大幅に優れており、モデルの堅牢性が統計的に大幅に向上していることがわかりました。 さまざまな組織タイプにわたって、NES データの追加と実際の拡張による改善が累積されます。

組織画像の教師あり機械学習における課題の 1 つは、グラウンド トゥルースのラベルが付けられた自由に入手できるデータが十分に不足していることです。 自然風景の画像 14 の経験から、ラベルの取得には時間がかかり、レートが制限される可能性があることがわかっています 28。 また、さまざまな種類の組織の細胞の核形態は、培養細胞で観察される球形や楕円形とは大きく異なることも十分に確立されています 29。 核の多形性（核のサイズと形状の変化）は、癌をグレードするために組織病理学でも使用されます 30。 核形態の変動を考慮して、7 つの異なる組織および腫瘍タイプ (肺腺癌、非腫瘍性小腸、正常前立腺、結腸腺癌、神経膠芽腫、非腫瘍性卵巣、および扁桃腺) からトレーニング、検証、およびテスト データセットを生成しました。 EMIT (Exemplar Microscopy Images of Tissue31、RRID: SCR_021052) の 12 コア、臨床廃棄物から組み立てられた組織マイクロアレイ。 組織には、大きい細胞と小さい細胞、丸い細胞と狭い細胞、密に不規則に詰まった細胞とクラスターで組織化された細胞の混合物に至るまでの核形態を有する細胞がありました。 合計約 10,400 個の核が、核の輪郭、中心、背景について人間の専門家によってラベル付けされました。 さらに、2 人の人間の専門家がヒト黒色腫の全スライド画像から 2 番目のデータセットにラベルを付け 32 、観察者間の一致レベルを確立し、トレーニング データから切り離されたテスト データセットを提供しました。

深層学習/CNN (それぞれ UNet、PSPNet、および Mask R-CNN) に基づく 2 つのセマンティック セグメンテーション アルゴリズムと 1 つのインスタンス セグメンテーション アルゴリズムを実装し、評価しました。 セマンティック セグメンテーションは、オブジェクトを個別のトレーニング済みクラスに割り当てる粗粒度の ML アプローチですが、インスタンス セグメンテーションは粒度が細かく、オブジェクトの個々のインスタンスを識別します。 これらの各モデル (それぞれ UnMICST-U、UnMICST-P、および UnMICST-M) を、7 つの異なる組織タイプから手動で収集およびラベル付けされたデータに基づいてトレーニングしました。 これらのモデルは結合されませんでしたが、どのネットワークが最高のパフォーマンスを発揮したかを判断するために個別にテストされました。

Caicedo et al.16 によって説明されている、細胞株の画像に基づいており、広く使用されている COCO データセット 33 に実装されているスイープ交差オーバーユニオン (IoU) しきい値を含む、ピクセルレベルとインスタンスレベルの両方のメトリクスを使用してパフォーマンスを評価しました。 IoU (Jaccard Index) は、2 つのマスク内のピクセルの結合に対する交差の比率を介して、グラウンド トゥルース アノテーションと予測の間のオーバーラップを測定することによって計算されます。 (IoU) しきい値は、最も厳しい 0.55 から最も厳しい 0.816 までの値の範囲で評価されます。 標準のピクセル精度メトリクス (正しく分類された画像内のピクセルの割合) とは異なり、IoU はクラスの不均衡の影響を受けません。 IoU は、ハイプレックス画像の分析におけるセグメンテーション パフォーマンスの測定に特に関連します。 マスクを使用して他のチャネルのマ​​ーカー強度を定量化する場合、特定の位置に核が存在するかどうかだけでなく、マスクのサイズと形状が正しいかどうかも考慮されます。

インスタンス レベルのメトリクスの例には、真陽性 (TP) と真陰性 (TN) があり、50% 以上重複しているかどうかに基づいて予測オブジェクトを分類します。そうでない場合は、偽陽性 (FP) および偽陰性 (FN) とみなされます。 。 これら 4 つの状態の頻度は、F1 スコアと平均精度 (AP) の計算に使用されます。 F1 スコアは、適合率 (予測に対して正規化された真陽性) と再現率 (グランド トゥルースに対して正規化された真陽性) の加重平均であり、AP は真陽性の数、グランド トゥルースの総数、および予測を考慮します。

これらの方法に期待される精度は、複数の人間の専門家に同じデータセットにラベルを付けさせ、観察者間の一致レベルを判断させることで決定されました。 我々は、ヒト黒色腫の全身画像からのデータを使用して、F1 スコアと包括的な IoU スコアの両方を使用して、観察者間の一致を評価しました 32。 独立して注釈が付けられた約 4,900 個の核境界のセットについて、2 人の経験豊富な顕微鏡技師が、平均 F1 スコア 0.78 (補足情報 1) および閾値 0.6 で 60% の IoU を達成しました。 議論では、これらのデータを最近出版された他の論文で得られた値と比較し、F1 スコアと IoU 値の不一致に対処します。 また、超人的なパフォーマンスを達成するためにこれらの値をどのように高めるかについても説明します 24,34。

実際の拡張と計算された拡張がセグメンテーション手法のパフォーマンスに及ぼす影響を研究するために、実際の拡張と計算された拡張の両方を含むさまざまなデータセットでモデルをトレーニングし、焦点が合った画像、焦点が合っていない画像、またはぼかした画像でデータをテストしました。ガウスカーネル。 データセットのサイズのバランスが崩れている場合は、そのようなインスタンスを回転拡張で補いました。 セグメンテーションの精度を IoU に基づいて定量的に評価し、画像データにオーバーレイされた予測マスクの目視検査によって定性的に評価しました。 実際の増強には、組織内で最も一般的に遭遇する種類の欠陥を含む、計算ではなく経験に基づいたトレーニング データを追加することが含まれていました。 これは、焦点面を試料の上下 3 μm に配置することで実現され、焦点のぼけた画像が得られました。 2 番目の画像セットは長時間露光で収集されたため、ピクセルの 70 ～ 80% が飽和しました。 ぼやけた画像と飽和した画像はステージ位置を変更せずに順次収集されたため、同じグランド トゥルース アノテーション セットを使用することができました。 計算による拡張では、広範囲の実験ケースをカバーするために選択された標準偏差の範囲を使用して、焦点の合った画像でガウス カーネルを畳み込みました (図 1a)。 どちらのシナリオでも、結果のモデルはトレーニング セットと同じ方法で準備されたテスト セットで評価されました。

ガウスぼかしまたは焦点ぼけ画像データでトレーニングされたモデル上のテスト画像を比較するアプローチを示す概略図。 コントラスト確率マップが高いほど信頼性が高いことを示します。対象領域は赤い矢印で強調表示されます。 対応する確率マップは、焦点をぼかした画像でトレーニングしたモデルの方が、ガウスぼかしモデルよりも焦点をぼかしたテスト画像で優れたパフォーマンスを発揮することを示しています。 スケールバーは 20 μm を示します。 b プロットは、UnMICST-U、UnMICST-M、および UnMICST-P について、実際の拡張 (赤い曲線) をトレーニング セットに組み込んだ方が、ガウスぼかし (黄色の曲線) および実際の拡張なし (青い曲線) を使用したトレーニング セットよりも統計的に有意に優れていることを示しています。 。 ガウスぼかしを使用して焦点のぼけた画像をシミュレートすることは、トレーニング データをまったく拡張しないことよりもわずかに優れているだけです。 c デフォーカスされた拡張 (赤い曲線) を 90 度および 180 度の回転 (青い曲線) に置き換えることによってトレーニング データセットのサイズが一定に保たれた場合の UnMICST-U モデルの精度を比較します。 エラーバーは平均値の標準誤差です。

最初の一連の研究では、ガウスぼかしで強化されたトレーニング データを使用して作成されたモデルが、ガウスぼかしテスト データで良好に機能することがわかりました。 ただし、焦点がぼけて飽和した画像を含むテストデータに対して評価した場合、ガウスぼかし増強により、増強のないベースライン モデルと比較して精度がわずかに向上するだけであることがわかりました (図 1b)。 対照的に、実際の拡張を追加したトレーニング データを使用すると、IoU しきい値 0.6 で保持されるセルの割合が 40 ～ 60% 増加しました。 3 つの学習フレームワーク (UnMICST-U、UnMICST-M、および UnMICST-P モデル) すべてで、IoU カットオフ 0.8 まで統計的に有意な改善が観察されました。 バランスの取れた比較を実行するために、同じ数の画像を持つ 2 つのトレーニング データ セットを作成しました。 最初のセットには元のデータと計算された 90 度および 180 度の回転が含まれ、2 番目のセットには元のデータと標本の上下から収集された焦点のぼかされたデータが含まれていました。 ここでも、実際の拡張でトレーニングされたモデルは、焦点を外したテストデータでテストした場合、回転拡張モデルよりも大幅に優れたパフォーマンスを発揮することがわかりました (図 1c)。 したがって、実際の拡張を使用して 3 つの異なる深層学習アーキテクチャのいずれかをトレーニングすると、一般的に発生するアーティファクトを含むテスト データを使用して計算拡張を使用したモデルよりも優れたパフォーマンスを発揮するモデルが生成されました。

TMA パネル (組織および腫瘍の模範顕微鏡画像 (EMIT) TMA) を染色したところ、ラミン A および C (図 2a) (LMNA 遺伝子の異なるスプライス形態) に対する抗体は約半分しか染色されないことがわかりました。ラミンB1（図2b）またはラミンB2（図2c）（LMNB1およびLMNB2遺伝子の産物）に対する抗体としての核。 ラミン B 受容体の染色 (図 2e) では、画像のコントラストが不十分でした。 汎組織調査により、ヌクレオポリンNUP98（図2d）と同じ蛍光色素（Alexafluor-647）に結合したラミンB2に対する抗体の混合物により、複数の組織にわたるほぼすべての核の核膜染色（NES）が生成されたことが示されました（図2f） –h)。 これが最適な抗体カクテルであると判断しました。 しかし、培養上皮細胞の核層に特徴的なリング状構造を示したのは、一部の細胞型、たとえば結腸直腸腺癌の上皮だけでした。 免疫細胞やその他の細胞の核膜にはひだや陥入があり 35、我々のデータでは、NES 染色は不規則で拡散している可能性があり、組織内で広く有用な NES 染色を見つけることの難しさをさらに強調しています。

a ラミン A/C、b ラミン B1、c ラミン B2、d NUP98、および e ラミン B 受容体を同じ視野内に表示します。 ラミン B1 と B2 は同様の割合の核を染色するようですが、ラミン A/C はより少ない核を染色します。 ラミンＢ受容体に対する染色は比較的弱かった。 ラミン B2 (f) と NUP98 (g) は相補的であり、組み合わせて使用​​すると、染色される細胞の数が最大になります。 h ラミンB2（紫）とNUP98（緑）の複合体。 スケールバーは 100 μm を示します。

モデルのパフォーマンスに対する NES 画像の価値は、定量的および定性的に評価されました。 結腸腺癌、非腫瘍性小腸、および扁桃腺組織の画像では、NES 画像を追加すると、3 つの学習フレームワークすべてで IoU に基づくセグメンテーションの精度が大幅に向上することがわかりました。 肺腺癌などの他の組織における改善はより穏やかで散発的でした (図 3a、肺)。 前立腺がん組織の線維芽細胞の核分割では、NES データを備えた UnMICST-U および UnMICST-M モデルは、DNA 染色のみでトレーニングされたモデルと同等でした。 最も印象的だったのは、NES データがパフォーマンスをわずかに低下させたケース (前立腺線維芽細胞の UnMICST-P セグメンテーションおよび神経膠芽腫の UnMICST-U セグメンテーション) でした。 UnMICST-P マスクの検査により、十分に分離された線維芽細胞核のセグメンテーションが DNA 画像のみですでに最適であることが示唆され (IoU 0.6 で核の約 60% が保持される)、NES 画像の追加ではほとんど改善が得られないことが示唆されました。 神経膠芽腫における UnMICST-U マスクでは、問題は非定型 NES 形態に関係しているようであり、これは高レベルの核多形性と巨細胞の存在と一致しており、どちらも高悪性度神経膠芽腫の十分に確立された特徴です 36,37。 また、NES データ単独ではトレーニング データの唯一のソースとして DNA 染色よりも劣るため、DNA の画像と組み合わせて使用​​する必要があることにも注意してください (補足情報 2)。 したがって、NES をトレーニング データに追加すると、広範囲ではありますが、セグメンテーションの精度が向上します。

NES – 核膜染色。 組織ごとおよびモデルごとに、セグメンテーション精度に関する DNA への 2 番目のマーカーとしての NES の追加を評価します。 a フレームワーク全体で DNA のみのモデル (青い曲線) と DNA + NES モデル (赤い曲線) を比較した変数 IoU プロット。 NES を追加すると、結腸、小腸、扁桃腺、およびある程度の肺組織などの密集した核の精度が向上しました。 エラーバーは平均値の標準誤差です。 b DNA と NES で染色した組織のさまざまな形態を比較した代表的なグレースケール画像。その後、UnMICST-U マスク予測 (緑色) をグラウンド トゥルースの注釈 (紫色) に重ねて表示します。 前立腺組織の線維芽細胞など、核がまばらな組織では、NES は DNA 単独に追加の利点を追加しませんでした。 神経膠芽腫のように、NES が特徴的な核輪を示さない組織では、同様に精度は改善されませんでした。 スケールバーは 20 μm を示します。

モデルのトレーニング中に実際の拡張と NES を組み合わせて、どちらかのタイプのデータを単独で使用した場合と比較して優れたセグメンテーション精度を達成できるかどうかを判断するために、4 つの異なるシナリオの下でモデルをトレーニングおよびテストしました (3 つの学習フレームワークすべてを使用、図 4)。 私たちは、さまざまな形態を持つ核を含む組織である小腸の画像を使用し、その後、分析を他の組織タイプに拡張しました (以下を参照)。 実験の感度を高めるために、焦点を外した DNA 検査データに基づいてモデルを評価しました。 最初のシナリオでは、焦点が合った DNA 画像データを使用してベースライン モデルをトレーニングし、目に見えない焦点が合った DNA 画像でモデルをテストしました。 小腸などの組織は、核が密集しているためセグメント化が困難であり、シナリオ A ではわずかにセグメント化が不十分な予測が得られました。 シナリオ B およびその後のすべてのシナリオでは、焦点の合っていない DNA 画像がテスト セットに含まれており、グラウンド トゥルースの注釈と大幅にずれた輪郭が生じ、より過小なセグメント化が発生しました。 核が存在せずコントラストが非常に低い領域では、偽陽性の予測と核膜の不正確な局在が観察されました（図4a）。 NES 画像がトレーニング セットに含まれている場合 (シナリオ C)、偽陽性と予測された核は依然として残りましたが、核境界はグラウンド トゥルースの注釈とより一致しました。 NES 画像と実際の拡張を組み合わせた場合、ML フレームワークと組織全体で最も堅牢なパフォーマンスが観察されました。正確な核境界は、形状とサイズの両方において、グラウンド トゥルースのアノテーションと一般的によく一致していました。 セグメンテーションマスクの配置における観察可能な違いは、IoUの改善に反映されています。NESデータと実際の拡張を含む3つの深層学習フレームワークすべてで、IoU閾値0.6で保持される核の割合が50％増加しました（図4b）。 焦点の合った DNA データのみでトレーニングされた UnMICST-P (青い曲線) の精度は、すべての IoU しきい値で他の 2 つのベースライン モデルよりも高く、UnMICST-P の学習能力が優れていることを示唆しています。 UnMICST-P は、核膜の染色が困難または不可能であることが判明する実験において有利である可能性があります。

NES - 核膜染色。 a 焦点の合った DNA データのみでトレーニングされたモデルは、特に小腸などの密集した組織では、セグメント化が不十分な確率マップを生成しました (シナリオ A)。 焦点を外したデータでテストした場合、核の境界はほとんど不正確でした (シナリオ B)。 NES を追加すると、核の境界形状が復元されました (シナリオ C)。 NES と実際の拡張を組み合わせると、誤検知が減少し、グラウンド トゥルース ラベルによりよく似た核マスクが生成されました (シナリオ D)。 スケールバーは 20 μm を示します。 表の凡例は、各シナリオ A ～ D で​​使用される条件を示しています。 黄色の矢印は、NES とリアル オーグメンテーションにより精度が向上する、対象となるぼやけたセルを示します。 b グラフは、さまざまな IoU しきい値にわたって保持されるセルの数として表される精度を、UnMICST-U (上)、UnMICST-M (中央)、および UnMICST-P (下) のすべてのモデルと比較しています。 すべてのモデルにおいて、トレーニング中に NES と実際の増強を併用した場合 (黄色の曲線)、実際の増強なしで NES を使用した場合 (赤色の曲線) または DNA のみを使用した場合 (青色の曲線) に比べて、より多くの核が保持されました。 エラーバーは平均値の標準誤差です。

セグメンテーションの改善が複数の組織タイプに及ぶかどうかを判断するために、焦点の合った画像 (図 5a) と焦点の合っていない画像 (図 5b) の両方を使用したトレーニングとテストの 3 つのシナリオを使用して、上記の分析を繰り返しました。 シナリオ 1 ではトレーニングに焦点の合った DNA 画像 (青色のバー) を使用し、シナリオ 2 では焦点の合った DNA および NES 画像 (赤色のバー) を使用し、シナリオ 3 では焦点の合った DNA および NES 画像と実際の拡張 (緑色のバー) を使用しました。 改善の大きさは組織タイプとテストセットによって異なりますが（パネル a 対 b）、結果は全体として、モデルトレーニング中に NES と実際の拡張の両方を含めることで、複数の組織タイプでセグメンテーション精度が統計的に有意に向上するという結論を裏付けています。モデル。 精度の向上は、モデルのパフォーマンスが低い場合（たとえば、モデルが焦点の合っていない結腸画像データでテストされたシナリオ 1; 図 5b、青いバー）に最も大きくなり、セグメンテーションの精度は組織および細胞の種類全体で比較的均一になりました。 最終テストとして、上記のスライド黒色腫画像全体 (トレーニング データには含まれていなかった) を再検査し、IoU、AP、および F1 スコアを評価しました。 データはメトリクスに関係なく一貫しており、NES 画像と実際の拡張を含むトレーニング データを含めることで 3 つのモデルすべてが恩恵を受けることがわかりました (補足情報 3)。 ただし、精度の向上はわずかであり、肺腺癌と同様でした。 これは、肺腺癌と同様に、黒色腫には密度の低い領域があり、ベースライン モデルがすでに良好な結果を示しているという事実によるものであると考えられます。

a GBM を除くすべての組織タイプにおいて、トレーニング データに NES (ピンクのバー) を追加し、NES と組み合わせた実際の拡張機能 (緑のバー) を使用すると、DNA のみを使用した場合 (青のバー) と比較して、優れた精度が得られました。 b モデルを焦点を外したデータでテストしたところ、すべての組織 (GBM を含む予想外) で、NES (ピンクのバー) と実際の増強 (緑色のバー) を組み合わせた使用による利点が示されました。 折れ線グラフは、パネル (a) の焦点の合ったデータでテストした場合に各組織で達成される最高の精度を示しています。

代表的な UnMICST モデルで達成可能な全体的な改善を調査するために、実際の拡張または計算による拡張と、焦点の合った画像、飽和した画像、および焦点の合っていない画像を含む 6 つの組織すべての NES データをセットとして使用した場合と使用しない場合の UnMICST-U をテストしました。それぞれの場合のトレーニング データの総量)。 完全にトレーニングされたモデル（つまり、NES データと実際の拡張を使用した場合、図 6a）では、IoU 0.6 で精度の 1.7 倍の向上が観察されました。 セグメンテーション マスクの検査では、さまざまな形状にわたる原子核の輪郭がより正確であることも実証されました。 全体的な精度の向上は、セマンティック セグメンテーション フレームワークとインスタンス セグメンテーション フレームワークの間で観察されたどの差よりも大幅に大きくなりました。 したがって、私たちはその後の作業を最も広く使用されているフレームワークである U-Net に集中させました。

a NES (核膜染色) の有無にかかわらずトレーニングされた UnMICST-U モデルの精度は、DNA 単独と比較して向上し、実際の拡張は計算ぼかし (GB; ガウスぼかし) と比較して向上します。 トレーニング データセットのサイズのバランスをとるために、NES データの代わりに GB が使用され、実際の拡張の代わりに計算された 90/180° 回転が使用されました。 エラーバーは平均値の標準誤差です。 b EMIT データセットからの非腫瘍性小腸 TMA コアの 64 プレックス CyCIF 画像。 破線のボックスは、パネル (d、e) の関心領域を示します。 c 14 のマーカータンパク質の単一細胞染色強度を使用した UMAP 投影 (方法を参照)。 データ ポイントの色は、すべてのセグメント化された核にわたる E-カドヘリン (左上) または CD45 (左下) の強度を表します。 HDBSCAN を使用した密度ベースのクラスタリングにより、E-カドヘリンまたは CD45 のいずれかが陽性である個別のクラスター (それぞれが異なる色で示される) と、少数の二重陽性細胞 (青い破線の円) が特定されました。 d b の黄色の破線ボックスの拡大領域。DNA チャネル (緑) 上に重ねられたセグメンテーション マスクの輪郭 (マゼンタ) を示しています。 e 同じ領域の DNA、E-カドヘリン、CD45 の複合画像。 セグメンテーションからの核重心は茶色の点で示されます。 E-カドヘリンとCD45の両方に陽性の細胞（パネルcの青い破線の円からは黄色の矢印と黄色の点でマークされています。挿入図：重複する免疫細胞と上皮細胞を示すボックス領域の拡大図）。

また、EMIT TMAからの非腫瘍性小腸組織の64プレックスCyCIF画像で完全に訓練されたUnMICST-Uモデルをテストしました（図6b）。 染色強度を細胞ごとに定量化し、結果を均一多様体近似および投影法 (UMAP; 図 6c) を使用して視覚化しました。 セグメンテーション マスクは適切に配置されており、過小または過大なセグメンテーションの証拠はほとんどないことがわかりました (図 6d)。 さらに、分節化された核を有する細胞の 21% が免疫細胞マーカー CD45 について陽性に染色され (ガウス混合モデルを使用して決定)、53% が上皮細胞マーカー E-カドヘリンについて陽性に染色されたのに対し、陽性であった細胞は 3% 未満でした。両方のための。 実際に CD45 と E-カドヘリンの両方に陽性である既知の細胞タイプは存在せず、これらの二重陽性細胞の存在量が非常に少ないことは、正確なセグメンテーションの証拠となります。 830個の二重陽性細胞（図6cの青い破線の円）の一部を調べたところ、腸上皮細胞と密接に結合している、または腸上皮細胞間に密接に結合しているCD3 + T細胞（図6eの黄色の矢印、薄黄色の点）の例が複数見つかりました。絨毛（図6eに見られる緑色のキウイのような構造）。 これは、免疫恒常性における腸上皮の既知の役割と一致しています 38。 このような場合、免疫細胞と上皮細胞を区別する人間の能力は、事前の知識、多次元の強度特徴、形状と質感の微妙な違いに依存しますが、これらはいずれもモデルのトレーニングの側面ではありません。 したがって、組織セグメンテーションの将来の改善には、ここで説明した汎用セグメンテーション アルゴリズムの単純な拡張ではなく、稀ではあるが生物学的に興味深い空間配置を分類できる CNN の開発が必要になる可能性があります。

この論文で注釈が付けられテストされたすべての組織タイプの中で、非腫瘍性卵巣がセグメント化するのが最も困難であり (補足情報 4a)、他の組織からのデータでトレーニングされたモデルに卵巣トレーニング データを追加すると、全体的な精度が低下しました (補足情報 4b)。 我々は以前、光学切片化およびデコンボリューション顕微鏡法を使用して、さらに高い解像度（ピクセルサイズ108nmでサンプリングされた60×/1.42NA）で卵巣がんを画像化したことがあります39。 これらの画像を検査すると、結腸腺癌 (補足情報 4d) とは異なり、非常に不規則な形態、画像のコントラストが低く、密な充填を伴う核 (補足情報 4c) が明らかになります。 したがって、卵巣やその他のセグメント化が難しい組織のパフォーマンスを向上させるには、おそらく異なる NES 抗体を含む追加の研究が必要になるでしょう。 それまでは、非常に異なる核形態を持つ組織からのトレーニング データを組み合わせる場合には注意が必要です。

この論文は、単一細胞データ解析における重要なステップである組織画像のセグメンテーションに関する文献の増加に対して 4 つの主要な貢献を行っています。 まず、スライド全体の画像、特に臨床ケアや治療の過程で取得された人間の組織の画像でよく見られる焦点や強度のアーティファクトの種類を含むトレーニング データとテスト データを明確に考慮します。 これは、最適な視野に焦点を当てた他の最近の論文とは対照的です。 第二に、核膜の形態に関する追加データ (NES) を含めることでセグメンテーションの精度を向上できることが多いことを示し、広く有用な抗体カクテルを提案しています。 第三に、最も重要なことは、焦点がぼけて飽和した画像で構成される実際の拡張をモデル トレーニング データに追加すると、セグメンテーションの精度が大幅に向上するのに対し、ガウスぼかしに基づく拡張では効果が大幅に低下することが示されています。 これらの結果は、インスタンス セグメンテーション (UnMICST-M) およびセマンティック セグメンテーション (UnMICST-U および UnMICST-P) に基づく深層学習フレームワークに拡張されています。 最後に、複数の組織タイプに対して新しく生成されたラベル付きトレーニング データを使用して、実際の拡張と NES を組み合わせることで、多くの組織にわたるセグメンテーションの堅牢性と精度が向上することが示されています。 これらの改善は、高次元の組織および腫瘍画像をセグメント化するという現実世界のタスクに直接適用できます。 NES データの組み込みまたは実際の拡張によって観察される改善の大きさは、ML フレームワーク間で観察される違いよりも大幅に大きくなります。 したがって、UnMICST モデルは、急速に成長する組織データ リポジトリに対して画像セグメンテーションを実行するための良い出発点となります。 最適化された UnMICST モデルを使用して多重化画像をセグメント化したときに残るエラーには、微妙な生物学的根拠があるようです。 これらの明らかなエラーを減らすには、追加の生理学を意識した機械学習モデルの開発が必要になる可能性があります。

今回の研究で驚いたことの 1 つは、同じ画像データに注釈を付けた 2 人の人間の専門家によって達成された一致レベルが一見低かったことです。 アノテーター間のアノテーション付き核の 60% のみが 60% 以上の重複を持っていると推定しました (0.6 IoU 閾値)。 一致度が低いのは、ほぼ確実に、2 つのセグメンテーション マスク間で重複するピクセルの割合を測定する厳格な包括的な IoU スコア基準を使用した結果です。 代替の広く使用されている F1 スコアは、2 人の観察者 (または観察者と機械) が核の存在について同意するかどうかを決定するもので、観察者間および自動セグメンテーションの精度 0.78 を達成しており、これは最高の F1 に匹敵します。組織画像に適用される別の深層学習モデルである Mesmer40 について報告された組織のスコアリング。 さらに、IoU 値に関する私たちの結果は、Kromp らによって最近報告された結果と似ています 17 (IoU しきい値が調整されて直接比較が可能になった場合)。 Cellseg41 の著者らも同様のセグメンテーション精度を報告しており、形状や焦点が大幅に異なるセルで高い IoU 値を達成することの難しさを指摘しています。

したがって、多くの研究が同様のレベルの観察者間の一致を達成しており、たとえ問題のあるデータが含まれていたとしても、私たちの結果は外れ値ではないと思われるでしょう。 これは、解決策がすぐには明らかではないすべての教師あり学習アプローチにとって根本的な課題を示しています。 組織画像における観察者間の不一致の原因を理解し、より高品質のトレーニング データとテスト データを達成するには、正確な 3D データを収集し、その後、さまざまなレベルのぼかしを適用し、強度アーティファクトを追加する必要があります。 また、最近報告された進歩を組み合わせることで、セグメンテーションの実際的な改善がもたらされる可能性が高いと思われます。 たとえば、Greenwald ら 40 は、現在の研究よりもはるかに多くのトレーニング データを取得するために、賢いコミュニティベースのアプローチを使用しています。Kromp ら 17 は、(学部生のチームによって) 培養細胞から取得したグラウンド トゥルースの注釈と組織画像を組み合わせています。 )、一方、現在の研究は、NES と実際の拡張を使用して、全体的にセグメンテーション アルゴリズムの堅牢性を向上させることに焦点を当てています。

機械学習の観点から見ると、トレーニング データに追加の画像チャネルを追加する価値は自明です。 実験の実現可能性は必ずしも明確ではありません。 重要なトレードオフは、セグメンテーションに使用される蛍光チャネルの数が増えるほど、他のマーカーに関するデータの収集に使用できるチャネルが少なくなるということです。 幸いなことに、高度に多重化されたイメージングの開発により、20 ～ 40 以上の画像チャンネル (それぞれが異なる蛍光抗体に対応する) の収集が日常的に行われるようになったため、これは重要ではなくなりました。 これにより、セグメンテーション用に 2 つのチャネルを簡単に予約できるようになります。 追加のセグメンテーション データを追加する費用対効果の比は、一般に安価な試薬が不可欠であるマルチウェル プレートでの細胞のハイコンテント スクリーニングでは、組織イメージングの場合とは異なります。 組織では、核ラミンの形態は疾患状態 42、細胞型、活性化状態、およびその他の多くの生物学的プロセスに応じて変化します。 これらはセグメンテーションのルーチンに課題をもたらしますが、ラミンの画像化は貴重な生物学的情報も提供する可能性が高く、これらのデータをルーチンに収集することをさらに主張しています43。 他の人が現在の作業を基に構築できるようにするために、すべてのトレーニング画像とテスト画像、そのセグメンテーション マスクと注釈、および複数の種類の組織 (扁桃腺、卵巣、小腸、結腸のがん、脳、肺、前立腺）EMITリソース経由。 モデルは、UnMICST モデル リソースのコンポーネントとしてリリースされます (データの可用性とコードの可用性に関する情報を参照)。

この研究からすぐに一般化できる発見は、実際の拡張がガウス カーネルを使用して生成された計算による拡張よりも優れているということです。 ぼやけと画像の飽和は、光学系の帯域幅の制限、被写界深度に対する試料の厚さ、光の散乱、回折、非液浸対物レンズの使用とその結果として生じる屈折率の不一致、およびさまざまな影響による避けられない結果です。他の物理プロセス。 実際の焦点のぼけは、焦点面が標本の上下にある場合でも異なります。 実際の拡張が将来適用される領域には、不均一な光源やステージのジッターが含まれる可能性があります。 より効果的な計算による拡張のためのカーネルを決定することは間違いなく役立ちますが、実際の拡張データを収集することは、現実世界の設定では最小限の負担で済みます。 実際の拡張が計算による拡張よりも優れているという私たちの観察は、顕微鏡の分野以外でも一般的な重要性を持つ可能性があります。高性能のカメラ システムでは、実際の焦点の合っていないデータは必然的にガウスぼかしよりも複雑になります。

モデルのトレーニングとテスト用の画像を生成するために、ブリガム アンド ウィメンズ病院の治験審査委員会 (IRB) によって承認された過剰 (廃棄) 組織プロトコールに基づいて、複数の患者からのヒト組織標本を使用して多組織マイクロアレイ (HTMA427) を構築しました ( BWH IRB 2018P001627)。 非腫瘍性疾患や扁桃腺などの二次リンパ組織を含む、さまざまな健康タイプまたは腫瘍タイプの 1 つまたは 2 つの例を取得することを目的として、組織領域から直径 1.5 mm のコアが 1 つまたは 2 つ採取されました。 スライドは、表 1 に示すように、Cell Signaling Technologies (Beverly MA, USA) および Abcam (Cambridge UK) の試薬で染色されました。

イメージングの前に、スライドを 90% グリセロールと #1.5 カバースリップでマウントしました。 アルゴリズムによる評価の前に、画像は互いに素な 3 つのサブセットに分割され、トレーニング、検証、テストに使用されました。

染色された TMA は、20x/0.75 対物レンズ (波長 550 nm で公称横解像度 370 nm) およびピクセルあたり 0.325 μm のピクセル サイズを備えた INCell 6000 (General Electric Life Sciences) 顕微鏡で画像化されました。 Hoechst と lamin-A647 は、それぞれ 405 nm と 642 nm のレーザーで励起されました。 発光は、DAPI (455/50 nm) フィルター セットと Cy5 (682/60 nm) フィルター セットを使用し、露光時間はそれぞれ 60 ms と 100 ms で収集されました。 スライド全体のイメージングには、8% のオーバーラップを持つ 1215 個のタイルの取得が含まれており、これは、大きな画像用の次世代ステッチングおよびレジストレーション アルゴリズムである ASHLAR でのステッチングに推奨されます (https://github.com/labsyspharm/ashlar)。 デフォーカスデータを生成するために、Z 軸を両方向に 3 µm ずつ変化させて焦点面の上下から画像を取得しました。 DNA 染色の飽和画像を生成するには、150 ミリ秒の露光時間を使用しました。 これら 2 種類の次善のデータは、以下で説明するように、モデルのトレーニング中に実際の拡張に使用されました。

肺腺癌、非腫瘍性小腸、正常な前立腺、結腸腺癌、神経膠芽腫、非腫瘍性卵巣、扁桃腺の代表的なコアが画像モザイクから抽出され、定期的に取得される画像のピクセル サイズに一致するように 2 倍にダウンサンプリングされました。 MCMICRO31で解析しました。 次に、画像を 256 × 256 ピクセルのタイルにトリミングし、焦点の合った DNA と NES を Adob​​e Photoshop にインポートして、核境界への人による注釈付けを容易にしました。 必要に応じて DNA と NES を交換しながら、輪郭と背景のクラスを別のレイヤーにラベル付けしました。 時間を節約するために、核の完全な輪郭を描き、Matlab imfill 操作を使用してこれらを埋めて核中心を生成しました。 輪郭が不完全になる画像境界の核については、核の中心に手動で注釈を付けました。 Ronneberger らによって説明されているように。 (2015) では、4 番目の層を使用して、凝集した細胞間の領域をマークしました。 これらの追加のアノテーションにより、これらのピクセルを誤って分類したモデルに特にペナルティを与えることが可能になりました。 画像レビュー中に、特定の核形態が他の核形態よりも頻繁に出現することが観察されました。 この不均衡を説明するために、トレーニング、検証、およびテスト セットにおける核形状の発生のバランスを保つために、各画像内の各組織タイプの特徴的な核のみに注釈を付けました。 たとえば、小腸と結腸の画像には丸い核と細長い核の両方が表示され、前者の形状はデータセット内の他の組織 (肺など) にすでに存在していたため、小腸と結腸の組織については後者の形状にのみ注釈を付けました。 保持されたテスト データセット上の完全な密なアノテーションは、2 番目のアノテーターによって検証され、F1 スコアを使用して測定されました。 注釈付きの両方のグラウンド トゥルース間の F1 スコア評価は高く、優れた一致を示しました (補足情報 1)。

DNA の元の、焦点をぼけた、飽和した画像はすべて同じ画像スタックで取得されたため、すべての拡張画像チャネルにわたって単一の登録された DNA アノテーション セットを使用することができました。 トレーニング セットを作成するために、各画像は 64 × 64 のパッチに切り取られ、ダイナミック レンジ全体を使用するように正規化され、90 度の回転、反射、および 20% アップスケーリングを使用してさらに拡張されました。 トレーニング セットと一致して、検証セットとテスト セットには焦点がぼけて飽和したサンプルも含まれていますが、標準の変換による拡張は行われていません。 トレーニング、検証、テスト セットの分割に存在するデータ例の比率は 0.36:0.24:0.4 でした。 モデル間で公平に比較​​するために、この原稿で説明されている 3 つの深層学習フレームワークに同じデータセットと分割が使用されました (補足表 2)。

モデルのトレーニングを容易にするために、3 つの異なる最先端のアーキテクチャが個別にトレーニング、実装、評価されました。 これらは順不同で、UNet、Mask R-CNN、および PSPNet であり、アーキテクチャを変更することなく、元のリファレンスから採用されました。 UNet は生物医学分野でのこれまでの成功により選ばれ、Mask R-CNN は物体検出とマスク生成の両方を実行できる能力により選ばれ、PSPNet は複数の空間スケールからの画像特徴を統合する能力により選ばれました。 トレーニング、検証、およびテスト データは、結腸 – 1142 の構成に含まれる 7 つの組織の 12 個の核と合計 10,359 個の核から得られました。 神経膠芽腫 (GBM) – 675; 肺 – 1735年。 卵巣 – 956; 線維芽細胞 – 922; 小腸 – 1677年。 扁桃腺 – 3252。セグメンテーション アルゴリズム全体で評価の一貫性を維持するために、セグメンテーションの精度は、広範な Intersection over Union (IoU) しきい値を通過した、保持されたテスト セット内のセルの割合をカウントすることによって計算されました。 NES チャネルは、各アーキテクチャへの入力として 3 次元配列として DNA チャネルに連結されました。

3 クラスの UNet モデル 14 は、核中心、核輪郭、および背景の注釈に基づいてトレーニングされました。 ニューラル ネットワークは 4 つの層と 80 の入力特徴で構成されます。 トレーニングは、Adam Optimizer を使用してバッチ サイズ 32、学習率 0.00005、精度が向上しなくなるまで、または ~100 エポックに達するまで、5000 ステップごとの減衰率 0.98 を使用して実行されました。 トレーニング速度を向上させるためにバッチ正規化が使用されました。 トレーニング中の最下層のドロップアウト率は 0.35 で、過学習 44,45 と早期停止を最小限に抑えるために L1 正則化が実装されました。 トレーニングは、NVidia GTX 1080 または NVidia TitanX GPU を搭載したワークステーションで実行されました。

多くのセグメンテーション モデルはマスク R-CNN アーキテクチャ 15 に基づいており、マスク R-CNN はこれまでにさまざまなセグメンテーション タスクで優れたパフォーマンスを示してきました。 マスク R-CNN は、原子核の境界ボックスを検出することから始まり、続いて各ボックス内でセグメンテーションを実行します。 このアプローチにより、中間流域または同等のセグメント化ステップが不要になります。 したがって、Mask R-CNN はセグメンテーション マスクを直接計算し、従来のセグメンテーション パイプラインのオーバーヘッドを大幅に削減します。 UnMICST-M 実装では ResNet5046 バックボーン モデルを採用し、COCO オブジェクト インスタンス セグメンテーション チャレンジ 33 からの事前トレーニングされた値を使用して重みを初期化して、収束特性を向上させました。 効率的なトレーニングのために、元の入力画像を 800 × 800 ピクセルにアップサンプリングし、バッチ サイズ 8 を使用して 24 エポックのモデルをトレーニングしました。過学習を防ぐために重み減衰が 0.0001 である Adam オプティマイザーは、変数学習で活用されました。レートは、最初は 0.01 に設定され、エポック 16 と 22 で 0.1 倍に減少しました。トレーニングは、4 つの NVidia TitanX または NVidia Tesla V100 GPU を使用して計算ノード クラスター上で実行されました。 評価と比較には、標準的な手法に従って、検証セットで最高のパフォーマンスを持つモデルを使用しました。

私たちは、さまざまな種類の組織から細胞核の中心、核の輪郭、および背景を抽出するために 3 つのクラスの PSPNet モデル 47 をトレーニングしました。 PSPNet は、コンピュータ ビジョンの分野で自然シーンの画像のセマンティック セグメンテーションに最も広く使用されている CNN の 1 つです。 このネットワークは、ローカルな機能だけでなくグローバルな機能を学習することを目的とした、いわゆるピラミッド プーリング モジュールを採用しています。 PSPNet で使用される追加のコンテキスト情報により、セグメンテーション アルゴリズムがより高い信頼性で現実的な確率マップを生成できるようになりました。 バックボーンとして ResNet101 を使用しました。 ネットワークのトレーニングは、バッチ サイズ 8、画像サイズ 256 × 256 ピクセルを使用して、15,000 回反復するか、最小損失モデルが得られるまで実行されました。 トレーニング中に標準のクロスエントロピー損失関数が使用されました。 勾配降下は、学習率 0.0001 および L2 正則化による重み減衰パラメーター 0.005 で Adam オプティマイザーを使用して実行されました。 収束を高速化するためにバッチ正規化が採用され、オーバーフィッティングを軽減するために最終ネットワーク層でドロップアウト確率 0.5 が使用されました。 モデルのトレーニングは、NVidia Tesla V100 GPU を搭載したコンピューティング クラスター ノードで実行されました。

図 6 に示す分析では、EMIT TMA (https://www.synapse.org/#!Synapse:syn22345748/) からの非腫瘍性小腸組織の 64 プレックス CyCIF 画像を合計プロトコル https://www.protocols.io/view/ffpe-tissue-pre-treatment-before-t-cycif-on-leica-bji2kkge および https://doi.org/10.17504/protocols に記載されている 45 個の抗体。 io.bjiukkew。 画像は、NES データと実際の拡張機能を備えた DNA でトレーニングされた UnMICST-U モデルを使用してセグメント化されました。 27,847個のセグメント化された核の45個のマーカーにわたる平均蛍光強度を、参考文献に記載されているように定量化しました。 対数変換データのガウス混合モデルを使用して、E-カドヘリン陽性細胞とCD45陽性細胞を同定した。 多変量クラスタリングの場合、選択した 14 種類のタンパク質マーカー (E-カドヘリン、パンサイトケラチン、CD45 CD4、CD3D、CD8、RF3、PML、GLUT1、GAPDH TDP43、OGT、COLL4、EPCAM) のすべての単一細胞の対数変換された平均強度これらは、均一多様体近似および投影 (UMAP)48 を使用して前処理され、ノイズのあるアプリケーションの階層的密度ベースの空間クラスタリング (HDBSCAN)49 を使用してクラスタ化されました。 E-カドヘリンと CD45 の両方を高レベルで発現しているクラスターが特定され、DNA、E-カドヘリン、CD45 の染色を示す疑似カラー画像に重ねられました。

他の人が現在の作業を基に構築できるようにするために、すべてのトレーニング、検証、テスト画像、その注釈、および複数の種類の組織 (扁桃腺、卵巣、小腸、および結腸、脳、肺、前立腺のがん) の実際の拡張をリリースします。 ) EMIT リソース経由。 トレーニングと推論用のモデルは、UnMICST モデル リソースのコンポーネントとしてリリースされます。 主要な図のグラフのソース データは補足データ 1.xlsx にあります。

UnMICST モデルのトレーニングと実装に使用されるコードと手順は、https://labsyspharm.github.io/UnMICST-info/ にあります。

免疫学者、A A. 蛍光抗体を使用した組織内の肺炎球菌抗原の実証。 Ｊ．Ｉｍｍｕｎｏｌ． 45、159–170 (1942)。

Google スカラー

アルバートソン博士、癌における遺伝子増幅。 トレンドジュネット。 22、447–455 (2006)。

論文 CAS PubMed Google Scholar

Shlien, A. & Malkin, D. コピー数の変異と癌。 ゲノム医学。 1、62 (2009)。

記事 PubMed PubMed Central Google Scholar

アミン、MBら。 第 8 版 AJCC 癌病期分類マニュアル: 癌病期分類に対する集団ベースのアプローチから、より「個別化された」アプローチへの橋渡しを継続しています。 Ca 癌 J. Clin. 67、93–99 (2017)。

論文 PubMed Google Scholar

ゲルデス、MJ 他ホルマリン固定、パラフィン包埋癌組織の高度に多重化された単一細胞分析。 手順国立アカデミー。 科学。 USA 110、11982–11987 (2013)。

論文 CAS PubMed PubMed Central Google Scholar

ギーセン、C.ら。 マスサイトメトリーによる細胞内分解能による腫瘍組織の高度に多重化されたイメージング。 ナット。 方法 11、417–422 (2014)。

論文 CAS PubMed Google Scholar

アンジェロ、M.ら。 ヒト乳房腫瘍の多重イオンビームイメージング。 ナット。 医学。 20、436–442 (2014)。

論文 CAS PubMed PubMed Central Google Scholar

リン、J.-R. 他。 t-CyCIF と従来の光学顕微鏡を使用したヒト組織および腫瘍の高度に多重化された免疫蛍光イメージング。 eLife 7、e31657 (2018)。

記事 PubMed PubMed Central Google Scholar

Stack, EC、Wang, C.、Roman, KA & Hoyt, CC 多重免疫組織化学、イメージング、および定量: チラミドシグナル増幅、マルチスペクトルイメージング、および多重分析の評価を含むレビュー。 方法 70、46 ～ 58 (2014)。

論文 CAS PubMed Google Scholar

アヒム、K.ら。 単一細胞 RNA-seq データの元の組織へのハイスループット空間マッピング。 ナット。 バイオテクノロジー。 33、503–509 (2015)。

論文 CAS PubMed Google Scholar

スライパー、M.ら。 新鮮および凍結ヒト腫瘍用の単細胞および単核 RNA-Seq ツールボックス。 ナット。 医学。 26、792–802 (2020)。

論文 CAS PubMed PubMed Central Google Scholar

マッキン、C.ら。 CellProfiler 3.0: 生物学用の次世代画像処理。 PLoSバイオル。 16、e2005970 (2018)。

記事 PubMed PubMed Central Google Scholar

LeCun, Y.、Bengio, Y.、ヒントン, G. 深層学習。 ネイチャー 521、436–444 (2015)。

論文 CAS PubMed Google Scholar

Ronneberger, O.、Fischer, P. & Brox, T. U-Net: 生物医学画像セグメンテーションのための畳み込みネットワーク。 医療画像コンピューティングおよびコンピュータ支援介入に関する国際会議、234–241 (2015)。

彼、K.、Gkioxari、G.、Dollár、P.、Girshick、R. マスク R-CNN。 コンピューター ビジョンに関する IEEE 国際会議議事録、2961 ～ 2969 年 (2017)。

カイセド、JC et al. イメージング実験全体にわたる核セグメンテーション: 2018 データ サイエンス ボウル。 ナット。 方法 16、1247–1253 (2019)。

論文 CAS PubMed PubMed Central Google Scholar

クロンプ、F.ら。 核セグメンテーション手法をトレーニングするための注釈付き蛍光画像データセット。 科学。 データ7、262（2020）。

記事 PubMed PubMed Central Google Scholar

Schwendy, M.、Unger, RE & Parekh, SH EVICAN - 細胞と核のセグメンテーションにおけるアルゴリズム開発のためのバランスの取れたデータセット。 バイオインフォマティクス 36、3863–3870 (2020)。

論文 CAS PubMed PubMed Central Google Scholar

シュフラー、PJ 他高度に多重化された組織画像上の自動単一細胞セグメンテーション。 サイトム。 A 87、936–942 (2015)。

記事 Google Scholar

Arganda-Carreras、I. et al. トレーニング可能な Weka セグメンテーション: 顕微鏡ピクセル分類のための機械学習ツール。 バイオインフォマティクス 33、2424–2426 (2017)。

論文 CAS PubMed Google Scholar

Berg, S. et al. ilastik: (生体) 画像分析のための対話型機械学習。 ナット。 方法 16、1226–1232 (2019)。

論文 CAS PubMed Google Scholar

アエフナー、F.ら。 全スライドイメージングにおけるデジタル画像解析の紹介: デジタルパソロジー協会のホワイトペーパー。 Ｊ．パソール。 知らせる。 10、9 (2019)。

記事 PubMed PubMed Central Google Scholar

リン、J.-R. 他。 結腸直腸がんにおける状態遷移と免疫相互作用の多重化された 3D アトラス。 bioRxiv https://doi.org/10.1101/2021.03.31.437984 (2021) でプレプリント。

Krizhevsky, A.、Sutskever, I.、および Hinton, GE によるディープ畳み込みニューラル ネットワークによる ImageNet 分類。 In Advances in Neural Information Processing Systems 25 (Pereira, F.、Burges, CJC、Bottou, L. & Weinberger, KQ 編) 1097–1105 (Curran Associates, Inc.、2012)。

アーメド・ラザ、SE 他 MIMO-Net: 蛍光顕微鏡画像における細胞セグメンテーションのための多入力多出力畳み込みニューラル ネットワーク。 2017 年、IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017) 337–340 (IEEE、2017)。

Shorten, C. & Khoshgoftaar, TM 深層学習のための画像データ拡張に関する調査。 J. ビッグデータ 6、60 (2019)。

記事 Google Scholar

Horwath, JP、Zakharov, DN、Mégret, R. & Stach, EA 高解像度透過型電子顕微鏡画像のセグメンテーションのための深層学習モデルの重要な機能を理解します。 Npj コンピューティング。 メーター。 6、1–9 (2020)。

記事 Google Scholar

ぐらり、D. et al. 生物医学画像のセグメンテーションを収集するにはどうすればよいですか? 専門家、クラウドソーシングされた非専門家、およびアルゴリズムのパフォーマンスを評価するベンチマーク。 2015 IEEE 冬季会議応用計算します。 ヴィス。 (IEEE、2015)。

Skinner、BM & Johnson、EEP 核形態: それらの多様性と機能的関連性。 染色体 126、195–212 (2017)。

論文 PubMed Google Scholar

ダル、J.-R. 他。 選択的細胞核検出による核多形性スコアリング。 IEEE Workshop on Applications of Computer Vision (WACV 2009)、2009 年 12 月 7 ～ 8 日、米国ユタ州スノーバード (IEEE Computer Society、2009)。

シャピロ、D. et al. MCMICRO: 多重組織イメージング用のスケーラブルなモジュール式画像処理パイプライン。 ナット。 方法 https://doi.org/10.1038/s41592-021-01308-y (2021)。

Nirmal、AJ et al. 単一細胞解像度での原発性黒色腫の進行と免疫編集の空間的景観。 がんの発見。 12、1518–1541 (2022)。

論文 CAS PubMed PubMed Central Google Scholar

リン、T.Y. 他。 Microsoft COCO: コンテキスト内の共通オブジェクト。 『コンピュータ ビジョン – ECCV 2014』 (Fleet, D.、Pajdla, T.、Schiele, B. & Tuytelaars, T. 編) 740–755 (Springer International Publishing、2014)。

デン、J.ら。 ImageNet: 大規模な階層型画像データベース。 2009 年のコンピューター ビジョンとパターン認識に関する IEEE 会議 248–255 (IEEE、2009)。

Fischer, EG 核形態学と癌細胞の生物学。 アクタサイトル。 64、511–519 (2020)。

論文 CAS PubMed Google Scholar

Kros, JM 神経膠腫の等級付け: 著名性から証拠への道。 Ｊ．ニューロパトール。 経験値ニューロール。 70、101–109 (2011)。

論文 PubMed Google Scholar

Louis, D.、Ohgaki, H.、Wiestler, O. & Cavenee, W. WHO 中枢神経系腫瘍の分類、神経腫瘍学、23、1231–1251 (2021)。

記事 Google Scholar

Allaire、JM et al. 腸上皮：粘膜免疫の中心的な調整役。 トレンド免疫。 39、677–696 (2018)。

論文 CAS PubMed Google Scholar

フェルッキラ、A. et al. 免疫ゲノムプロファイリングは、卵巣がんにおけるPARPとPD-1阻害の組み合わせに対する反応を判定します。 ナット。 共通。 1459 年 11 月 (2020 年)。

記事 PubMed PubMed Central Google Scholar

グリーンワルド、NFら。 大規模データのアノテーションと深層学習を使用した人間レベルのパフォーマンスによる組織画像の全細胞セグメンテーション。 ナット。 バイオテクノロジー、40、555–565 (2022)。

論文 CAS PubMed Google Scholar

Lee, MY 他 CellSeg: 高度に多重化された蛍光画像用の、堅牢な事前トレーニング済みの核セグメンテーションおよびピクセル定量化ソフトウェア。 BMCバイオインフォーム。 23、46 (2022)。

記事 Google Scholar

Sakthivel, KM & Sehgal, P. 遺伝病から癌バイオマーカーまでのラミンの新たな役割。 オンコル。 改訂版 10、309 (2016)。

PubMed PubMed Central Google Scholar

Bell, ES & Lammerding, J. 腫瘍進行における核膜変化の原因と影響。 ユーロ。 Ｊ．Ｃｅｌｌ Ｂｉｏｌ． 95、449–464 (2016)。

論文 CAS PubMed PubMed Central Google Scholar

Ng、AY 特徴選択、L1 対 L2 正則化、および回転不変性。 第 21 回機械学習国際会議議事録 78 (Association for Computing Machinery、2004)。

Srivastava, N.、Hinton, G.、Krizhevsky, A.、Sutskever, I. & Salakhutdinov, R. Dropout: ニューラル ネットワークの過学習を防ぐ簡単な方法。 J.マッハ。 学ぶ。 解像度 15、1929 ～ 1958 年 (2014)。

Google スカラー

He、K.、Zhang、X.、Ren、S.、Sun、J. 画像認識のための深層残差学習。 2016 年のコンピューター ビジョンとパターン認識に関する IEEE 会議 (CVPR) 770–778 (IEEE、2016)。

Zhao, H.、Shi, J.、Qi, X.、Wang, X.、Jia, J. ピラミッド シーン解析ネットワーク。 コンピューター ビジョンとパターン認識に関する IEEE 会議議事録、2881–2890 (2017)。

Becht、E. et al. UMAP を使用して単一セル データを視覚化するための次元削減。 ナット。 バイオテクノロジー。 37、38–44 (2019)。

記事 CAS Google Scholar

Campello, RJGB、Moulavi, D. & Sander, J. 階層的な密度推定に基づく密度ベースのクラスタリング。 『知識発見とデータ マイニングの進歩』 (Pei, J.、Tseng, VS、Cao, L.、Motoda, H. & Xu, G. 編) 160–172 (Springer、2013)。

リファレンスをダウンロードする

この原稿の作成にご協力いただきました Alyce Chen と Madison Tyler に感謝いたします。 この研究には、PKS および SS に対する NIH 助成金 U54-CA225088 および U2C-CA233262、およびハーバード大学ルートヴィヒがんセンターからの資金提供を受けました。 ZM は NCI 認可 R50-CA252138 によってサポートされています。 ダナ・ファーバー/ハーバードがんセンター (P30- CA06516) の Specialized Histopathology Core の使用に感謝します。

これらの著者は同様に貢献しました: Clarence Yapp、Edward Novikov。

システム薬理学研究室、ハーバード大学医学部、ボストン、マサチューセッツ州、02115、米国

[ PubMed ] Clarence Yapp、Edward Novikov、Won-Dong Jang、Tuulia Vallius、Yu-An Chen、Zoltan Maliga、Connor A. Jacobson、Sandro Santagata、Peter K. Sorger

画像およびデータ分析コア、ハーバード大学医学部、ボストン、マサチューセッツ州、02115、米国

クラレンス・ヤップ & マルセロ・チコネ

ハーバード大学工学応用科学部、ケンブリッジ、マサチューセッツ州、02138、米国

エドワード・ノビコフ、ウォンドン・ジャン、ドンライ・ウェイ、ハンスペーター・フィスター

ハーバード大学ルートヴィッヒがん研究センター、ハーバード大学医学部、ボストン、マサチューセッツ州、02115、米国

トゥーリア・ヴァリウス、サンドロ・サンタガタ、ピーター・K・ソーガー

病理学部門、ブリガム・アンド・ウィメンズ病院、ハーバード大学医学部、ボストン、マサチューセッツ州、02115、米国

サンドロ・サンタガタ

ハーバード大学医学部システム生物学部、ボストン、マサチューセッツ州、02115、米国

ピーター・K・ソーガー

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

研究デザインは CY、WDJ、EN、および PKS によって考案されました。画像取得と注釈付けは、EMIT TMA サンプルを提供して CYSS によって行われ、組織タイプが検証されました。 TMA 染色は ZM および CAJ によって実行されました。 データ分析は CY、WDJ、EN、および YACYAC によって実行されました。CY は図 6 に示す単一細胞の定量分析と分析を実行しました。 追加のコーディングは MC によって実行されました。 追加の実験は DWPKS によって実行されました。 SS と HP が研究を監督しました。 著者全員が原稿の執筆と編集に協力しました。

Peter K. Sorger への通信。

PKS は、Applied Biomath、RareCyte Inc.、および OMERO データベースの商用バージョンを配布する Glencoe Software の SAB または BOD メンバーのメンバーです。 PKS は NanoString SAB のメンバーでもあります。 過去 5 年間、Sorger 研究室は Novartis と Merck から研究資金を受けてきました。 ソーガーは、これらの関係はいずれもこの原稿の内容に影響を与えていないと宣言しています。 SS は、RareCyte Inc. のコンサルタントです。他の著者は競合する利害関係を宣言していません。

Communications Biology は、この研究の査読に貢献してくれた Shan E Ahmed Raza と他の匿名の査読者に感謝します。 主な取り扱い編集者: Luke R. Grinham。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

ヤップ、C.、ノビコフ、E.、ジャン、WD。 他。 UnMICST: 人間の組織の高度に多重化された画像の堅牢なセグメンテーションのための実際の拡張を備えた深層学習。 Commun Biol 5、1263 (2022)。 https://doi.org/10.1038/s42003-022-04076-3

引用をダウンロード

受信日: 2021 年 6 月 1 日

受理日: 2022 年 10 月 6 日

公開日: 2022 年 11 月 18 日

DOI: https://doi.org/10.1038/s42003-022-04076-3

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

コメントを送信すると、利用規約とコミュニティ ガイドラインに従うことに同意したことになります。 虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。