脳のダイナミクスを解くことで柔軟なマシンが生まれる

前の画像 次の画像

昨年、マサチューセッツ工科大学の研究者らは、小型種の脳にヒントを得た「液体」ニューラル ネットワークを構築したと発表しました。これは、現実世界の安全のために、現場で学習し、状況の変化に適応できる、柔軟で堅牢な機械学習モデルのクラスです。 -運転や飛行などの重要なタスク。 これらの「液体」ニューラル ネットワークの柔軟性は、私たちの接続された世界への血統を強化し、脳と心臓の監視、天気予報、株価などの時系列データを伴う多くのタスクでより適切な意思決定をもたらすことを意味しました。

しかし、これらのモデルは、ニューロンとシナプスの数が増加するにつれて計算コストが高くなり、その基礎となる複雑な数学を解くために不格好なコンピューター プログラムが必要になります。 そして、多くの物理現象と同様に、この数学はすべて、サイズが大きくなるほど解決することが難しくなります。つまり、解決策に到達するまでに多くの小さなステップを計算することを意味します。

今回、同じ科学者チームは、シナプスを介した 2 つのニューロンの相互作用の背後にある微分方程式を解くことで、このボトルネックを軽減する方法を発見し、新しいタイプの高速で効率的な人工知能アルゴリズムを解放しました。 これらのモードは、液体ニューラル ネットと同じ特性 (柔軟、因果的、堅牢、説明可能) を備えていますが、桁違いに高速でスケーラブルです。 したがって、このタイプのニューラル ネットワークは、コンパクトでトレーニング後も適応できるため、長期にわたるデータの洞察を得る必要があるあらゆるタスクに使用できますが、従来のモデルの多くは固定されています。 ニューロン モデルの微分方程式が導入された 1907 年以来、既知の解は存在していません。

「閉形式連続時間」(CfC) ニューラル ネットワークと呼ばれるこのモデルは、モーション センサーから人間の活動を認識し、物理的なモデルをモデル化する際の速度とパフォーマンスが大幅に向上し、多くのタスクで最先端のモデルを上回りました。シミュレートされた歩行ロボットのダイナミクス、およびイベントベースの逐次画像処理。 たとえば、医療予測タスクでは、8,000 人の患者のサンプリングにおいて、新しいモデルは 220 倍高速でした。

この研究に関する新しい論文が本日 Nature Machine Intelligence に掲載されました。

「私たちが『CfC』と呼ぶ新しい機械学習モデルは、ニューロンの計算を定義する微分方程式を閉形式近似に置き換え、数値積分を必要とせずに液体ネットワークの美しい特性を維持します」とディレクターのダニエラ・ラスMIT教授は述べています。コンピュータサイエンス・人工知能研究所 (CSAIL) の博士であり、新しい論文の上級著者。 「CfC モデルは、因果関係があり、コンパクトで説明可能で、トレーニングと予測が効率的です。セーフティ クリティカルなアプリケーション向けに信頼できる機械学習への道を開きます。」

物事を流動的に保つ

微分方程式を使用すると、世界の状態や進化する現象を計算できますが、時間全体を計算するわけではなく、段階的に計算するだけです。 時間の経過に伴う自然現象をモデル化し、人間の活動認識やロボットの経路など、過去および将来の動作を理解するために、チームは、チケットを見つけるために数学的トリックの袋に手を伸ばしました。つまり、チケットをモデル化する「閉じた形式」のソリューションです。システム全体の完全な記述を 1 回の計算ステップで実行します。

彼らのモデルを使用すると、将来および過去のいつでもこの方程式を計算できます。 それだけでなく、微分方程式を段階的に解く必要がないため、計算速度も大幅に速くなります。

車に取り付けられたカメラから運転入力を受け取るエンドツーエンドのニューラル ネットワークを想像してください。 ネットワークは、車のステアリング角度などの出力を生成するようにトレーニングされています。 2020年、チームは19個のノードを備えたリキッドニューラルネットワークを使用することでこの問題を解決し、19個のニューロンと小さな認識モジュールで車を運転できるようにした。 微分方程式は、そのシステムの各ノードを記述します。 閉じた形式のソリューションでは、このネットワーク内で置き換えると、システムの実際のダイナミクスの適切な近似となるため、正確な動作が得られます。 したがって、さらに少ない数のニューロンで問題を解決できるため、より高速で計算コストも低くなります。

これらのモデルは入力を時系列 (時間内に発生したイベント) として受け取ることができ、分類、車の制御、人型ロボットの移動、金融イベントや医療イベントの予測に使用できます。 これらのさまざまなモードをすべて使用すると、精度、堅牢性、パフォーマンス、そして重要なことに、計算速度も向上しますが、これは場合によってはトレードオフになります。

この方程式を解くことは、自然知能システムと人工知能システムの両方の研究を進める上で広範囲に影響を及ぼします。 「ニューロンとシナプスの通信を閉じた形式で記述できれば、数十億の細胞を含む脳の計算モデルを構築できますが、これは神経科学モデルの計算が非常に複雑であるため、今日では不可能です。閉じた形式の方程式このような大規模なシミュレーションを容易にする可能性があるため、知能を理解するための新たな研究の道が開かれます」と、新しい論文の筆頭著者である MIT CSAIL 研究員のラミン・ハサニ氏は述べています。

ポータブル学習

さらに、視覚入力から 1 つの環境でタスクを学習し、追加のトレーニングなしで学習したスキルをまったく新しい環境に移転するという Liquid CfC モデルの初期の証拠があります。 これは分布外一般化と呼ばれ、人工知能研究の最も基本的な未解決の課題の 1 つです。

「微分方程式に基づいたニューラル ネットワーク システムは、たとえば数百万、数十億のパラメータに対応して解決したり拡張したりするのが困難です。閾値だけでなく、ニューロンがどのように相互作用するかについての説明を取得することで、細胞間の物理的ダイナミクスを解決することが可能になります。大規模なニューラル ネットワークを構築します」とハサニ氏は言います。 「このフレームワークは、より複雑な機械学習タスクの解決に役立ち、より優れた表現学習を可能にし、将来の組み込みインテリジェンス システムの基本的な構成要素となるはずです。」「ニューラル ODE やリキッド ニューラル ネットワークなどの最近のニューラル ネットワーク アーキテクチャには、隠れ層があります。層の明示的なスタックではなく、無限の潜在状態を表す特定の動的システムで構成されています」と、この論文には関与していないボーイング社のオーロラ フライト サイエンス社の AI および機械学習グループ リーダーのシルドマール モンテイロ氏は述べています。 「これらの暗黙的に定義されたモデルは、従来のアーキテクチャよりもはるかに少ないパラメーターを必要としながら、最先端のパフォーマンスを示しています。しかし、トレーニングと推論に必要な計算コストが高いため、実際の採用は限られています。」 同氏は、この論文は「このクラスのニューラルネットワークの計算効率が大幅に向上していることを示しており、…[そして]安全性が重要な商用システムや防衛システムに関連する、より広範な実用化を可能にする可能性を秘めている」と付け加えた。

ハサニ氏と、MIT CSAIL のポスドクであるマティアス・レヒナー氏は、CSAIL のポスドクである MIT アレクサンダー・アミニ氏と協力して、ラス氏の監修のもと論文を執筆しました。 ルーカス・リーベンヴァイン SM '18、博士号 '21; アーロン・レイ、MIT 電気工学およびコンピューターサイエンスの博士課程の学生であり、CSAIL 所属。 Max Tschaikowski 氏、デンマークのオールボー大学コンピューターサイエンス准教授。 そしてウィーン大学の数学教授、ジェラルド・テシュル氏。

研究所属のラミン・ハサニ氏が、マーケットプレイスのキンバリー・アダムス氏と、CSAIL の同僚が 1900 年代初頭に遡る微分方程式を解き、研究者がその場で学習して進化するパターンに適応できる AI アルゴリズムを作成できるようにした方法について語ります。 新しいアルゴリズムにより「大規模な脳シミュレーションが可能になる」とハサニ氏は説明する。

前の項目 次の項目

前の項目 次の項目