研究内容

 
 

 

統計力学とは

大自由度非線形力学系の相転移理論

情報統計力学、神経情報統計力学:ニューラルネットの情報処理と統計力学

一般化エントロピーに基づく熱統計力学


・統計力学とは

自由度の大きな力学系(物理学系,非物理学系)の統計的性質を研究
個々の要素は単純 + 相互作用

系全体として顕著な巨視的振る舞い
(相転移,自発的対称性の破れ,同期現象 など)




・大自由度非線形力学系の相転移理論

熱平衡系相転移からより一般の非平衡系相転移への概念拡張と構築を目指して

キーワード:平均場、非線形フォッカープランク方程式、同期現象


    大自由度の確率システムにおいて、エルゴード性が破れて起こる分岐現象としての相転移現象を調べる研究であり、自発的対称性の破れの典型として知られている強磁性-常磁性転移の概念拡張などを目的としている。熱平衡に近づく緩和現象、あるいはもっと一般の非平衡状態を議論する場合、便利な手法としてマルコフ過程なる確率過程を時間発展のダイナミクスとする系を扱うことが多い。
    相互作用の無い独立な系や、相互作用があっても有限自由度の系では通常いわゆるH-定理が成立し、エルゴード性が成り立つことにより相転移は起こらない。自由度無限大の相互作用系ではエルゴード性が失われる場合も起こりえて、時間が十分経ったときの確率分布は初期分布に依存して決まるものとなる。典型的な例としては、グラウバー力学に従ったスピン系での強磁性出現がある。
    様々な型の分岐現象を示すマルコフ過程を系統的に扱うために、平均場型相互作用をもつランジュバン方程式系(確率微分方程式系)をモデルとしてとりあげると都合がよい。その場合、対応した分布関数の時間発展を表すフォッカープランク方程式は非線形な方程式となり[NFPE 1,2,3,4,5,6,7,8,9] 、相転移現象(注1)を系統的に扱うことができるようになる。
    相互作用を持つ多数のリミットサイクル振動子[NFPE 1,7,8, Syn 1] やカオス振動子の集団[NFPE 4] 、興奮性素子の集団[NFPE 9] における同期現象が、ノイズによりどのような影響をうけ、複雑なリズム生成やバラエティーに富んだ力学的振る舞い(注2) を見せるかといった興味ある問題にも迫ることが出来るのである[NFPE 1,4,5]。応用的側面は次のニューラルネット理論と深い関係がある。


注1:熱平衡系相転移と非平衡系相転移に分類される。 熱平衡系相転移は、詳細釣り合いの条件が成り立つ系において非線形フォッカープランク方程式の平衡解が、ギブス分布型の確率密度関数であることに対応している。熱浴の温度に対応する外部ノイズ強度の変化により、強磁性-常磁性転移でよく知られている平衡解の示す自発的対称性破れが起こりえて熱平衡系相転移を与える。自由エネルギーが、エントロピーを用いて熱力学同様に定義され、それが非線形フォッカープランク方程式のリアプノフ(汎)関数の役割を果たしてH-定理が成立する。しかし通常のH-定理とは異なり解の一意性を保証するものではなく、平衡解の存在を保証する[NFPE 2,3]。

注2:このような場合が非平衡系相転移[NFPE 1,4,5] に相当する。系の巨視的振る舞いを表すオーだパラメータが十分時間が経った後も、周期的な時間変化(リミットサイクル)やカオス運動を示し、外部ノイズ強度の変化に応じてこれらのアトラクタの出現や消滅等が起こることになる。偏微分方程式の形をとる非線形フォッカープランク方程式の解としての確率密度関数の立場でみれば、それがリミットサイクルやカオス運動をすることに対応している。ノイズによるアトラクタの制御が可能になると見ることもできよう。




・情報統計力学、神経情報統計力学:
ニューラルネットの情報処理と統計力学

大自由度非線形力学系としてのニューラルネットの行う情報処理のメカニズムの解明に向けての研究は統計力学理論の深化にも貢献

キーワード:平均場、アトラクタニューラルネット、ランダム系、TAP方程式、レプリカ法、SCSNA, 同期現象


    ニューラルネットは、ニューロンと呼ぶ非線形素子が、シナプス結合である相互作用により数多く互いに結合した大自由度非線形力学系と見ることが出来るもので、そこにおいて行われる様々な形の情報処理の原理について統計力学的に扱うことで系統的な理解をすることを目的とした研究テーマである。脳における情報処理のメカニズムを探るとともに工学的な応用をも目的とするニューラルネット理論では、連想記憶理論、学習理論、自己組織化理論が大きな柱となるが、そのどれもが本テーマの格好の対象になりうるのである。
    例えば、連想記憶理論では、いくつかの記憶パターンを相互作用に埋め込むことにより力学系の固定点型アトラクタを生成させ、時間発展の結果そのアトラクタに系の状態が落ち着くことで記憶パターンの想起が出来ると考える。磁性体の示す強磁性体や反強磁性体はおのおの対応する相互作用のために起こる相転移のたまものであり、記憶想起の最も簡単なモデルといえよう。
    ニューロンの興奮、非興奮状態を1、-1で表すとイジングスピンとなり、興奮性、抑制性シナプス結合はそれぞれ強磁性、反強磁性結合と考えることが出来るとすると、ニューラルネットはイジングスピン系と対応がよくとれることになる(注3)[NNW 1,2,3] 。系にエネルギーの概念が導入できるときは、記憶できるパターン数の上限である記憶容量が、スピン系の統計力学により自由エネルギーを算出することで相転移の解析により求められる[NNW 7] 。
    ニューロン間のシナプス結合は通常非対称であり、物理系での対称相互作用とは質的に異なる。このためエネルギーの概念が成立せず、平衡系の統計力学の適用がもはやできないことになってしまう(注4)[SCSNA 1, NNW 1,2,4,5,6,17,18,19,21,22,23,24]。 極端な場合には、アトラクタ自身が固定点型とは限らなくなり、時間の関与した動的なもの、すなわちリミットサイクル型[NNW 1,2,13,19,21,22] や、カオス型[NNW 4,5,6] 等のアトラクタが生成され、力学系はバラエティーに富んだものになってくる。脳に代表されるニューラルネットにおける情報処理の多様性、複雑性と真正面から向かい合える可能性が出てきたとも言える。エネルギー関数の存在しない大自由度系で起こる種々のアトラクタの分岐の関与した相転移は非平衡相転移でありその一般論は全く知られていない。
    そのため、この研究は平衡系統計力学の概念を数理科学の観点より、一般的なものに拡張するという大きな目標設定をしているものであると同時に、今世紀の科学の最大テーマの一つである脳における情報処理のメカニズムを探るという目的とを合せ持つものである。


注3: ニューラルネットモデルには、要素としてのニューロンの入出力関係、ニューロン間の相互作用であるシナプス結合、また、各ニューロンの状態更新の仕方(離散時間、連続時間の別や決定論的か確率論的かなども含めて)、さらにネットワークの機能、情報表現などのどれに着目するかにより様々な分類ができる。ニューロンの情報表現には、発火頻度(レートコーディング)に基づくものと、スパイク発火時間(スパイクタイミングコーディング)を扱うものとに大別される。レートコーディングは古くから採用されているモデルで、ニューロンの情報表現に直接は時間の概念が入らないために扱いやすく、数理的に厳密な解析を行う場合にはしばしば採用される。レートコーディングを仮定したとき、ニューロンの取りうる状態のモデル化に応じて、イジングスピン型とアナログ型がある。イジングスピン型はニューロンの発火、非発火をそれぞれ1,-1で表す。いっぽう、アナログ型は、入力である膜電位の関数(伝達関数と呼び、通常シグモイド型が仮定される)として決まるニューロンの発火頻度を出力と考える。

注4: エネルギー概念のないニューラルネットの代表的なものは、シナプス結合が非対称性をもつときやアナログネットの伝達関数が非単調性を持つ場合である。そのようなニューラルネットにおいても連想記憶モデルとしての記憶容量を算出可能にする方法として、シグナル・ノイズ解析の考え方にたったSelf-consistent signal-to-noise analysis (SCSNA)[SCSNA 1,2, TAP 1] を独自に開発していろいろと応用を図り、成功をみている。エネルギー関数の存在するニューラルネットモデルでは、レプリカ法とSCSNAの方法とで結果はもちろん一致する。両者の関係を明確にするにはTAP 方程式の概念が役立っている[TAP 1,2,3] 。TAP 方程式を知ることにより、確率論的な系を決定論的な系にある意味で置き換えることができる。




・一般化エントロピーに基づく熱統計力学

    TsallisによりBoltzmannエントロピーを特別な場合として含む、1-パラメータで規定される一般化エントロピーなるものが提案されている。それは、通常のごとくLegendre変換を許すものであるが、粒子数についての相加性のないことが最大の特徴であり、そのため、長距離相互作用を持つ系や、異常拡散現象を示す系などに適用できるのではないかとの期待がもたれ、最近、研究者の関心をよびはじめているものである。しかしながら今のところ、微視的な基礎付けがほとんどされておらず、現象論的な観点よりの研究が先行しているにすぎない。
    本テーマは、従来の統計力学を自然な形で拡張することを念頭におき、Tsallisによる一般化エントロピーの枠組みで統計力学の構築の可能性を検討し、広い観点から興味ある問題へ応用することを目的とするものである。ある種の拘束条件のもとでの一般化エントロピーの極大化は確率分布を決定するが、その確率分布を平衡分布とする様々な確率過程のマスター方程式に対するリアプノフ関数に一般化エントロピーがそれぞれどのような形で関与するかについて調べることを行い、マスター方程式に対応した微視的な確率的力学を構成することにより、確率論に基礎を置く一般化エントロピーに基づく統計力学を構築することを目指している。



[ ホームへ戻る ]