ニューラルネットワークの足跡

1943年　ウォーレン・マカロックとウォルター・ピーツが形式ニューロンを発表 1958年　フランク・ローゼンブラッドがパーセプトロンを発表 1967年　甘利俊一が多層パーセプトロンの確率的勾配降下法を考えて定式化　 1969年　マービン・ミンスキーとシーモア・パパートが著書「パーセプトロン」の中で、単純パーセプトロンは線形分離不可能なパターンを識別できない事を示す 1979年　福島正彦がネオコグ二トロンを発表し、文字認識に使用し、後にこれが畳み込みニューラルネットワークへと発展する。 1982年　ジョン・ホップフィールドによってホップフィールドネットワークが提案された。 1985年、ジェフェリー・ヒントンらによりボルツマンマシンが提案された。1986年、デビッド・ラメンハートらにより誤差逆伝播法(バックプロパゲーション)が発明される 1988年、畳み込みニューラルネットワークを本間俊光らが音素の認識に、1989年にヤン・ルカンらが文字の認識に使用。 LeCunらの多層の畳み込みニューラルネットワークは後にディープラーニングの一種に分類されることになる。 2006年、ジェフェリ―・らによりオートエンコーダーおよびディープ・ビリフ・ネットワークが提案され、この理論が、2010年代にディープラーニングと呼ばれる分野を形成した。 2014　イアン・グットフェローらにより敵対生成ネットワークGANが発表される　 2017年　Transfomer 2018年　GPT1 2022年　ミュンヘン大学のグループstablediffusion 2022年11月　chatGPT 2024年 9月　chatGPTo1

形式ニューロン

複雑な細胞構造と化学反応で構成され自己修正能力も持つ生物由来のニューロンを単純化しただの数式にしてデータにして形式的なニューロンとして使ったことが面白いなあと思った

形式ニューロンの式は「全か無かの法則」と呼ばれる、神経細胞を興奮させる刺激の強さのボーダーラインを越えると興奮し越えなけらば興奮しないという神経科学の知見から導き出されることでした

この法則は1871年にヘンリー・ピッカリング・ボウディッチがカエルの心臓を用いた実験により提唱されたものです

ニューロンが次のニューロンに出力を伝えることを「発火」といいます

つまりニューロンは、「発火状態」と「非発火状態」の2つの状態で表されるデジタル素子として働いていると考えられるというわけです

これが形式ニューロンの元となっている考えです

形式ニューロンはマカロック・ピッツモデルとも言われており、マカロックは外科医、神経科学者であり、ピッツは数学者でした

この共著論文でマカロック・ピッツモデルが発表されました

パーセプトロンとカハールの説

パーセプトロンはマカロック・ピッツモデルをたくさん繋げて多層にしたものです

パーセプトロンにすることで様々な入出力関係を再現でき、関数として利用できるのではないかと考えたのです

最初にパーセプトロンという考えを提唱したのは心理学者のローゼンブラッドという人でした

パーセプトロンで入出力関係を再現するにはニューロンとニューロンの結合強度をその都度調整する必要がありました

ローゼンブラッドは課題ごとに結合強度をどのように学習すればよいのかを研究し、「パーセプトロンの学習則」としてまとめました

ニューロン素子をたくさん繋いだものをニューラルネットワークといいます

ニューロンとニューロンがシナプスという部分で物理的に直接繋がっているか物理的には繋がっていないかは1952年ごろまでわかっていませんでした

物理的に繋がっているという説を「ゴルジの説」、繋がっていないという説を「カハールの説」といいます

それが電子顕微鏡の発達で1952年にホジキンとハクスレーによって「カハールの説」が正しいと明らかとなり「カハールの説」に基づく神経の数理モデルが構築された

ホジキンとハクスレーによる発見とニューロンの活動を模したパーセプトロンは、当時の1960年代世界中を熱狂させて、第一次ニューラルネットワークブームとなりました

パーセプトロンの結合強度を学習出来ない

マービン・ミンスキーとシーモア・パパートはXOR回路のような線形分離不可能な関係は単純な1層だけのパーセプトロンだけでは表せないと提唱しました

多層パーセプトロンであればXOR回路を表すことは出来ますが、多層パーセプトロンの結合強度はローゼンブラッドの提唱した「パーセプトロンの学習則」では表すことが出来ませんでした

当時未だ、脳内でニューロンがどのような結合強度でニューロンが繋がっているのか明らかではありませんでした

その為、多層パーセプトロンでは「パーセプトロンの学習則」を適応することが出来ませんでした

第二次ニューラルネットワークブームまでの間

マービン・ミンスキーとシーモア・パパートの提唱で第一次ニューラルネットワークが去り、ニューラルネットワークの熱狂は冷めましたがその中でも研究は続いていました

そのような状態からニューラルネットワークをもう一度盛り上げるのは1986年のことで、ディビット・ラメルハート、ジェフリー・ヒントン、ロナルド・J・ウィリアムスが誤差逆伝播(バックプロパゲーション)という手法を編み出したことにありました

誤差逆伝播が編み出される迄の間、1967年に既に隠れ層のあるニューラルネットワークとして甘利俊一が多層パーセプトロンの確率的勾配降下法を考えて定式化に成功していましたが、その当時はあまり注目されませんでした

その他にも1969年にアーサー・E・ブライトンと何毓琦が多段動的システム最適化手法として誤差逆伝播を提案していたり、1974年にポール・ワーボスがニューラルネットワークにおける応用を示唆しています

甘利俊一によって確立勾配降下法をニューラルネットワークに利用するのは最初期に提案されていて、その勾配を効率的に計算する為に開発された手法が誤差逆伝播です

誤差逆伝播はディビット・ラメルハート、ジェフリー・ヒントン、ロナルド・J・ウィリアムスによって編み出されました

福島邦彦により1975年にコグ二トロンが1979年にネオコグニトロンが開発されました

ネオコグニトロンは畳み込みニューラルネットワークの初期モデルとされています

コグニトロンは人間の視覚神経を模倣していて画像やパターンの認識に特化した多層パーセプトロンです

ネオコグニトロンはコグニトロンを改良したもので、S細胞と呼ばれる色の濃淡などの特徴を抽出するパーセプトロンとC細胞と呼ばれる位置のズレなどを抽出するパーセプトロンを持ち、これらが交互に多層に接続したものです

この技術は畳み込みニューラルネットワークの原型になっていて、誤さ逆伝播と組み合わせたLeNetに繋がり、現在の畳み込みニューラルネットワーク(CNN)というテクノロジに繋がっています

1982年ジョン・ホップフィールドによりホップフィールド・ネットワークが提案されました

このネットワークは特定のパターンを記憶してノイズのある入力から元のパターンを想起する能力を持ちます

このネットワークは特定のパターンを「記憶」して、そのパターンに基づいてエネルギーを最小化します、このことを連想記憶といいます

このネットワークにはエネルギー関数と呼ばれる統計物理学でよく利用される関数が使われています

このモデルは後のボルツマンマシンに繋がっています

1985年、ジェフェリー・ヒントンとテリー・セジュノスキーによりボルツマンマシンが提案されました

ボルツマンマシンはデータの確率分布をモデル化して未知のデータの仕組みを学習しています

ボルツマン分布を用いて、各状態のエネルギーを計算して、そのエネルギーが低いほどその状態が高い確率で出現することを示しています

エネルギー関数を用いて計算され、連想記憶を持ちます

ボルツマンマシンの計算は複雑である為、制限付きボルツマンマシンとして、隠れ層と可視層の間の結合のみを許可したものが実用上では使われています

しかし、現在はCNNやトランスフォーマが主流です

このトランスフォーマのアテンションの仕組みの理論にホップフィールド・ネットワークやボルツマンマシンの理論が影響を与えています

それは、パターン補完とアテンションの焦点化、重みの調整とエネルギーの最小化、記憶と関連付けなどがそれぞれ近い概念を持っていることからもわかります

例えば、ホップフィールドネットワークでは欠損したパターンを補完するためにネットワーク全体の状態を利用します、この過程は入力データ全体を見渡して特定の情報に焦点を合わせて、重要な部分に注意を集中させるアテンションのメカニズムに似ています

また、ホップフィールドネットワークにおけるエネルギーの最小化はネットワーク内の結合重みを調整することで実現されます、これは各入力要素に重みを計算し重要度を考慮した上で全体の結果を得るアテンションのメカニズムにおける重み調整の考えに似ています

ホップフィールドネットワークにおいて過去に学習したパターンを記憶して関連付けるアソシアティブメモリとしての機能があります、これは文脈内で関連性を計算し、重要な部分を選択することで類似した情報を結びつけるアテンションのメカニズムの1つに似ています

誤差逆伝播(バックプロパゲーション)

ディビット・ラメルハート、ジェフリー・ヒントン、ロナルド・J・ウィリアムスが誤差逆伝播(バックプロパゲーション)という手法の再発見により、第2次ニューラルネットワークブームが起こりました

これまでは「全か無かの法則」に従いヘビサイド関数を使ってパーセプトロンを表していましたが、ロジスティック関数を使うことになりました

これによってパーセプトロンの関数に微分操作が出来るようになりました

期待した出力と異なる場合に、その誤差とロジスティック関数の微分を用いれば非線形の問題を解く多層ニューラルネットワークの結合強度が学習可能となります

これには勾配法や連鎖率というものが使われている

しかし、複雑な入出力を学習させるには1層あたりのニューロンの数を増やすか、層をたくさん繋げるしかありません 層を何層もたくさん繋げることを層を深くするといいます 1層あたりのニューロンを増やす方法の効率はよくなく、層を深くするしかありませんでした

しかし層を深くするとラメルハートらの手法では上手く結合強度を学習することができませんでした

勾配消失・爆発問題と呼ばれています

こうして第2次ニューラルネットブームは過ぎ去っていきました

ジェフェリー・ヒントンはバックプロパゲーション提唱後も深い層を持つニューラルネットワークの実現に挑戦し続けていました

ヒントンは2006年にディープラー二ングというアイデアで深い層を持つニューラルネットワークを実現しました

彼は、各層ごとに先にある程度の初期値に当たりをつけました 各層ごとに結合強度の初期値を求めるため、ニューラルネットワークを一層ずつ切り出して層への入力と出力が上手く情報圧縮できるように結合強度を与えました

2014年にイアン・グッドフェローらによってGAN敵対生成ネットワークが発表されました

2つのニューラルネットワークで構築されていて、この２つのネットワークが互いに競い合いながら学習をします

生成器と識別器という2つのニューラルネットに分けられます

生成器では識別器を騙す為のランダムなノイズとして画像や音声などのデータを生成します

識別器では生成物が作りだしたデータを偽物だと判断する為に生成物が作り出した偽のデータと本物をデータを区別します

GANはこの生成器と識別器が交互に学習するという敵対的な訓練で双方の性能を向上させています

１生成器がランダムなノイズを使い偽データ生成する

２識別器は生成器が作った偽のデータと実際のデータを区別しようとする

３生成器は識別器を騙すためにデータの品質を向上させ、識別器は騙されないように改良を続ける

この１～３のプロセスを繰り返すことで生成器がよりリアルなデータを作り出すことが出来るようになって、最終的には本物と気別がつかないほど高品質なデータを生成することが出来るようになる

その後googleの8人の研究者によって「Attention Is All You Need」という論文が出され、googleによりTransfomerと呼ばれる深層学習のモデルが2017年に発表されました

Transfomerは、生成AIやLLMに利用され、2018年にはGPT1が出来、2022年にはstablediffusionがミュンヘン大学のグループにより作られる、2022年11月にはchatGPTが発表され、2024年9月にchatGPTo1という論理的な推論を得意としたモデルが産まれました