──
言語ＡＩの原理
言語ＡＩの原理はどうなっているのか？
それについては、前に「パーセプトロン」という概念で説明した。その図を再掲しよう。
パーセプトロン
この図の意味は、該当項目で説明した。そちらを参照。
→ ＡＩが考えるには？ .1: Open ブログ
ここで、パーセプトロンは何をやっているかというと、次のことだ。
「前の層の各細胞から受けた信号を、重みづけした上で、総和を取る」
ここでは、総和を取る Σ という数式を使って書かれる。次の記事で説明されているとおり。
→ 多層パーセプトロン - Wikipedia
この層を増やせば増やすほど、思考の能力が上がることになる。人間の脳では、およそ６ぐらいの層があるようだ。
神経細胞が多数存在している大脳皮質には、神経細胞が一様に雑に配置されているわけではなく、神経細胞の配列の特徴から、おおよそ６つの層構造が形成されています。配列している神経細胞の大きさや形、密度の違いから、顕微鏡的には、分子層、外顆粒細胞層、外錐体細胞層、内顆粒細胞層、内錐体細胞層、多形細胞層が区別されます。しかし、これらの６層の厚さなどは、大脳皮質の場所によって様々であり、それぞれの層における神経細胞の大きさや形などもまちまちです。つまり、大脳皮質は大脳の場所によって微妙に構造が違っていて、それが大脳皮質の機能と何らか関係していることが、わかってきました。
（ → Nursing Care and Pathological Database of ALS：脳神経解剖の基本 ）
- ※ 実を言うと、上記で言う６つの層は、細胞学的・生理学的な意味の構造における層であって、パーセプトロンという機能としての層ではない。ただ、それでも、パーセプトロンという機能としての層もまた、おおざっぱに６つぐらいの層であるらしい。たまたまの一致だが。
ＡＩではどうか？ ＡＩでは、現実にパーセプトロンの層を構築するわけではない。パーセプトロンの性能を持つ半導体というものを仮想的に構築して、その仮想的な半導体を通常のコンピュータでシミュレートとする。「仮想パーセプトロン」とも言える。その「仮想パーセプトロン」が高速で稼働することで、パーセプトロン型のＡＩができる。
ここで、パーセプトロンの層は、いくらでも増やすことができる。人間の脳の層が６ぐらいに限られているのに対して、ＡＩではもっと多く増やすこともできる。その意味では、ＡＩは人間よりもはるかに知能が高くなる能力を秘めている。
さらに、次の重要な定理がある。
多層パーセプトロンが全てのニューロンにおいて線形活性化関数、すなわち、個々のニューロンの出力に重み付けされた入力をマップする線形関数を持つとすると、線形代数から、いかなる数の層も2層からなる入力-出力モデルに削減することができることが示される。
（ → 多層パーセプトロン - Wikipedia ）
つまり、たくさんの層をもつパーセプトロンというのは、二つの層をもつパーセプトロンと等価になる。ただし後者のパーセプトロンは、二つの層の対応関係（いわば配線）が、ものすごく複雑になっている。
逆に言えば、二つの層の配線をものすごく複雑にするのと同等の効果が、層を増やすことによってなされるのだ。そこに人間の脳の能力の高さの理由がある。
また、脳が大きければ大きいほど（皮質が厚ければ厚いほど）、動物の知能が高い、ということの説明にもなる。
※ このような「パーセプトロン」という原理を用いたＡＩを、Deep Learning と呼ぶ。これは、それ以前のＡＩとは種類が違う。昔の「第五世代コンピュータ」のころは、Prolog のような論理言語を使うことが原則となっており、パーセプトロンの原理は使われていなかった。
言語ＡＩと思考
パーセプトロンというのは、ただの仮説的モデルであるにすぎない。これで脳の機能を説明できそうだ、というふうに提出された仮説的モデルだ。それが現実の脳と同じである保証はない。むしろ、人間の脳はパーセプトロンでは説明しきれないはずで、もっと何か神秘的な機能をもっているはずだ、と想定されてきた。
ところが、である。囲碁ＡＩである AlphaGo は、パーセプトロンの原理を用いることで、人間を圧倒する能力を獲得した。これは以前のＡＩとはレベルがまったく異なるものだった。
それが 2015年のことだった。そこから７年を経て、2022年の後半になると、絵画ＡＩと言語ＡＩが圧倒的な成果を見せた。そのどちらも、パーセプトロンの原理を使って、それまでにない圧倒的な成果を見せたのだ。
→ 言語 ＡＩの急激な発展: Open ブログ
ここでは、「ＡＩの能力が人間に一挙に追いついた」のではない。部分的ではあるが、「ＡＩの能力が人間を一挙に越えた」のである。
・ 絵画ＡＩは、凡庸なプロのレベルをはるかにしのぐ。一流絵師並みだ。
・ 言語ＡＩは、一見したところでは専門家の書いた文章と見分けが付かないレベルだ。
いずれにせよ、並みの凡人のレベルを大きく超えている。「あらゆる分野で専門家に近いレベル」となると、普通の人間にはできないことだ。この意味では、人間以上だとも言える。
また、各種入試の問題をパスできる能力も確認された。
→ ChatGPTに共通テスト（旧センター試験）を解かせてみた
→ ChatGPTがMBAの試験に合格 教育分野での可能性と限界について考える（リアルサウンド）
2023年3月に公開されたGPT-4版では、推論能力の向上により、Uniform Bar Examで上位10％に相当する成績を出せるまでに成長した。
（ → 人工知能が日本の司法試験に挑戦！ ChatGPT有料版の正答率は何％？GPT-4による追試結果も | クラウドサイン ）
以上のことからして、何がわかるか？
世間では「ＡＩの能力がすごい」というふうに騒いでいるだけだ。だが、ここでは次のことに着目するべきだ。
人間の思考とは何か？ それは神秘のベールに隠されていると思われてきた。人間にはとうてい窺い知れぬ神秘な構造があると思われてきた。
しかし実は、パーセプトロンという単純な構造だけで、人間の思考のすべては説明できるのである。囲碁の能力も、絵画の能力も、言語の能力も、それぞれの能力は独自の複雑な構造を持つのではなく、いずれも「パーセプトロン」という単純な構造で説明できるのだ。
もちろんそこには非常に複雑な回路構成がある。だが、その複雑な回路構成は、「パーセプトロンの層を多層化する」ということだけで実現されてしまうのだ。高度で複雑な機能が、単純な構造を多層化するということだけで実現されてしまうのだ。……こうして人間の脳の複雑な機能が、パーセプトロンという簡単な原理で説明されることになった。
そして、パーセプトロンという原理さえあれば、あとはもはや何も必要ないのである。細かく言えば、チューニングするために細かな技術的な工夫はなされているのだが、それは細かな小手先の話にすぎない。原理としては、パーセプトロンという簡単な原理があるだけで十分なのだ。
複雑な現象が単純な原理で説明できる。……こうして人類は真実に到達できたと言えるわけだ。これまでずっと「最後の謎」と思えてきた脳の知性について。
※ 次項に続きます。
の箇所を、新たに加筆しました。
細かい話なので、そこは重要じゃないということであればもちろん無視していただいてかまいません
＞つまり、たくさんの層をもつパーセプトロンというのは、二つの層をもつパーセプトロンと等価になる。
＞ただし後者のパーセプトロンは、二つの層の対応関係（いわば配線）が、ものすごく複雑になっている。
＞逆に言えば、二つの層の配線をものすごく複雑にするのと同等の効果が、層を増やすことによってなされるのだ。
＞そこに人間の脳の能力の高さの理由がある。
ここ、ちょっと違ってまして、線形な計算をどれだけ複雑に組み合わせても、それは単純な線形な計算で表すことが
できるという意味です。層を増やしてどれだけ複雑な配線を作っても、それは2層のシンプルな配線で行う計算と何ら
変わりないということなので、「線形な計算だけを行う層を増やして複雑な配線を行うことに意味はない」という
ことを表しています。
重要なのは、引用されているWikipediaの次で述べられている
＞MLPでは、一部のニューロンは、生物学的ニューロンの活動電位の頻度および発火をモデル化するために
＞開発された「非線形」活性化関数を用いる。
の部分で、「非線形」な計算をパーセプトロンの層の間に挟むことで、層を重ねれば重ねるほど、線形な計算では
行えないような複雑な計算を行うことができるようになるといういことです。実際に深層学習で使われている
多層パーセプトロンでは、間の活性化関数には非線形な関数が使われています。結局のところ、層を重ねることが重要
だという結論は変わらないのですが、そちらの説明の中で、「線形」な層を積み重ねることが重要だという趣旨の
内容になっているような気がしましたので指摘しました。
もう一点は
＞しかし実は、パーセプトロンという単純な構造だけで、人間の思考のすべては説明できるのである。
＞略
＞こうして人間の脳の複雑な機能が、パーセプトロンという簡単な原理で説明されることになった。
＞そして、パーセプトロンという原理さえあれば、あとはもはや何も必要ないのである。
＞略
＞複雑な現象が単純な原理で説明できる。……こうして人類は真実に到達できたと言えるわけだ。
＞これまでずっと「最後の謎」と思えてきた脳の知性について。
とあるのですが、後の「言語ＡＩの原理と能力 .6」の
＞どうしてこういう誤答が出てくるのか？ それは、言語ＡＩは何も考えていないからだ。
＞単に言葉を表面的に処理しているだけだからだ。言葉の意味を理解しているように見えても、
＞実は言葉の意味などまったく理解していない。単に言葉の関係性を統計的な頻度によって見出して、
＞言葉と言葉の関係性に従って文章を生成しているだけだからだ。そのとき、どのような回答文が
＞生成されたとしても、言語ＡＩ自身はその文章の意味をまったく理解できていないのである。
の部分と矛盾しているような気がしました。実際に、人間の脳は、6で示されている計算問題は簡単に
正しく計算できるわけですから、「しかし実は、パーセプトロンという単純な構造だけで、人間の思考の
すべては説明できるのである。」と結論づけることはできないのではないでしょうか？
個人的にはTransfomerを使ったAIは人間の知性にかなり近づいたとは言えるが、まだ人間の脳の知性に
たどり着くためにはいくつかの新たなブレイクスルーが必要ではないかと思っています。
6回もの長さにわけて説明されているので、最初に書いていたこととかなり後で書いたことの
間で整合性が取れないことはまあ仕方がないことかと思いますし、論文ではないので、そこまでの
整合性は必要ないかとも思いましたが、ちょっと気になったので指摘しました。
最初に書きましたが、どうでもよいと思われたのであれば、無視して下さい。
と、ここまで書いて見直してたところ思ったのですが、もしかすると「パーセプトロンで人間の
思考のすべては説明できる」、しかし今のAIでうまくいっていないのは、人間が作ったAIでのパーセ
プトロンの使い方が間違っているからで、まだ見つかってないがうまいことやればパーセプトロンだけで
人間の思考は作れるはずだという主張でしょうか？その場合でも個人的にちょっと無理があるような
気がしますが、気になったので追記しました。
(2) 人間の思考とパーセプトロンの話は、なるほど、うまいところを突いてきましたね。頭いい。私は気がつかなかった。
この件の説明は、話が長くなったので、下記項目の最後に 【 追記 】 として記しました。
→ http://openblog.seesaa.net/article/499885690.html#ps