2025年12月29日

◆ AIの基本原理 .5 (秘訣)

 前回の話を受けて、Grok の方式の秘訣を探る。その方式はいったい何をやっているのか? 

 ──

 Grok は AlphaZero の方式だ。では、その方式はいったい何をやっているのか? 技術的な意味は? ……疑問に思ったが、Grok は白状しそうもない。
 かわりに、ChatGPT に質問した。だが ChatGPTは細かな話ばかりして、上手に核心を答えられない。そこで私が「こうだろう」と推定したら、ChatGPTは「あ、そうです」と認めた。


 ※ 前項では AlphaZero の方式だと述べたが、本項では歴史的経緯から して AlphaGo の方式というふうに述べている。特に両者を区別しないで、両者を一体的に表現している。( AlphaGo/AlphaZero の方式、と読み替えてもいい。) 


 ──

 以下の議論の冒頭では、ノーベル賞について言及している。これは AlphaGo の開発者がノーベル賞を取ったことに関連する。
  → http://openblog.seesaa.net/article/505181817.html



 [ 付記 ]
 こうして真相は判明した。
 最新AIが機能アップした理由は、思考回路を精選したことである。無駄な思考回路をそぎ落としたことである。これは「物事の核心を探る」という秀才型の思考を取ることに相当する。

 Transformer は、情報量を大幅に拡大することで、急激な思考力アップを果たした。それは Grokking という言葉で呼ばれた。
 AlphaGo型は、思考回路を精選することで急激な思考力アップを果たした。それは Transformer の「拡大」とは逆の「縮小」という方法だった。Grok は、その名前とは逆に、Grokking とは正反対の手法を取り入れることで、大幅に進歩できたのだ。(名は体を表さず。皮肉だね。)

 ともあれ、こうしてAIは優れた思考力を獲得した。Transformer は「人間の真似をしよう」としたが、AlphaGo型は、「優秀な人間の真似をしよう」とした。だから優れた思考力を獲得したのである。
 前々項では、「言語力の延長上に思考力がある」と記した。その意味が、本項では赤裸々に解明されたことになる。





 ※ 元の文書は
  → https://chatgpt.com/share/69411cdc-9530-8007-8ab2-360f59bcdf44


posted by 管理人 at 21:30 | Comment(0) | コンピュータ_04 | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前: [必須入力]

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

  ※ コメントが掲載されるまで、時間がかかることがあります。

過去ログ