──
Transformer の本質
言語ＡＩは、Transformer という手法を用いる。それは「穴埋め」式で、そこに位置する単語を予想するものだ。（前項）
では、それはいったい何を意味するのか？ また、それがなぜ飛躍的な発展をもたらしたのか？ そもそも、「穴埋め」式で単語を予想するというような手法を開発した人は、なぜそんな手法を導入したのか？ （手当たりしだいに、わけもなく、そこらにあるものを拾って導入したのではあるまいし。）
これはつまり、「 Transformer の本質は何か？」ということだ。
その問いに、私なりに答えよう。こうだ。
「 Transformer の手法は、言語の統語関係を理解するための手法だ」
ここでは「統語」という言葉が出てくる。この言葉について解説しよう。
言語の機能は、主として、二つの分けられる。
一つは、言語の意味だ。たとえば、「 Apple 」という単語には、次のような意味がある。
・ その植物種の赤い木の実
・ その植物種
・ その名のコンピュータメーカー
・ その名のレコードレーベル
このように、いくつもの意味がある。
同様に、他の単語にも、それぞれの意味がある。具体的にどの意味が該当するかは、文脈からわかる。稀に二つの意味がともに含意されることがあり、そのときは「ダジャレ」や「かけことば」などと言われることもある。
もう一つは、文章における単語間の関係だ。たとえば、次の文がある。
「 Apple はジョブズの設立したコンピュータ会社である」
この文では、次のように単語を分割できる。
「 Apple /は/ジョブズ/の/設立した/コンピュータ/会社/である」
ここで、それぞれの単語は、一つの文の中で、文法的に関連しあっている。このときの文法的な関連の仕方が、統語だ。（統語関係ともいう。）
──
一つの文を理解するということは、単語の意味を理解すると同時に、文における統語関係をも理解することだ。
ここで、「 Apple 」という語は、意味場において、他の類語と対比される。たとえば、次のように。
・ Microsoft や、パロアルトと対比される。
・ Next 社と対比される。
・ Android の Google と対比される。
・ 就職先としてテスラ社と対比される。
このように、対比される概念に応じて、「 Apple 」という語の性質もいくらか変わってくる。なお、このとき、対比される概念は、その文の中には出てこないのが普通だ。
一方、統語の場合には、関係を持つ単語はすべてその文に現れている。その上で、それぞれの単語が一定の文法的な関係を持つ。
では、その文法的な関係とは、どのようなものか？ それを理解させるには、機械に文法というものを教えればいい。しかし、機械に文法を教えるというのは、いったいどうやればいいのか？ コンピュータ学者は言語学者とは違うので、言語的な文法を機械に教えるという方法がわからなかった。
そこで現れたのが、Transformer という手法だ。ここでは、文法の規則をいちいち教えたりしない。それは、普通の幼児が文法の規則をいちいち学ばないのと同様である。幼児は文法の規則を知って言葉を理解するのではない。用例の経験によって言葉を理解するのだ。……そこで、「用例の経験を大量に与える」という手法を取ったのが、Transformer だ。そして、この際、「穴埋めふうに予想する」という手法で、用例を学ぶことにしたのだ。
そのとき、言語ＡＩは、統語の能力を獲得することに成功した。かくて意味だけでなく統語の能力も兼ね備えることによって、言語ＡＩは初めて文章をまともに理解できるようになったのだ。
※ ここでは「統語関係」という新たな理解能力を獲得した、という点に注目しよう。
※ 次項に続きます。
言語とはそういうもので、常につぎに続く言葉を予想しながら会話しているのだと思います。よく英語は読めるけれど聞き取れないと言われますが、実は継続語予想能力がないから聞き取れないのだと思います。（単語の学習が足りないのも確かでが）
パーセプトロンや偏微分などＡＩの基本原理はある程度分かったつもりでしたが、それを言語や絵画などへ応用するやり方が分かっていませんでした。