──
ＡＩの思考過程は不明である、と言われることが多い。ただし、これは比喩的な表現だ。ＡＩは「思考している」わけではないからだ。
正確に言えば、「ＡＩがそのような結論を出す過程が不明である」ということだ。この過程は、思考の過程ではなくて、電子的ないしソフト的な過程である。
たとえば、ＡＩの「アルファGO」は、対局中に、次の一手を結論するが、「どうしてその一手を選んだか」は、外からは不明である。
実際、アルファGO は、人間の達人との初期の対戦（イ・セドル戦）で、不可解な手を指して、敗北したことがあったが、どうしてその不可解な手を選んだのかは、外からは不明であった。
黒87から101にかけてAlphaGoは大悪手を連発した。
（ → AlphaGo対李世ドル - Wikipedia ）
アルファGO は、途中まで優勢に指していたのだが、あるとき突然、人間の側が特別な一手を出した。それは、それまでのアルファGOの優位を突き崩す妙手であり、アルファGO にとっては想定外のものであった。見ていた人にとっては「神の一手」とも評されるものであり、「イ・セドルにとっての傑作であり、囲碁の歴史における名局となることはほぼ確実だろう」とも称えられるものだった。それほどの妙手を受けて、アルファGO はとんでもない悪手を連発したらしい。まるで、人間が狼狽するように。
だが、形成が悪化したとはいえ、決定的に敗北したわけでもないのに、どうしてそういう大悪手を連発したのかは、外で見ている人々には不明であったそうだ。
ここで、私なりに解釈すれば、次のようにも推定できる。
「イ・セドルが特別な妙手を出したことで、アルファGO はそれまでの優勢を失って、ほぼ対等（若干の劣勢）になった、と人間は判定した。だから、そのまま、その状況で最善手を打ち続ければ、アルファGO はほぼ対等の状況を維持できたはずあ、と人間は判定した。だから、状況を悪化させるような手を打つことが、理解できなかった。
しかし、アルファGO はそう認識しなかったのだろう。イ・セドルが特別な妙手を出したことで、アルファGO はそれまでの優勢を失ったが、ほぼ対等になったのではなく、圧倒的に劣勢になったと判定したのだろう。人間の側がこのままアルファGO のレベルで最善手を出し続ければ、アルファGO の側は間違いなく敗北する、と判定したのだろう。だからこそ、もはや敗北は絶対的に避けられないという判断の下で、少しでも《 まぎれ 》をもたらすような、相手の意表を突くような手を出そうとしたのだろう」
ま、これが当たっているかどうかはわからないが、そういう解釈もできそうだ。
──
話を戻す。
ともあれ、「ＡＩが結論を出す過程は見えない」というのが、これまでの共通認識だった。
しかしながら、私としては、それを否定したい。つまり、こうだ。
「ＡＩが結論を出す過程を、ある程度は見えるようにすることが可能であるはずだ」
なぜか？ （ディープラーニングの）ＡＩというのは、原理的に、パーセプトロンというモデルを使ったものものである。このことは、先に下記項目で述べたとおり。
→ AI とディープラーニング １: Open ブログ
《 パーセプトロン 》
 |
出典
（この図は、もともと最初の提唱者による図だし、
同じような図はネットのあちこちにある。）
ここで注意。この（多段階の層をもつ）パーセプトロンは、半導体によって物理的に構成されているものではなく、ソフトウェア的にシミュレーションされているものだ。
入力層に入った電気信号が、次々と層を経て、後の層に送られる。だが、そのことは、実際に電気信号が伝わるのではなく、「電気信号が伝わる」ということを、ソフトウェア的にシミュレートしているだけだ。
とすれば、その電気信号が伝わる過程は、ある程度は、記録したり分析したりすることが可能なのである。
たとえば、アルファGO の特徴抽出に電気信号がどういうふうに伝わったかを、個別に記録した上で、そこから特定の法則が見出されるような過程を、うまく発見することもできそうだ。
それはつまり、「ＡＩの思考過程を見る」ということに相当する。
そして、そういうことを一般的になし遂げれば、「ＡＩの思考過程を見る」ということが、かなり広範に実現しそうだ。
──
以上のように考えたのだが、そこでふと反省しながら思った。
「このようなことは、私が独自に考えるまでもなく、すでにＡＩの関係者が実現しているのでは？」
そう思って、ググってみたところ、世界の一部では、すでにそれが研究開発されているそうだ。１カ月ほど前の記事に、その話がある。
→ 人工知能の思考過程を可視化する、「AI監視ツール」を生み出すスタートアップ企業たち｜WIRED.jp
なるほど。私が考えたようなことは、すでに世界の第一線では研究済みであるようだ。
というわけで、本項の話は、私の独創ではない。同様のことは、すでに世界の最先端では研究開発中である。
ただ、私の独創であるかどうかには関係なく、この話題はテーマとしては面白い。そこで、本項で紹介しておいた。
［ 付記 ］
パーセプトロンには「特徴抽出器」がある。これが重要だ。（特徴抽出器の種類、分布、段構成など。）
囲碁ならば、近くにある碁石の配置（ケイマやコスミなどの配置）だけでなく、遠くにある碁石の配置も大切だ。
ただ、近くにある碁石の配置ならば、種類が限られているので、人間にもわかりやすい。一方、遠くにある碁石の配置は、あまりにも多種多様であり、とてもパターン化しづらい。（何千・何万ものパターンをすべて覚えて、あれこれ分類することなど、とてもできない。記憶容量が小さいからだ。）
一方、ＡＩならば、そういうことができる。（記憶容量がすごく大きいからだ。）
このことから、次のような（打ち方の）差が生じるのだろう。
・ 人間は、局地的な優勢を構築しようとする。
・ ＡＩは、大局的な優勢を構築しようとする。
人間は、狭い領域で、局地的な優勢を構築しようとする。それぞれの狭い領域で優勢になれば、その総和で優勢になれると考える。
ＡＩは、狭い領域での優勢にはこだわらない。それぞれの領域では不利であってもいい。むしろ、大局的な優勢を狙って、途中では人間には理解できないような手を打つ。そのまま、手がどんどん進むと、それまでは「人間にとって意味のなかった石」が、「非常に大きな重要性をもつ石」だと判明するようになる。かくて、人間の側は、どうしてこうなったのかわからないまま、いつのまにか、部分的な優勢という状況を失い、全体での劣勢という状況に陥る。……そして、そういうことが起こるのも、人間が「大局的な特徴抽出」ができないからなのだ。
以上のように理解することができるだろう。
【 関連項目 】
→ AI とディープラーニング ２: Open ブログ
一部抜粋。
AI はどうか？ 基本的には人間と同じ打ち方をするが、部分的には人間にはない打ち方をする。それは、「部分的な勢力圏を作ってから、その勢力圏を拡張する」という方法を越えた方法だ。
人間は、とにかく自分の領域を部分的に確保したがる。「ここはおれの領域だ」というのを確保したがる。そうして自分の領域を確保してから、その確保した領域をどんどん拡大したがる。部分的な勝利を得てから、部分的な勝利の数を増やそうとする。そのことで最終的な勝利を取ろうとする。
AI は違う。部分的な勝利にこだわらない。もちろん、敗北を許容するわけではないのだが、勝利だか敗北だかわからないような曖昧な領域をたくさん作っていく。人間はせっせと自分の部分的な勝利を積み重ねていくのだが、その間、AI はちっとも部分的な勝利の数を増やさない。それを見て、人間は「こっちはこれほどにも部分的な勝利を積み重ねたぞ。こっちが圧倒的に有利だ」と思い込む。「それにしても AI はなぜ、あんなわけのわからない曖昧な石を打っているのだろう」と疑問に思う。しかし、手が進むにつれて、AI が打った曖昧な石は、実は重要な意味を持つとわかってくる。
【 関連項目 】
前項では、「女性への評価を下げるＡＩ」というものを紹介した。
→ ＡＩと差別: Open ブログ
このようなＡＩの思考過程も、ある程度は、可視化することが可能だろう。つまり、「どうしてそういうふうな結果になったか」を、ある程度は説明することが可能だろう。
そういうことをわきまえることで、前項で述べたように、「ＡＩを知的なツールとして使う」ということが、うまくできるようになるはずだ。
人間が制御できないシステムはナンセンス極まりないです。
ただし、特別な工夫を加えれば、かろうじて部分的には「見える」部分を発生させることができるだろう、というのが本項の趣旨。何もしない限りは、何も見えません。かなり技巧的な数学ふうのテクニックを駆使する必要があるので、数学の天才みたいな人でないと、やるのは無理でしょう。ハッカーの一種かな。
ネットワークのハッカーというのが、広く知られてきたが、今後は ＡＩのハッカーというのが出てくるかもしれない。（かなり意味合いは違うが、達人というような意味で。）