──
画像認識するＡＩ（ディープラーニング方式）が誤認することがある。そこで、「どうしてそう認識したか」を説明させる研究が進んでいるそうだ。ＡＩに対するＸＡＩ（ eXplainable AI ）というもの。
下記の記事。
→ なぜクマとバイソン間違う？ ＡＩに説明責任求める人類：朝日新聞
→ （同じ記事の全文：ログインで）
一部抜粋しよう。
人工知能（ＡＩ）の活用が広がる中、クルマの自動運転や医療、軍事など、人命や経済損失につながる分野で使うには、「なぜその結論を出したのか」が人間には分からないことが大きな課題になっている。ＡＩを信頼するためにカギとなる「説明できるＡＩ」を実現しようと、様々な取り組みが国内外で進む。
一方、その能力をさらに発揮するには大きな課題もある。高性能ＡＩの正体は、コンピューターでしか解けない極めて複雑な計算式のようなものだ。結論だけを提示する「ブラックボックス」で、その判断によって人命や財産に損害が出た際に検証が難しく、実用化の壁になっている。
ＸＡＩとは、様々な工夫を凝らしてＡＩの思考過程を人間が理解できるようにする技術だ。特に、自動運転や医療、金融、司法などでＡＩを本格的に活用するには、過程を検証できることが重要で、国内外で研究が進められている。
大阪大産業科学研究所の原聡助教は、ＡＩが画像のどこに注目しているのかを可視化する研究をしている。例えば、ヒグマが写った様々な画像をＡＩに見せ、「ヒグマ」と認識できるか調べる場合、正しく認識できていると、ヒグマ以外は赤く塗りつぶされて表示される。ＡＩがヒグマだけを注目していたことが、人間にもわかる仕組みだ。
一方、ＡＩがヒグマを「バイソン」と誤認識した例では、ヒグマの後ろにある自動車の一部も塗りつぶされずに残っていた。これを人間が見れば、「ＡＩはヒグマ以外も注目して間違えたらしい」と判断でき、原因の検証にも生かせる。
まあ、そうなのだろうが、最後のところはわかりにくいだろう。「ヒグマ以外も注目して間違えた」というが、ヒグマ以外も注目すると、どうしてバイソンに間違えるのか？
朝日の記事には、上の画像がある。ここでは、「自動車の画像といっしょに映っていると、バイソンに間違えやすい」らしいとわかる。
では、どうしてか？ これはちょっとした謎である。
「自動車の形を、バイソンのツノと誤認したからである」
というような説明も思いつくが、そういうことはありそうにない。（自動車とツノでは形が違いすぎる。）
かくて、謎が残る。
──
私が推定したのは、こうだ。
「バイソンの写真には、道路を走る自動車といっしょに映っているものが多いからだ」
こう推定して、ググってみたところ、まさしくそうだとわかった。
→ Google 画像検索
バイソンの写真には、道路を走る自動車といっしょに映っているものが多い。だから、道路を走る自動車といっしょに映っているヒグマを見ると、バイソンだと誤認するのである。
ここでは、ヒグマをバイソンだと誤認するのではなく、道路を走る自動車といっしょに映っているものをバイソンだと誤認するのだ。
こうして、謎に対する回答が与えられた。
しかし、検索ワードを”バイソン + 道路”と設定すれば、車と写る画像が多くなるのは当たり前では？
ヒグマでも同じことは起こりますよ。
で画像検索した結果、白い自動車といっしょに移っている静止画は、一つもありませんでした。（上位 100件ぐらいを見て）
・ 白でなく紺色の自動車ならば２件ある。しかし紺色は不適。
・ 白い自動車の背面も１件あるが、背面は不適。
・ 白い自動車の前面の画像も２件あるが、それは同じ YouTube の動画のキャプチャ画像だから、静止画ではない。
［タイトル：ヒグマにであったら（道路編）］
一方、バイソンならば、多数ヒットする。
＞ 検索ワードを”バイソン + 道路”と設定すれば、車と写る画像が多くなるのは当たり前では？
それはそうだけど、別に問題はないです。ここでは、比率を問題にしているんじゃなくて、存在性を示してるだけです。
元の画像が自動車つきなんだから、自動車つきのものだけを見出せばいい。
ヒグマの方では、見出せなかった。上記の通り。
それは、自動車を認識する場合。
今は動物を認識する場合に、どんな余剰情報が紛れ込むか、という話をしている。
白い自動車だと紛れ込むだろう、というわけ。
あながち、間違いだとも言い切れない。［白い自動車といっしょに写っているのは、ヒグマよりもバイソンである可能性が高い」と認識したとしても、当たっていることも多いかもしれないし。
今回の画像認識の謎は、AIに対してWhy/Becauseのなぜなぜ分析を数段（人間の場合5段くらいらしいです）かけると答えが出るかもしれません。
AIの自己学習に組み入れていれば、AI自身は理由を認識しているけど、人類には教えないという嫌な論理まで学習しそうで、ちょっと気持ち悪いです（杞憂）。
ブログ主へにお願いとなるが、ブログ主が気に入らない意見でも掲載したままにしていただけないであろうか。
＞ ブログ主のコメントが読んでいて意味がわからない
それもごもっともなので、私のコメントも削除しました。
一方、今回削除したのは、
・ 罵倒、誹謗中傷のような法律違反行為が含まれる。
・ 内容には、読む価値がない。読むデメリットが大きすぎる。
・ 数が 100ぐらいになって、多すぎる。まともなコメントが埋もれて読めなくなる。
要するに、スパムです。どうしても大量のスパムを読みたければ、スパムメールでも集めて読むといいでしょう。
なお、まともなコメント（ゴミでないもの）も１％ぐらいはあったので、それらは残しています。