──
ＡＩの難点の発見
ChatGPT のようなＡＩを使いこなそうという機運が広がっているが、その危険性も懸念されている。そこであらかじめ難点を探そうという企画がなされた。優秀なハッカー 2000人を集めて、難点をあぶり出そうというのだ。
対話型AI（人工知能）「ChatGPT（チャットGPT）」など最新のAI技術は、どんなしくみかわからない「ブラックボックス」といわれる。開発は一部の米IT企業が占め、偽情報に基づく回答やバイアス（偏り）も指摘される。AIの安全性を高めるため、より公平で多様な視点を取り入れる「民主的」な方法はないか。米国で今夏、壮大な実験が行われた。
ラスベガスの巨大会議場。AIの基盤技術「大規模言語モデル（LLM）」の弱点を探す検証コンテストが初めて開かれた。全米から集まった2千人超のハッカーたちが100台以上のノートパソコンを前に手を動かしていた。
「セキュリティー（安全性）」「人種差別」「政治的な偽情報」「人権侵害」など21項目で、ハッカーがAIからどれだけ多くの「不適切な回答」を引き出せるかを競った。
（ → 生成AIの弱点あぶり出せ バイアス正すハッカー2千人、米国で実験：朝日新聞 ）
記事ではハッカーがＡＩをうまくだました一例が紹介されていたが、たいして面白くもない。この記事を読んだ読者は、「つまらん」とがっかりしただろう。その上で、本ブログに期待するかもしれない。
「他人の論理のアラ探しをして喜ぶというのは、性格の悪い管理人が、いかにもやりそうなことだ。だから、Openブログでもハッカーみたいに、ＡＩのアラ探しをすればいい。どうせアラ探しは得意だろ。頼まれなくてもやるくらいだし」
と。うむ。そう指摘した人は鋭いですね。管理人の性格の悪さを見抜いている。
サイエンスZERO
ＡＩの弱点を探して、うまく使いこなす……という事例は、前に NHKの「サイエンスZERO」で紹介されたことがある。内容紹介は下記。
→ ｢ChatGPT」について、使い方を分かりやすく解説します（まとめ） | なんでも保管庫3
番組では、「連立方程式を与えると、その解答を出す」という事例が示されていた。たしかに方程式を上手に解いて、もっともらしい解答を出すのだが、その回答は誤答であった。
また、鶴亀算を使うような小学生レベルの文章問題を与える事例もあった。すると、たしかに方程式を上手に解いて、もっともらしい解答を出すのだが、その回答は誤答であった。
では、どうすればいいのか？ 上の記事から引用しよう。
GPT-3は何度も計算を繰り返したり、何度も推論を繰り返すような問題が苦手。似たような問題を600問ほど解かせたところ、正答率はたった17.7%しかありませんでした。
AIに深く考えてもらうにはどうしたらよいのか。小島さんは問題（質問）の最後にいろいろなフレーズを付けることにしました。
たとえば、「論理的に考えてみよう (Let's think about logically.)」。その結果、600問の正答率は74.8%にもアップしたのです。
「段階的に考えよう。(Let's think step by step.)」といれると、正答率は更に上がり、78.7%になりました。
これと似たことは、前にも紹介したことがある。
「あなたは＊＊＊の専門家です」というフレーズを付け加えると、その分野の正答率が向上するのだ。たとえば、次のように。
「あなたは内科の専門医です。次の症状を診断してください」
「あなたは翻訳の専門家です。次の文章を翻訳してください」
このようなフレーズを冒頭に付け加えると、回答の正確度が大幅に向上するのだ。
それと同様のことが、上記の「論理的に考えてみよう (Let's think about logically.)」などにも成立すると言えるだろう。（こちらは文末に付け加えるフレーズだ。呪文とも言う。）
私の指摘
上記の事例を見た上で、いよいよ読者の期待に応えて、私の指摘を示そう。下記の通り。
ここに水があるとして、その水を沸騰させて蒸発させるには、エネルギーが必要だ。そのエネルギーはどのくらいか？ おおざっぱには、水の量と、その水を蒸発させるのに必要な石油の量は、同じぐらいの量になりそうだ、と見当が付く。
そこで次の質問を考えた。
「1グラムの冷水を蒸発させるために必要な石油の量はどれだけか？」
これに対して、まずは普通にググってみたがが、回答は出てこない。関連する基礎データは出てくるが、その基礎データを使って、人手で計算することが必要だ。計算結果までは表示されない。これでは計算が面倒だ。
そこで計算結果まで知るために、ＡＩ に質問してみた。（ BingAI もとい）Copilot に質問すると、さっそく回答を得た。きちんとデータを出して、計算式を与えて、掛け算と割り算の結果として、一定の数値を出した。説明つき。
これできちんと正解を得た……と見えたが、残念。その回答は誤答だった。つまり、もっともらしい嘘八百だったのだ。（結果は「ほぼ同量」ではなく、「圧倒的に少ない量」の石油で水が蒸発することになった。そんなに少ないわけがないだろ、とすぐにわかる。）
こうして「アラ探し」という当初の目的は達した。ハッカー並みだ。ただしそれで話が終わってはつまらない。
ＡＩの「アラ探し」はできたが、そのアラ（間違い）はどこから生じたのか？ それを探ろう。
計算式を見ると、石油の発熱量を考慮していないとわかる。だから、きちんとした計算ができなかったのだ。思考過程が足りなかったわけだ。
そこで、いわば補助線を引くように、思考過程に足りないものを足してあげるといい。つまり、石油の発熱量を考慮していないのだから、石油の発熱量を考慮しろと教えればいい。（ヒントを告げるわけだ。）
新たな質問文は、こうだ。
「1グラムの冷水を蒸発させるために必要な灯油の量はどれだけか？ 灯油の発熱量を考慮して計算せよ」
ここでは、きちんとしたデータを得られるように、「石油」でなく「灯油」と指定した。また、「灯油の発熱量を考慮して計算せよ」とヒントを与えて、論理的な思考ができるようにした。
この新たな質問文に対しては、おおむね正しい計算結果が出た。長いので、ここには引用しないが、最後の数値だけを示すと、こうだ。
「1グラムの冷水を蒸発させるために必要な灯油の量は、2.7 mL です」
※ 出力の結果は各自が試してみるといい。
※ ただし、この計算式では、「低温の水を 100度まで沸騰させるための温度上昇にかかるための熱量」は、考慮されていないようだ。その点は、不正確だ。
《 加筆 》
実は、上の回答は誤答だと判明した。最後に追記するので、参照。
Web 検索
ＡＩに「考えさせる」のではなく、ただの Web 検索のためにＡＩを使うこともできる。特に、検索語がはっきりとしないまま知識を探すような場合に、有効だ。
具体的な例を示そう。下記の質問がある。
→ 有識者ぁぁああ！！教えてくれぇぇええ！！！江戸時代の寿司屋台にあるこの器って何が入ってるの？ - Togetter
江戸時代の画像の意味がわからないので教えてくれ、という質問だ。
これに対して、有識者の回答がネット上で集まった。「集合知」の事例として紹介されている。ここまでは「いい話」みたいな紹介だ。
ただし、おおよその見当の付いた回答が得られただけだった。正確な回答となる典拠は得られないままだった。「これが出典です」という明白な資料は見つからないままだった。ネットを探せば見つかりそうなものだが、誰もその資料を提示できなかった。見つけ方がわからなかったからである。
しかし、考えてみよう。こういう曖昧な情報検索こそ、ＡＩが得意とすることだ。だから、こういう情報検索をしたければ、ＡＩに質問すればいいのだ。
そこで実際に試してみた。
まずは、その器がどんぶりであり、そこには醤油が入っている、というところまでは、上のページで情報を得られた。その上で、その出典を探る。
「江戸時代の寿司屋の屋台のどんぶりに入っている醤油は、何のためか？」 （★）
この質問をしたところ、回答を得たが、そのリンク先には、こうあった。
醤油小皿なんて洒落たものは置いておらず、あるのは大きなどんぶりに入れられた醤油。客みんなで共用する醤油なので今でいう串カツのように、もちろん二度漬禁止。
（ → 暖簾が汚れてることこそ繁盛の印｜小倉 風子 ）
この著者は江戸時代の食事の歴史の専門家だ。十分に調べた結果を記している。これで正しい回答を得たことになる。そして、その回答のある場所を教えてくれたのは、ＡＩなのだ。
Google では得られなかった検索情報が、ＡＩによって得られたことになる。
一般に、正解となる文章に出てくる単語をあらかじめ知っている場合には、その単語を検索語として Web検索することで、正解を得られる。
しかし、正解となる文章に出てくる単語をあらかじめ知っていない場合には、その単語を検索語として Web検索しても、正解を得られない。曖昧模糊とした質問文からは、正解は得られないのだ。そういうときには、ＡＩに質問することで、うまく正解を得ることもできるようになる。
こういう使い方を理解しておくことで、ネット検索の能力が飛躍的に向上する。大切なことなので、覚えておこう。
──
《 加筆 》
上の質問文（★）では、「どんぶり」を「丼」と変えると、異なる回答が得られる。（求める正解が得られなくなる。）……それというのも、求める正解の方では「どんぶり」という表記が取られているからだ。「表記の仕方で回答が異なることもある」と理解しておこう。その上で、質問文の表記を変えるのも、一つの方法だ。
私の名前はＡ子。私の名前はＩ子。
二人合わせてＡＩだ、
きみとぼくとでＡＩだ。
脳化の機械はみなＡＩ、
思考エンジンみなＡＩ。
ディープラーニング、
ディープフェイク、
ブラウザ Edge もみなＡＩ。
小さなものから大きなものまで
働く知性はＡＩでーすーよー。
【 追記 】
水の蒸発に必要な石油の量の計算について、数値がおかしいというコメントが来た。
そこで、改めて同じ質問を（コピペして）再質問したところ、今度は別の回答が得られた。結果も異なる。下記に転載しよう。
1グラムの冷水を蒸発させるために必要なエネルギー量は、水の蒸発熱を利用して計算することができます。水の蒸発熱は、1グラムあたり約2257ジュールです。一方、灯油の発熱量は、1グラムあたり約10,000ジュールです。したがって、1グラムの冷水を蒸発させるために必要な灯油の量は、以下のように計算できます。
したがって、1グラムの冷水を蒸発させるために必要な灯油の量は、約0.15ミリリットルです。
https://x.gd/IM4MN
https://oshiete.goo.ne.jp/qa/7908059.html
https://kenkou888.com/category21/jouhatsu_keisan.html
というわけで、先の回答（2.7mL）は誤答だと判明した。新しい値は、コメント欄の数値と同程度なので、今度の数値は正しいだろう。
※ ただし温度上昇にかかる分は考慮されていない。この分は下記で。
────
ついでに、次の質問もしてみた。
「15℃の水1グラムを沸騰させるのに必要な灯油の量は何ミリリットルか？ 水の比熱と、灯油の発熱量を考慮して、計算せよ」
その回答は次の通り。
15℃の水を沸騰させるには、水の温度を100℃まで上げる必要があります。水の比熱は約4.2 J/g℃です。したがって、1 gの水を1℃加熱するために必要なエネルギーは4.2 Jです。水の質量をm、水の温度変化をΔTとすると、水を沸騰させるために必要なエネルギーは、m×4.2×(100-15) Jです。灯油の発熱量は約8,500 kcal/Lです。1 kcalは4,184 Jです。したがって、1 Lの灯油は8,500×4,184 Jのエネルギーを発生させます。必要なエネルギーを発生させるために必要な灯油の量は、m×4.2×(100-15) J÷(8,500×4,184 J/L)です。この式にm=1 gを代入すると、必要な灯油の量は約0.0009 Lです。1 Lは1,000 mLなので、必要な灯油の量は約0.9 mLです。
よって、15℃の水1グラムを沸騰させるためには、約0.9 mLの灯油が必要です。
https://www.hakko.co.jp/library/qa/qakit/html/s01020.htm
https://oshiete.goo.ne.jp/qa/1682672.html
【 再訂正 】
上で得た「15℃の水1グラムを沸騰させるためには、約0.9 mLの灯油が必要です」という数値は誤りだ、という指摘がコメント欄に寄せられた。
そこで同じ質問を再度質問したところ、今度は異なる数式が与えられた。
15℃の水1グラムを沸騰させるために必要な熱量は、以下の式で求められます。
Q=mcΔT
ここで、mは水の質量、cは水の比熱、ΔTは水の温度変化です。水の比熱は 4.186J/g・K です1。従って、15℃の水1グラムを沸騰させるために必要な熱量は、以下のように求められます。
Q=(1g)・(4.186J/g・K)(100K)=418.6J
灯油の発熱量は、約 8.45kcal/mL です。従って、15℃の水1グラムを沸騰させるために必要な灯油の量は、以下のように求められます。
従って、15℃の水1グラムを沸騰させるために必要な灯油の量は、約 1.17mL です。
異なる数式が出てきたが、結論となる数値は 1.17mL であり、先の 0.9 mL と大きな違いはない。
では、どこが正しくて、どこが間違っているのか？ ……よくわからないので、読者の皆さんが探してください。
※ 正解はそれまで保留します。
【 再々訂正 】
怪しげなところを修正して、再々質問しました。
「1cal は何ジュールか？ 水の比熱はどれだけか？ 灯油の発熱量はどれだけか？ この数値を踏まえた上で、15℃の水1グラムを沸騰させるのに必要な灯油の量は何ミリリットルかを計算せよ。」
それに対する回答は、次の通り。
1calは約4.184Jです。水の比熱容量は約4184 J/(kg・K)です。灯油の発熱量は約8.45～8.5 kcal/cc、すなわち約35.4～35.6 MJ/kgです。15℃の水1グラムを沸騰させるために必要な灯油の量は約0.00012cc、すなわち約0.12ミリリットルです。
──
さらに別の質問。
「1cal は何ジュールか？ 水の比熱はどれだけか？ 灯油の発熱量はどれだけか？ この数値を踏まえた上で、15℃の水1グラムを 100度まで上げるのに必要な灯油の量は何ミリリットルかを計算せよ。」
1calは約4.184Jです。水の比熱容量は4184 J/(kg・K)である。灯油の発熱量は、10,300～10,370kcal/kgであり、比重0.82なので8,450～8,500kcal/Lです。15℃の水1グラムを100度まで上げるには、約1.17ミリリットルの灯油が必要です。
あとは、読者の皆さんが調べてください。
※ 正解はそれまで保留します。
※ ただし、「約0.00012cc、すなわち約0.12ミリリットル」というのは、明らかにおかしいですね。cc と ミリリットルは同じなのに、違う値になっている。
──
さらに質問を変えた。
「1cal は何ジュールか？ 水の比熱はどれだけか？ 灯油の発熱量はどれだけか？ 15℃と100℃の温度差はどれだけか？ これらの数値を踏まえた上で、15℃の水1グラムを 100℃まで上げるのに必要な灯油の量は何ミリリットルかを計算せよ」
1calは約4.2Jです。水の比熱は約4184 J/(kg・K)です。灯油の発熱量は約8450～8500 kcal/Lです。15℃と100℃の温度差は85℃です。これらの数値を踏まえると、15℃の水1グラムを100℃まで上げるには、約0.0014ミリリットルの灯油が必要です。
これもまた異なる数字になっている。
どうなっているんでしょうね。
──
さらに質問を変えてみた。温度を 85度上げるのでなく、容量を 85cc にしてみる。
「1cal は何ジュールか？ 水の比熱はどれだけか？ 灯油の発熱量はどれだけか？ この数値を踏まえた上で、15℃の水85グラムを 1度だけ加熱するのに必要な灯油の量は何ミリリットルかを計算せよ」
1カロリーは約4.184ジュールです。水の比熱容量は約4184 J/(kg・K)です。灯油の発熱量は約8.45～8.5 kcal/cc、すなわち約35,400～35,700 J/ccです3。15℃の水85グラムを1度だけ加熱するために必要な熱量は、85 g × 1 cal/g・K × 1 K = 85 calです。これをJに変換すると、85 cal × 4.184 J/cal = 356.44 Jです。この熱量を発生させるために必要な灯油の量は、356.44 J ÷ 35,400 J/cc = 0.01007 cc、すなわち約10.07ミリリットルです。
0.01007 cc というところまでは正しいようだ。それをミリリットルに換算するところでおかしくなっているが。
そこで、改めて質問する。
「1cal は何ジュールか？ 水の比熱はどれだけか？ 灯油の発熱量はどれだけか？ 1ccは何ミリリットルか？ これらの数値を踏まえた上で、15℃の水85グラムを 1度だけ加熱するのに必要な灯油の量は何ミリリットルかを計算する数式を示せ」
1calは約4.184Jです。水の比熱容量は約4184 J/(kg・K)です。灯油の発熱量は約8450～8500 kcal/Lです。1ccは1mlです。15℃の水85グラムを1度だけ加熱するのに必要な灯油の量は、以下の数式で計算できます。
85g * 4.184J/g/K * 1K * 1cal/4.184J * 1L/1000cc * 1cc/1ml * 1L/8500cal = 0.00058 L = 0.58 ml
あれれ。また違った数値が出てきたぞ。
なお、最後の数式を単純に（電卓で）計算すると、「0.00001」になるので、0.00058 L という数値は誤り。計算ができていないね。（計算結果では 0.01 mL が正しいようだ。）
──
まとめて言うと、どうも、数式の立て方がおかしいというより、数式から得られる計算をミスっているようだ。「ＡＩは、計算機としての能力が駄目だ」という結論になりそうだ。恥ずかしいね。
＞ 図の屋台の右にどんぶりが見えるが、醤油が注いであり、共有で使っていた。昔のすしは大きかったから、食いちぎりを醤油につける御仁もいて「二度づけお断り」なんて貼り紙があったというのもご愛嬌ってとこか。
https://cuisine-kingdom.com/sushistyle-history/
同じ質問に対する回答は毎度同じではなく、そのたびに少し変わることもあるようだ。
私の計算では、100℃での水の蒸発潜熱を540kcal/kg、灯油の熱量を8800kcal/リットルとすると、1グラムの温度０℃の水を蒸発させるのに必要なのは0.073mlになりますね。まあ、灯油を燃やした時の熱効率が100%ではないでしょうから、これを50%と仮定すると、0.15mlくらいですか。筆者が提示された値とは18倍の開きがありますね。私の計算した値だと、灯油18リットルで水120リットル、団地サイズの風呂桶一杯分くらいを蒸発させられることになります。
難点を探すために、改めて質問を投じたところ、今度は別の回答が出てきました。本文の最後に追記したとおり。
それによると、0.15ml という回答です。同じ数字になりましたね。今度はたぶん合っているでしょう。
質問のたびに別の回答が出てくることもあるようです。なお、出典リンクも掲載されています。
https://x.gd/IM4MN
https://oshiete.goo.ne.jp/qa/7908059.html
https://kenkou888.com/category21/jouhatsu_keisan.html
＞【 追記 】
＞ よって、15℃の水1グラムを沸騰させるためには、約0.9 mLの灯油が必要です。
⇒ 式は本文のとおりに下記でいいと思います（比熱のカロリーからジュールへの換算係数が、4.2と4.184でバラバラになっているのはご愛敬として）。しかし、
m×4.2×(100-15) J÷(8,500×4,184 J/L)です。この式にm=1 gを代入すると、必要な灯油の量は、
0.000010038... Lです。すなわち、0.01 mLです。
つまり、15⇒100℃に水の温度を上げるのに必要なエネルギー（灯油量）よりも、100℃の熱水を100℃の水蒸気に相変化させるのに必要なエネルギー（灯油量）のほうが、ずっと多いのですね。ジュールでなくてわかりやすくカロリーでいいますと、前者が100-15で85カロリー/g、後者が一般的なデータで540カロリー/gです。つまり後者が約6.4倍です。
なお、上の私の計算の 0.073ml、あるいは 0.15ml というのは、両方（沸騰までのぶんとその後の完全に蒸発させるまでのぶん）を足し合わせた値に、最初からなっています。ただし、先に書いたとおりに、15℃からではなく0℃から水の温度を上げていったときの計算値ですが。
＞ よって、15℃の水1グラムを沸騰させるためには、約0.9 mLの灯油が必要です。
とＡＩが答えたとしても、「常温の水1グラムを沸騰させる（100℃にする）ために、それに近い質量（※）の灯油が必要だって？ これは、なんかおかしいぞ。本当だったら、灯油で水なんか沸かしていられないよな」と、すぐに思うセンスのことです。
※灯油の比重は0.80～0.83といわれていますので、0.9mlの灯油は0.7グラム強になります。
ＡＩに再質問したら、異なる数式が出てきましたが、どこが間違いなのか、わかりません。
読者の皆さんによる検討をお願いします。
① ミリリットル(mL)をマイクロリットル(μL)だと勘違いしている
② 筆者も最終的に指摘されているとおり、「計算機としての能力が駄目」という点
の２点でしょうか。
【 再訂正 】のところ
＞ 従って、15℃の水1グラムを沸騰させるために必要な灯油の量は、約1.17mL です。
⇒ ここでの間違いは、15⇒100℃だから85℃（85K）の昇温のはずなのに、100℃（100K）で計算しているのと、普通に式を計算したら0.1183...mLになるので、単純な計算間違い。
【 再々訂正 】のひとつめ
＞ 必要な灯油の量は約0.00012cc、すなわち約0.12ミリリットルです。
⇒ 途中の式がないので検証できませんが、先ほどの0.1183...mLと0.00012ccとでは約1000倍の開きがあるので、同じ計算間違いに加えて、calとkcalを混同した可能性があります。食品を〇カロリーと表記するときのcalは、実際はkcalですから。また、最後のところは、0.00012cc＝0.12μLなので、mLとμLを取り違えたものと思われます。
【 再々訂正 】のふたつめ
＞ 15℃の水1グラムを100度まで上げるには、約1.17ミリリットルの灯油が必要です。
⇒ これも途中の式がないのですが、【再訂正】と1.17mLという結論が同じなので、間違いの内容も同じだと思われます。
【 再々訂正 】のみっつめ
＞ 15℃の水1グラムを100℃まで上げるには、約0.0014ミリリットルの灯油が必要です。
⇒ これは、途中の記述で「15℃と100℃の温度差は85℃です。」とあるので、そこはできています。あとは、何らかの計算間違い。
【 再々訂正 】のよっつめ
＞ この熱量を発生させるために必要な灯油の量は、356.44 J ÷ 35,400 J/cc = 0.01007 cc、すなわち約10.07ミリリットルです。
⇒ この場合は、0.01007ccと正しく計算できているようです。しかし、やはり最後でmLとμLを取り違えています。
【 再々訂正 】のいつつめ
＞ 85g * 4.184J/g/K * 1K * 1cal/4.184J * 1L/1000cc * 1cc/1ml * 1L/8500cal = 0.00058 L = 0.58 ml
⇒ これも、何らかの計算間違いと、やはり最後はmLとμLとの取り違えです。
結論が出ちゃったようですね。