自信たっぷりの答えが、あとで違っていた
ChatGPTに何かを尋ねたら、よどみなく、断言口調で答えが返ってきた。 なるほどと思って、あとで念のため調べたら、その答えが事実と違っていた。 そんな経験、ないですか?
困るのは、間違っていたことそのものより、その口ぶりです。 「たぶん」とも「自信はないですが」とも言わず、まるで確定した事実のように言い切ってくる。 知らないなら知らないと言ってくれれば身構えられるのに、堂々と間違えられると、こちらもつい信じてしまいます。
なぜAIは、自信がなさそうに間違えるのではなく、自信たっぷりに間違えるのでしょうか。
「それっぽく作っているだけ」の、その先
AIが文章を作る仕組みは、もうだいぶ知られてきました。 次に来そうな言葉を確率的に選び、それらしい文を組み立てているわけですが、本当に面白いのはその先です。
「それっぽい言葉を選んでいるだけ」なら、出てくる文がときどき事実と違うのは分かります。 でも、それだけだと、なぜ口調まで自信ありげになるのかは説明できません。 でたらめを言うなら、しどろもどろになってもよさそうなものです。
ここに、常識では届かない不思議があります。 答えの中身が間違っていることと、答えの言い方が自信満々であること。 この二つが、なぜ同時に起きるのか。
もっともらしさと、正しさは別もの
この現象を、統計の見方で解釈できるか、やってみましょう。
カギになるのは、もっともらしさと正しさを分けることです。 AIが文を作るとき、内部で見ているのは「この続きは、どれくらい言葉として自然か」という度合いです。 学習した大量の文章に照らして、いかにもありそうな並びを高く評価する。 この「文としてのありそうさ」を、統計では尤度と呼びます。 厳密にいえば尤度はパラメータを変数とみなしたときの関数を指しますが、ここでは、モデルがその文をどれくらいありそうだと思うかを数値化したもの、というイメージで尤度とみなしてください。
尤度が高い文は、流れがなめらかで、言い回しも整っています。 だから読んでいて自信ありげに見える。 でも、ここで肝心なのは、尤度は「文としての自然さ」であって、「内容の正しさ」ではない、ということです。
なめらかで自然な嘘は、いくらでも作れます。 もっともらしさが高いことと、事実として正しいことは、最初から別の軸なのです。 自信満々の間違いは、この二つの軸がずれたまま重なった瞬間に見えてきます。
天気予報の「降水確率」と同じ問題
同じずれは、AIの外でも起きています。
天気予報の降水確率を考えてみます。 「明日の降水確率は70%」と言われたとき、本当に知りたいのは、「70%と言った日は、実際に10回のうち7回くらい雨が降るのか」です。 もし70%と言った日に毎回晴れていたら、その予報の数字は当てになりません。
予報が出す数字と、実際に起きる割合。 この二つがきちんと対応しているかどうかを問う見方を、統計では較正と呼びます。 較正がとれている予報は、「70%」と言えば本当に7割当たる。 較正が崩れている予報は、自信の数字と現実の当たり方がずれています。
AIの自信も、これと同じ枠で見られます。 AIが内側で「この答えはかなり確からしい」と感じている度合いと、その答えが実際に正しい割合。 この二つが対応していなければ、AIは自分の確信を正しく見積もれていないことになります。
数式で正面から見る
この「ずれ」を式に書き直してみると、何が起きているのかが見えてきます。
AIの確信度を $p$ と書きます。 $p$ は0から1までの数で、AIが「この答えはこれくらい確からしい」と内側で見積もっている度合いです。 ことわっておくと、いまのChatGPTなどは一問ごとの正しさの確信度をそのまま外に出しているわけではありません。 ここでは、AIが仮に「確信度」という内部の数値を持っているとして、話を進めます。 $p=0.9$ なら、かなり自信がある状態です。
知りたいのは、AIが確信度 $p$ を出したとき、その答えが実際に正しい割合です。 これを次のように書きます。
縦棒の右側「確信度$=p$」は、AIが確信度 $p$ を出した場面に話をしぼる、という意味です。 その場面で、左側の「正しい」が実際にどれくらいの割合で起きるか。 それがこの式の値です。
もしAIの自信が現実とぴったり合っているなら、次が成り立ちます。
確信度0.9と言った答えは、本当に9割正しい。 これが、較正がとれている状態です。
ところが、実際のAIではこうなっていない可能性があります。 自信過剰なAIでは、次のように左側のほうが小さくなります。
確信度0.9のつもりで答えているのに、実際に正しいのは7割しかない。 残りの3割で、AIは「0.9の顔」をしたまま間違えます。 自分たちが出会う「自信満々の間違い」は、ちょうどこの差が表に出た瞬間として読めます。
縦の軸にAIが出した確信度、横の軸に実際の正答率を取ると、較正がとれていれば点は斜めの対角線に乗ります。 自信過剰だと、線は対角線より上にふくらむ。 「自信のわりに当たっていない」という形が、そのまま曲線のふくらみに出てきます。
ちなみに、正しいか間違いかという二択を確率として見積もるこの考え方は、以前に書いた一言の有無で返事の印象が変わる仕組みの話とも地続きです。 二値の出来事に確率を割り当てる、という同じ数学の骨格が背後にあります。
自信そのものを、信じない
こうして見ると、AIの自信ありげな口調は、正しさの証拠ではないことになります。 それは「文としてのもっともらしさ」が高いというサインであって、「内容が正しい確率」が高いサインとは限りません。 滑らかさと正確さは、別の軸だからです。
だとすると、AIを疑うときに見るべきは、口調の強さではなくなります。 むしろ、なめらかで断定的な答えほど、もっともらしさだけが先行していないかを確かめたくなる。 自信の強さと、確かめやすさ。 この二つを切り離して読むだけで、AIの言い切りに振り回される回数は減らせそうです。
AIに「どれくらい確信があるか」を添えさせ、その数字が本当に当たっているかをこちらで何度か答え合わせしてみる。 そうやって相手の較正のクセをつかんでしまえば、自信満々の一文を、そのまま信じる前に一拍おけるようになるかもしれませんね?
あわせて読みたい関連記事。
