AIの出来って、1回だけ見て「こんなもん」って決めていいの?

1回だけ見て、決めていませんか

AIに同じ仕事を頼んで、1回目はいまいち、2回目はけっこう良い、3回目はまあまあ。そんなふうに何回か試すと、1回だけ見ていたときより「このAI、だいたいこのくらいの実力だな」という感覚がつかめてくることないですか?

不思議なもので、1回きりだと「使えない」とがっかりしたり「すごい」と持ち上げたりするのに、何回か見ると急に落ち着いて「まあこんなもんか」と判断できるようになります。

「毎回ちがう」は知ってるけど

AIの出力が毎回ちょっと違うわけですが、面白いのはその先です。なぜ「複数回見る」と、こんなにも判断が安定するのでしょうか。1回では不安なのに、3回4回と重ねると腑に落ちる。この「回数を重ねると本当の実力が見えてくる」という体感、どこまで信じていいのか、少し気になります。

平均のばらつきには、きれいな規則がある

ここで自分が試してみたいのは、こういう見方です。個々の出来はバラバラでも、その平均値のばらつき方そのものに、実はきれいな規則があるのではないか、と。

中心極限定理という見方で、この体感を解釈できるか、やってみましょう。大まかに言うと、1回ごとの出来がどれだけ荒れていても、複数回の平均をとると、その平均値の散らばりは1回分よりぐっと小さくなります。しかも、元の出来のばらつき方が少し歪んでいても、平均の分布は「正規分布」という左右対称のなだらかな山（いわゆる釣鐘型）に近づいていきます。

先に一つだけ前提を置いておきます。ここから先は「だいたい同じ条件で、たがいに独立に試した」ときに成り立つ話です。この前提が崩れると効き方も変わるので、頭の隅に置いておいてください。

ここでいう「出来」は、100点満点の採点でなくてもかまいません。メール案なら「そのまま使えるか」、要約なら「重要な点を落としていないか」、資料構成なら「直しが少なくて済むか」。そういう評価を、ざっくり5段階でも0/1でもいいので数にしてみる。すると、ぼんやりした使用感が「平均」と「ばらつき」という形に変わります。

同じ話は、あちこちに顔を出す

この見方は、AIだけの話ではありません。アンケートを何人にとるか、レビューを何件読んでから店を決めるか、サイコロを何回振って出目の平均を見るか。どれも「1個ずつはバラつくのに、平均にすると安定する」という同じ構造です。AIの出来を何回か試して見きわめるのも、かなり近い構造の上に乗っています。

たとえば、新しいAIツールで議事録の要約を任せるとします。1本だけ試して「良い」「悪い」と決めると、その議事録との相性を見ているだけかもしれません。短い会議、長い会議、決定事項が多い会議、雑談が多い会議。いくつか混ぜて平均を見ると、そのツールの癖が少しずつ見えてきます。

式で見ると、落とし穴が見える

平均のばらつき具合は、次のように書けます。

$$\text{平均のばらつき} = \frac{\sigma}{\sqrt{n}}$$

記号をそのまま日常語に置き換えます。$\sigma$(シグマ)は「1回ごとの出来のばらつき具合」、$n$は「試した回数」、$\sqrt{n}$は「回数の平方根」です。

ここに、見落としがちな落とし穴があります。分母は $n$ ではなく $\sqrt{n}$ です。つまり、回数を2倍にしても、ばらつきは半分になりません。$1/\sqrt{2}$、およそ0.71倍にしかならないのです。ばらつきを半分に抑えたければ、回数は4倍必要になります。

だから「3〜5回も試せば、だいたいの実力は見えてくる。でも、そこからさらに精度を上げようとすると急にコスパが悪くなる」ということが起きます。ざっくり掴むのは速いのに、詰めるのは遅い。この非対称は、$\sqrt{n}$ という分母がそのまま語っています。

もっと自分で数字を動かして、平均が正規分布に近づく様子を見てみたい人へ。

そもそも、なぜ1回ごとに出来がこんなにばらつくのか、という手前の話は別で書いています。

なお厳密には、この規則は「各回がだいたい似た条件で、たがいに独立に試された」ときの話です。前の回答を踏まえて頼み直すと回どうしが引っぱり合うので、そこは少し割り引いて考える必要があります。

もう一つ大事なのは、平均で見ると「典型的な出来」は見やすくなりますが、最悪の失敗が消えるわけではないことです。重要なメールや公開資料のように、1回の大外れが困る場面では、平均だけでなく外れ方も見る必要があります。平均は判断を落ち着かせる道具であって、確認を省く免罪符ではありません。たとえば取引先に出すメールや、公開する資料や数値のように、1回の大外れが致命傷になる場面では、平均で全体の実力をつかんだうえで、実際に世に出す1本は必ず人の目でレビューを併用するのが安全です。平均は「このツールにどこまで任せてよいか」の当たりをつけるためのもので、最後の一線を守るのはやはり人の確認です。

次に「使えない」と思ったら

次にAIの出来にがっかりしたとき、それは本当の実力ではなく、「1回分のばらつき」をたまたま引いただけかもしれません。もう2〜3回頼んで平均で眺めると、隠れていた実力が見えてくることがあります。

そして逆に、「もっと確実に見きわめたい」と10回20回と粘っても、精度は思ったほど上がりません。この $\sqrt{n}$ の壁を知っていると、「どこで見切って先に進むか」の判断まで変わってきたりしませんか?

あわせて読みたい関連記事。