仕事でChatGPTに同じような相談を続けていると、昨日はびっくりするくらい使えたのに、今日は同じ頼み方なのに急にポンコツに感じる、ということないですか? 「アップデートでこっそり性能を落とされたのかな」「自分の頼み方が下手になった?」と、つい原因を探してしまいます。
たしかに出来にはムラがある、けれど
AIの出力は毎回まったく同じにはならず、ある程度のムラがあるわけですが、ここで一つ不思議があります。「劣化した」と感じるのは、いつも決まって前回がすごく良かったあとだ、という点です。ずっと平凡な出来が続いているときには、自分たちはあまり「劣化した」とは思いません。落差を強く感じるのは、たいてい直前に大当たりを引いたときです。
つまり問題は「出来にムラがある」ことそのものより、今日の出来を何と比べて測っているかにありそうです。同じ60点の回答でも、前回が55点なら「お、いいね」になり、前回が90点なら「今日はダメだ」になる。点数は同じなのに、評価が逆さまになります。
「上振れの次は平均へ戻る」を数学として捉える
ここで、平均への回帰という見方でこの落差を解釈できるか、やってみましょう。平均への回帰というのは、たまたま極端に良い(または悪い)値が出たあとは、次は平均に近い値が出やすい、という揺れの性質のことです。
AIの一回ごとの出来を、「だいたいこのくらい」という平均的な実力のまわりで、上下に揺れている点だと考えてみます。昨日たまたま「神回」が出たのは、実力が上がったからというより、揺れがたまたま大きく上に振れた一回だった、と読むこともできます。大事なのは、次の回の揺れがその大当たりと連動しない、という点です。昨日大きく上に振れたからといって、今日もそれが続く約束はどこにもありません。揺れは平均寄りに戻りやすい。すると、神回を基準に置いてしまった今日は、実力どおりの出来でも「落ちた」ように見えてしまいます。
同じ「落差」は、AIの外でもよく起きている
この見方が面白いのは、まったく同じ現象が日常のあちこちで起きていることです。スポーツで鮮烈なデビューを飾った選手が、翌年は伸び悩んで見える「二年目のジンクス」。すごく良い第一印象だった人に、二回目で少しがっかりする感じ。健康診断でたまたま極端に悪い数値が出た人が、再検査では何もしなくても自然と改善していること。叱った直後は成績が上がり、褒めた直後は下がるように見えて「叱るほうが効く」と感じてしまう現象。どれも実力や中身が動いたとは限らず、一度極端な値を見たあとは平均へ戻りやすいという同じ揺れで、そう見えているだけの場面があります。
AIの出力を「今日は何点」という点数のように受け取ってしまうと、こうした揺れを実力の変化と取り違えやすくなります。小さな差をどこまで意味のある差として読むか、という話は別の記事でも書きました。
式にすると落差の正体が見える
この揺れを式に書き直してみると、こう読めます。ある回の出来 $x$ を、
と置いてみます。$\mu$(ミュー)は「だいたいこのくらい」という平均的な実力、$\varepsilon$(イプシロン)はその回ごとの揺れで、上にも下にも振れ、たくさんの回でならすとゼロに近づく量です。
昨日の神回は、$\varepsilon$ がたまたま大きく上に振れて、$x$ が $\mu$ をかなり上回った回、と読めます。では今日の出来はどうなるか。今日の揺れ $\varepsilon$ は昨日の揺れと連動せず、平均すればゼロのところに戻りやすい。だから今日の出来 $x$ は、平均すると
つまり実力どおりの $\mu$ あたりに落ち着きます。$\mu$ は何も下がっていないのに、基準が昨日の「$\mu$ より上」だったせいで、今日は下がって見える。落差の正体は、モデルの劣化ではなく、比べる相手として上振れした一回を選んでしまったことにある、と読めます。
ここでは揺れの一因として平均への回帰に注目しましたが、実際の出来には、モデルのアップデートやサーバ側の負荷、その日の推論の設定の違いなど、ほかの要因もまざっています。だから「急に使えなくなった感は必ず平均への回帰だけで説明できる」というより、「まず疑ってみる価値のある見方のひとつ」くらいに受け取ってもらえると嬉しいです。実際、本当にアップデートで性質が変わることもあります。ただ、その判断をたった2回の比較でやろうとすると、ほぼ必ずこの揺れに足をすくわれます。
持ち帰り
もしそうだとすると、AIの調子を「この前の最高の回」とだけ比べているかぎり、どうしても「がっかり」が増えます。一度引いた神回が、次からの基準を勝手につり上げてしまうからです。
逆に、「何回か使ったときの平均の手応え」を自分の中の基準にしておくと、AIの出力を静かに観察できるようになります。落差に振り回されにくくなるのも、立派なデータリテラシーの一部だと思います。
次に「今日はポンコツだな」と感じたとき、本当に落ちたのはAIの実力なのか、それとも自分がたまたま神回を基準にしてしまっただけなのか。どちらなのか、ちょっと確かめてみたくなりませんか?
あわせて読みたい関連記事。
