AIのおすすめって、外れる日もあるのに、なんで好みが見えてくるの?

外れる日もあるのに、なぜか当ててくる

動画でも音楽でも買い物でも、AIのおすすめって、その日その日で見ると外れも多いことないですか? 「なんでこれ?」というのが並ぶ日もある。なのに、しばらく使い続けていると、いつの間にか「だいたい自分の好み、わかってきてるな」と感じる瞬間がきます。

1日分だけ切り取ると雑に見えるのに、まとまった期間で眺めると急に賢く見える。この落差、ちょっと不思議です。

「データが多いほど賢い」だけ?

たくさん使うほど学習が進むから、と言われればそれまでなわけですが、面白いのはその手前です。1日ごとの外れは相変わらず残っているのに、なぜ「全体として見た好み」はこんなにくっきりしてくるのでしょうか。個々のおすすめがブレているのは変わらないのに、平均的な像だけがはっきりする。ここに一つ、見落としやすい仕組みがあります。

ブレは、集めると打ち消し合う

ここで自分が試してみたいのは、こういう見方です。1回ごとのおすすめには「本当の好み」と「その日のたまたまのズレ」が混ざっている。そして、たまたまのズレは上にも下にも振れるので、たくさん集めて平均すると、互いに打ち消し合って小さくなっていくのではないか、と。

大数の法則という見方で、この体感を解釈できるか、やってみましょう。大まかに言うと、1回ごとの結果がどれだけ荒れていても、複数回の平均をとると、ランダムなズレは相殺され、平均値は「本当の傾向」へと近づいていきます。回数を増やすほど平均は芯に落ち着く、というのが大数の法則の言い分です。残るのは芯にある好みで、日替わりのノイズは薄れていく。「賢くなった」というより、「ノイズが平均で消えて、もともとあった芯が見えてきた」という順序です。

もちろん、実際の推薦AIが単純に「おすすめ点数の平均」だけで動いている、という話ではありません。ここでは、日々のおすすめを観測値として受け取り、その奥にある好みの傾向を読むための小さな模型として、大数の法則を使ってみます。

同じ話は、あちこちに顔を出す

この見方は、おすすめAIだけの話ではありません。何度か行った店の印象、何人ものレビューを読んでから決める評価、何回も計った体重の平均。どれも「1回ずつはブレるのに、まとめると芯が残る」という同じ構造です。おすすめの精度を数日〜数週間で感じ取るのも、かなり近い仕組みの上に乗っています。

たとえば、ある週だけスポーツ動画が多く出たとしても、それだけで「自分はスポーツ好きだ」とは限りません。次の週には料理、さらに次にはガジェットが混ざるかもしれない。1日ごとの揺れをそのまま信じるのではなく、しばらくの平均として読むと、たまたま出た外れと、何度も残る好みを分けやすくなります。

式で見ると、芯に近づく速さがわかる

ここまでが大数の法則、「回数を増やせば、平均はいつか芯に近づく」という行き先の話でした。ここからは少し別の話で、「では、どのくらいの速さで近づくのか」を見ます。行き先を保証するのが大数の法則、近づくペースを測るのがこれから出てくる標準誤差、と役割が分かれています。その速さの目安は、次のように書けます。

$$\text{平均に残るブレ} = \frac{\sigma}{\sqrt{n}}$$

ここでいう「平均に残るブレ」とは、$n$回分を平均した値そのものが、まだどれくらい揺れているかを表す量で、統計では標本平均の標準誤差と呼ばれます。1回ごとのブレ($\sigma$)が、平均をとることでどこまで小さくなったか、と読むとつかみやすいはずです。

記号をそのまま日常語に置き換えます。$\sigma$(シグマ)は「1回ごとのブレの大きさ」、$n$は「観測した回数(使った回数)」、$\sqrt{n}$は「回数の平方根」です。つまり左辺は「平均という1つの値の標準誤差」、右辺の $\sigma$ は「1回ごとのブレ」で、両者は $\sqrt{n}$ の分だけ縮んだ関係にあります。

$n$ が増えるほど分母が大きくなり、平均に残るブレは小さくなる。つまり使えば使うほど、日替わりのノイズが薄れて芯が見えてくる、というのがこの式の言い分です。

ただし分母は $n$ ではなく $\sqrt{n}$ です。回数を4倍にしても、ブレは半分にしかなりません。だから「数日でだいたいの好みは見えてくるのに、そこから精度をもう一段上げるには、ぐっと長く使う必要がある」という、立ち上がりは速く詰めは遅い感覚が生まれます。

自分で回数を動かして、平均が芯に落ち着いていく様子を見てみたい人へ。

ちなみに、そもそも1回ごとのおすすめがなぜ「有名どころ」に寄りがちなのか、という別の癖については、こちらで書いています。

同じ「1回で決めない」考え方は、AIの出来そのものを見きわめるときにも効きます。

なお厳密には、この打ち消し合いは「その日ごとのズレが、たがいに独立で偏りなく振れている」ときの話です。もし特定の方向へ系統的にズレていると(たとえば常に人気作へ寄る癖があると)、いくら平均してもそのズレは消えません。平均が消してくれるのは偶然のブレであって、仕組みとしての偏りは別の話です。

ついでに言うと、現実の推薦AIのおすすめは、本当は「独立で偏りなく振れるノイズ」ではありません。昨日クリックしたものが今日のおすすめに影響し、そのおすすめがまた次の行動を変える、というフィードバックの輪の中にあります。日ごとのズレも互いに相関していることが多い。ここでの話は、そうした絡み合いをいったん脇に置き、「偶然のノイズ成分だけを取り出したらどう振る舞うか」を見るための模型だと思ってください。現実はもう少し粘り気があるぶん、芯が見えるまでの回数も、模型より多めに要ると考えておくと安全です。

次に「外れた」と感じたら

次におすすめが外れて「わかってないな」と思ったとき、それは芯の好みではなく、その日の「たまたまのズレ」を引いただけかもしれません。数日ならして眺めると、隠れていた芯が見えてくることがあります。

そして逆に、「もっと当ててほしい」と長く使い込んでも、精度は $\sqrt{n}$ のペースでしか上がりません。この壁を知っていると、「どこまでを日替わりのノイズとして受け流し、どこからを本当の的外れとして設定を見直すか」の線引きまで、少し変わってきたりしませんか?

あわせて読みたい関連記事。