気に入った動画ほど、同じような顔ぶれになる
YouTubeのおすすめ、気に入った動画を何本か見ると、その次からしばらく同じ系統ばかり並ぶ、ということないですか? 好みに寄せてくれているのはありがたいのですが、見れば見るほど画面の顔ぶれが似てきて、前は時々あった「知らなかったけど面白い」が、いつのまにか減っている。便利になったはずなのに、発見だけがそっと目減りしていく感じがします。
「似た動画を出すから」で説明が終わらない
おすすめが偏るのは、見た動画に似たものを出しているからです。これはその通りで、仕組みとしても間違っていません。ただ、ここで一つ引っかかることがあります。もし推薦が「次にクリックしそうか」をもっと正確に当て、その予測値だけで候補を選ぶようになったら、発見は増えるのでしょうか。
この条件では、むしろ減る可能性があります。すでに反応を予測しやすい候補が画面を占め、まだ見たことのないジャンルの出番がなくなっていくからです。短期の予測精度を上げるだけでは、この目減りは止まらない。ということは、偏りの原因は精度不足とは別のところにもありそうです。
「今の満足」と「まだ知らないことの価値」は両立しない
ここを数学で解釈できるか、やってみましょう。ただし、実際のYouTubeの推薦処理を再現するのではなく、表示する候補を一つずつ選ぶ単純な模型として考えます。おすすめの一枠一枠を、「どの候補を出すか」という選択だと考えます。候補それぞれに、今まで見せてきた反応から推定した「気に入りそう度」があります。
この「気に入りそう度」がそもそもどう作られているのかは、YouTubeが「見たかったやつ」を先回りで並べる仕組みを見た記事で扱いました。今回はその推定を前提に、候補をどう選ぶかの話に進みます。
すると、選び方は二つに割れます。一つは、いちばん気に入りそうな候補を出すこと。推定値の上では、今の満足度がこれで最大になります。もう一つは、まだあまり試していない候補を出すこと。当たるかは分かりませんが、当たれば「実はこれも好きだった」と分かり、次からの推定が良くなります。
前者を活用、後者を探索と呼びます。やっかいなのは、一つの枠は一つにしか使えないことです。活用に回した枠は探索に使えず、探索に回した枠では今の満足度が少し下がる。限りある表示枠を、この二つにどう配るか。おすすめの偏りは、精度の問題というより、この配分の問題として見えてきます。
そして、今の満足度だけを追うと、配分はどんどん活用に寄ります。すでに気に入りそうと分かっている候補が毎回勝つので、試していない候補はいつまでも試されない。試されないから推定も更新されず、「知らなかったけど面白い」に出会う入口が閉じていく。発見が目減りするのは、ここでした。
同じ配分は、いろんな場面に顔を出す
この見方は、YouTubeだけの話ではありません。よく行く店という安心と、入ったことのない店という賭け。反応の読める定番の広告と、当たるか分からない新しい広告。売れ筋の棚と、まだ売り方の分からない新商品。どれも「今いちばん良さそうなもの」と「まだよく分からないもの」に、限りある機会をどう配るか、という同じ形をしています。今の成果を優先するほど、未知を試す回数が減っていく構図もそっくりです。
見込みに、不確実さのぶんだけ下駄をはかせる
では、活用に寄りすぎないためにどうするか。一つのやり方を式で見てみます。各候補を少なくとも一度は試したあと、候補 $i$ を選ぶときの点数を、こう決めます。
$$\text{UCB}_i = \hat{\mu}_i + c\sqrt{\frac{\ln t}{n_i}}$$
記号を一つずつ日常語に直します。$\hat{\mu}_i$ は、候補 $i$ をこれまで出したときの平均的な良さ、つまり「今わかっている気に入りそう度」です。第二項が今回の主役で、$n_i$ はその候補をこれまで試した回数、$t$ は全体の試行回数、$c$ は効き具合を決めるつまみです。
第二項の中を見ると、$n_i$ が分母にいます。あまり試していない候補ほど $n_i$ が小さく、この項は大きくなる。つまり「まだよく分かっていない」こと自体を、点数への上乗せとして扱っています。見込みが同じくらいなら、試した回数が少ない候補のほうが高い点数になり、選ばれやすくなる。
面白いのは、この上乗せが探索を無理に混ぜているのではなく、「不確実さには価値がある」と正直に見積もっているだけだ、という点です。よく試した候補は上乗せが小さく、見込みそのもので勝負する。試していない候補は上乗せが大きく、見込みが多少低くても土俵に上がれる。そして一度試して回数が増えれば、その候補の上乗せは自然に縮んでいく。試すべきものが、試されるたびに順番に入れ替わっていきます。
「知らなかったけど面白い」を残す配分
そう考えると、画面が同じ顔ぶれになる一因は、自分がつい「今いちばん見たいもの」を選び続けているところにもありそうです。だとしたら、たまに「これは知らないな」という一本をあえて再生してみる。その一回が、自分の好みについて新しい手がかりとなり、次に並ぶおすすめを少し動かすかもしれません。「知らなかったけど面白い」にまた出会えるかどうかは、案外こちら側の一手にもかかっているのかもしれませんね?