スコアは上がった、でも手元は変わらない
新しいAIが出るたびに、ベンチマークで何点向上、と大きく発表されます。それなのに、自分がいつも頼んでいる作業に使うと、前のモデルとの違いがよく分からない。そんなことないですか?
公開スコアは着実に伸びているのに、手元の実感は動かない。数字が誇張なのか、それとも自分の使い方が悪いのか、と考えたくなります。
平均が上がっている、だけでは説明がつかない
ベンチマークの多くは、たくさんの問題を解かせた平均的な成績です。モデルが全体として良くなれば、この平均は上がる。発表される「大幅向上」も、多くはこの全体スコアの話です。ただし、平均が上がっても、すべての問題領域が同じ幅で改善したとは限りません。平均は全体傾向を圧縮した指標です。
でも、ここで一つ不思議があります。全体が滑らかに良くなっているなら、自分の一つの作業でも少しずつ良くなってよいはずです。ところが体感は、変わらないか、あるとき急に使えるようになるか、どちらかに寄りがちです。滑らかな全体と、段差のある手元。この差はどこから来るのでしょう。
全体は連続、手元は合否
この食い違いを、二つの量を分けて考えることで解釈できるか、やってみましょう。一つはモデルの基礎的な性能です。たとえば、次の単語の予測を評価セット上の平均対数尤度や正解率で測れば、合否の二択ではなく、細かな数値の変化として追えます。もう一つは、自分の作業が「使えた／使えなかった」で判定される、合否の観測です。
基礎性能のほうは、規模や計算量を増やすと滑らかに改善する傾向が報告されています。問題は、自分の作業がその基礎性能をそのまま受け取っていない点です。多くの実務は、ある水準に届いて初めて成功と見なされます。契約書の要点をもれなく拾えたか。コードがエラーなく動いたか。中間の出来では、成功一歩手前も、大外しも、同じ「使えなかった」に丸められます。
基礎性能が合格ラインの下にいる間は、少し上がっても観測される成功率はほとんど動きません。ラインをまたいだ瞬間に、成功率が立ち上がる。滑らかな改善が、手元では段差として見える理由が、ここにあります。
同じ話が、いろいろな作業の当たり外れにも効く
この見方は、作業によってAIの評価が割れる理由にもつながります。すでに合格ラインを越えた作業では、新モデルにしても「元から使えていた」ので差を感じません。まだ越えていない作業では、やはり「相変わらず使えない」と感じます。差がはっきり出るのは、ちょうど今、ラインをまたいでいる作業だけです。
必要な水準は作業ごとに違うので、同じモデル更新でも、ある人には革命的に、別の人には変化なしに見えます。多少の誤字が残っても用をなすメールの下書きと、見落としが許されない法律文書のレビューでは、同じモデルでも越えるべきラインが違います。合否のしきい値という同じ考え方は、決まっていない話まで拾ってしまう挙動にも顔を出します。
どこで線を引くかを変えるだけで、同じ性能でも成功率の見え方が変わる、という点は共通しています。
しきい値を一本入れると、段差が出てくる
式に書き直してみると、滑らかさと段差が同じ仕組みから出てくる様子が見えます。基礎性能を表す量を $s$ とし、規模を上げると $s$ が滑らかに上がるとします。ここで、自分の作業の成功確率 $p$ を、$s$ がしきい値 $\theta$ をどれだけ超えたかで表してみます。
$$ p(s)=\frac{1}{1+e^{-k(s-\theta)}} $$
$\theta$ は、その作業で成功と見なされる合格ラインです。$k$ は、ラインの前後で成否がどれだけ急に切り替わるかを表す鋭さです。$e$ は指数関数の底です。指数部 $-k(s-\theta)$ が大きく正なら分母がふくらんで $p$ はほぼ0、大きく負なら指数関数の項が0に近づいて $p$ はほぼ1になります。
$s$ が $\theta$ より十分小さいうちは、$s$ を少し上げても $p$ はほとんど0のまま。$s=\theta$ の近くで一気に立ち上がり、越えたあとはほぼ1で頭打ちになります。$k$ が大きいほど、この立ち上がりは急な段差に近づきます。
つまり、$s$ という基礎性能が直線的に伸びていても、手元で観測する $p$ は、しきい値の手前では平ら、またいだ瞬間に急、というS字を描きます。ベンチマークの平均は、こうした立ち上がりが違う無数の作業を混ぜて均したものなので、全体では角の取れた滑らかな曲線になります。個別の作業まで分解すると、それぞれに段差が隠れている、という関係です。
ただし、実際の成功が一本のしきい値できれいに決まるとは限りません。$\theta$ や $k$ は作業ごとに違い、はっきりしない場合もあります。ここでは単純化のためロジスティック曲線を使いましたが、ほかのS字曲線でも同じ議論は成り立ちます。この式は、段差がなぜ生じうるかを説明する枠組みで、すべての作業がこの形に従うと決めつけるものではありません。
「変わらない」は、伸びていない証拠なのか
新モデルにしても自分の仕事が変わらないとき、それは進歩がなかったからとは限りません。基礎性能は滑らかに伸びていて、ただ自分の作業のしきい値をまだまたいでいないだけかもしれない。逆に、あるとき急に使えたなら、性能が急伸したのではなく、ちょうどラインを越えたのかもしれません。
そう考えると、次に試したくなるのは「新モデルは何点上がったか」ではなく、自分の作業の合格ラインが今どのあたりにあるかを探ることです。少し条件をゆるめた頼み方に変えるだけで、まだ越えていないと思っていたラインを、実はもう越えられたりするかもしれませんね?
あわせて読みたい関連記事。
