会議メモを貼り、メールの文案をAIに頼みます。末尾には「社外秘の数字は書かないでください」と添えました。返ってきた文面は読みやすいのに、その数字だけが堂々と残っています。自分は指示を見落としたのかと思い、同じ一文をもう一度送ります。今度はきちんと消えました。
短い依頼なら守れた注意書きが、資料を何ページも足した途端に抜ける。長い会話を使う人なら、似た経験があるかもしれません。AIが受け取れる文章量は増えているはずなのに、入っていることと、必要な瞬間に強く参照されることは同じではないようです。
読める長さと拾いやすさは別にある
常識では、入力欄に収まっている文章なら全部読めると考えたくなります。実際、長い入力を扱える仕組みは、古いモデルより広い範囲を計算に含められます。でも、計算に含まれる各語が同じ強さで使われるわけではありません。回答中のある語を作るたびに、AIは入力や直前の文章に対して濃淡のある配分を作ります。
以前の記事では、この配分を使って「それ」がどの語を指すのかを扱いました。指示対象を結びつける仕組みから読みたい方はこちらです。
今回は、候補が増えたときの配分に絞ります。長文で指示が抜ける理由は一つではありません。位置の扱い方、学習時に見た文章の長さ、似た表現どうしの競合、複数の層を通るあいだの情報の変化なども関わります。そのうちソフトマックスによる希釈は、候補の数だけを増やしても起こりうる部分です。
同じ点差でも取り分は変わる
簡単な実験を考えます。AIが今から出す語にとって、秘密保持の一文の適合度を2、関係の薄い各候補の適合度を0とします。大事な一文は、どの候補より2点高いままです。ここで関係の薄い候補だけを増やします。
配分は点数をそのまま比べず、指数に変えてから全候補の合計で割ります。大事な一文の取り分は、ほかの候補が4個なら約0.649です。20個なら約0.270、100個なら約0.069まで下がります。大事な一文の点数は下げていません。それでも分母に小さな候補が積み重なり、取り分が薄くなりました。
この数値は説明用に置いた条件から計算したもので、実際のモデル内の注意重みを測った値ではありません。ただ「最有力なら十分」という直感が危ういことは分かります。首位を保っていても、全体に占める割合は候補の数で変わるからです。
レシピを百件並べたらどうなるか
同じ現象を検索の場面に移してみます。夕食の相談で「卵を使わない」という条件を一文だけ置き、その後に百件のレシピを並べたとします。条件と各レシピの関連度が計算されるとき、卵なしの条件が最上位でも、似た料理名や材料名が多数あれば配分先は増えます。条件の取り分が薄ければ、後段の計算で十分に効かない場合があります。
逆に、候補が多くても大事な条件の点数が飛び抜けて高ければ、取り分は保てます。だから「長文だから必ず失敗する」とは言えません。見出しを付ける、条件を依頼のそばに置く、矛盾する情報を減らすといった工夫は、単に文字数を減らすというより、大事な条件とほかの候補との点差を作る試みだと考えられます。
記号を取り分に訳してみる
注意の点数を $s_1, s_2, \ldots, s_n$ とすると、候補 $i$ に渡る重み $a_i$ は次の形です。
$$ a_i = \frac{\exp(s_i)}{\sum_{j=1}^{n} \exp(s_j)} $$
$s_i$ は、今の計算に候補 $i$ がどれだけ合うかを表す点数です。$\exp(s_i)$ は、その点差を正の値へ変える取り分の元です。分母は、すべての候補が求める取り分の元を足した総額です。最後の $a_i$ は候補 $i$ が受け取る割合で、全部を足すと1になります。
先ほどの実験では、大事な一文の点数を2、ほかの $m$ 個をすべて0と置きました。その重みは
$$ a_{\mathrm{important}} = \frac{e^{2}}{e^{2} + m} $$
です。$m$ が増えるほど分母だけが大きくなるので、この重みは0へ近づきます。ただし実際の注意機構には複数のヘッドと層があり、点数そのものも文脈に応じて変わります。この式は注意機構の働きを一つの原因へ還元するものではなく、配分が薄まる条件だけを切り出したものです。
長い文章より気にすべきものは何だろう
ここまでの計算から、文字数だけを数える診断では足りないと分かります。千語の文章でも一つの指示がほかより際立てば、強い重みを得られます。反対に、短い文章でも似た候補が密集すれば、配分は割れます。
すると次に試したいのは、入力をどこまで短くできるかではありません。同じ長さのまま、大事な一文と競う候補をどれだけ減らせるかです。長文への耐性を測る実験も、長さだけでなく、似た候補の数と点差を別々に動かしてみたら、別の景色が見えてくるのではないでしょうか。
あわせて読みたい関連記事。
