大事な一文だけ置いていかれる
ChatGPTと長く相談している途中で、一度だけ伝えた大事な条件を、後半になって見落とされたことないですか?
最初に「予算は3万円まで」と書いたのに、話題を何度か往復したあとで5万円の商品を提案される。 企画書を一緒に直していて、「専門用語は使わないで」と頼んだはずなのに、いつの間にか難しい言葉が戻ってくる。
自分も、条件を追加しながら相談を育てた末に、最初の一文をもう一度貼り直すことがあります。 会話を詳しくしたのだから、判断材料は増えているはずです。 それなのに、なぜか外してほしくない条件ほど埋もれて見えます。
情報が多いだけでは説明しきれない
会話が長くなれば、処理する文章も増えるわけですが、それだけなら「読む量が増えて大変になった」で話は終わります。
でも、ここで一つ不思議があります。 追加した文章の多くが条件と無関係でも、なぜ判断が揺れるのでしょう。 無関係な文は、役に立たないだけなら点数ゼロのはずです。 ところが実際の検索では、たまたま質問に近い言葉を含む文や、その場の話題に強く合う文が候補に混ざりえます。 候補が増えるほど、偶然よく似て見える一文と出会う機会も増えます。
ここで扱うのは、ChatGPTの実装を直接説明するものではありません。 長い会話から手がかりを拾う状況を、複数候補が点数を競う検索競争として単純化したモデルです。 LLMの実際の動作はこれよりずっと複雑ですが、ここでは候補ごとのスコアリングと候補どうしの競争だけを抽象化して取り出しています。
候補が増えるほど強敵が現れやすい
無関係な文にも、質問との「似て見える度合い」が付くと考えてみます。 ほとんどは低い点でも、数が多ければ、その中の最高点は上がりやすくなります。 自分が試したいのは、平均的な無関係文ではなく、無関係文の中で最も紛らわしい一文です。
これは多重比較と呼ばれる問題に似ています。 多重比較とは、統計でたくさんの比較を一度に行うと、本当は意味のない結果でも偶然どこかに目立つものが紛れ込みやすくなる、という現象のことです。 一回だけ比べれば珍しい高得点でも、何十回、何百回と比べると、どこかで出る確率が高くなるという話です。 コイン投げを一回だけ見れば十回連続の表には出会いませんが、世界中で大量に試せば、どこかには現れます。 検索競争でも、無関係な候補一件の珍しさと、候補全体から一件でも紛らわしいものが出る確率は別です。
大事な条件が急に弱くなったと考えなくても、競争相手が増え、その中に偶然の高得点が現れたと考えれば、見落としの一部を説明できそうです。
顔写真の整理にも同じ競争がある
この見方は、長い会話だけの話ではありません。 写真アプリが一枚の顔を既存の人物グループへ割り当てる場面でも、似ている候補が少ないときと、多数あるときでは競争の厳しさが変わります。 候補が多ければ、別人なのに偶然よく似た特徴を持つ相手が混ざる機会も増えます。
顔の近さを使った分類で、同じ人を分けたり別人を混ぜたりする仕組みは、こちらの記事でも別の角度から試しています。
ほかにも、迷惑メール検出、商品検索、似た資料探しなど、「一つの対象を多数の候補と比べ、上位を選ぶ」場面なら同じ構図を置けます。 候補を増やすことは、良い相手を見つける機会だけでなく、偶然よく見える相手を引く機会も増やします。
一番高い点だけを式にする
無関係な候補が $n$ 件あり、それぞれの類似度を $X_1, X_2, …, X_n$ とします。 ここでは計算を明確にするため、これらを互いに独立で、すべて同じ分布に従うと仮定します。 独立とは、一件の点数が高かったことが別の一件の点数を高くも低くもしないという意味です。 同じ分布とは、どの候補も同じ点数の出やすさを持つという意味です。
$F(t)$ を、一件の無関係候補の類似度が基準 $t$ 以下になる確率とします。 つまり $F(t) = P(X_i ≤ t)$ です。 無関係候補の最高点を $M_n = max(X_1, X_2, …, X_n)$ と置きます。
最高点 $M_n$ が $t$ 以下であるためには、$n$ 件すべてが $t$ 以下でなければなりません。 独立を仮定したので、それぞれの確率を掛けられます。
$$P(M_n ≤ t) = F(t)^n$$
左側は「最も紛らわしい候補でさえ基準を超えない確率」です。 右側の $F(t)^n$ は、「一件目も、二件目も、その先も、全件が基準以下になる確率」を表します。
欲しいのが「一件でも基準を超える確率」なら、全件が基準以下である場合を1から引きます。
$$P(M_n > t) = 1-F(t)^n$$
この単純化モデルで、基準超えが誤誘導につながると決めれば、$1-F(t)^n$ が誤誘導確率です。 たとえば一件が基準以下に収まる確率を $F(t)=0.95$ とすると、無関係候補が一件なら基準超えは5%です。 ところが20件なら $1-0.95^{20}$ で約64%、100件なら約99.4%になります。 一件ごとの性質を変えなくても、候補数だけで曲線は上がります。
もちろん、実際の会話中の文は互いに関係しており、点数の出やすさも同一とは限りません。 独立でなければ単純な掛け算は使えず、同じ分布でなければ $F(t)^n$ ではなく、独立という仮定のもとで各候補の分布を使った積 $F_1(t)F_2(t)…F_n(t)$ になります。 また、基準超えが必ず見落としを起こすとも限りません。 ここでの式は実際の製品の失敗率ではなく、「候補が増えるだけでも偶然の強敵は増える」という効果だけを切り出しています。
条件を足すほど迷いやすくなるなら
長い会話では、役立つ情報と無関係な情報が一緒に増えます。 情報量を増やせば自動的に判断が良くなるとは限らず、検索競争では、残す候補と退ける候補の両方が増えるからです。
だとすると、AIへの指示を上手にする方法は、条件をひたすら足すことだけではないのかもしれません。 明日から試せる工夫として、次の三つが挙げられます。
- 大事な条件は最後に短く再掲する：会話が長くなったら、外せない条件だけをもう一度書き添える
- 話題ごとに会話を分ける：目的の違う相談は新しいスレッドに切り替え、競争相手そのものを減らす
- 不要になった経緯を持ち込まない：解決済みの脇道や古い前提は、あえて残さない
そんな「何を書くか」ではなく「何と競わせないか」の設計だけで、長い会話の見落としを減らせるとしたら、会話の組み立て方はどこまで変わるでしょうか?
あわせて読みたい関連記事。
