全部入れたのに、なぜか一つ崩れる
AIに画像を作らせると、要望を全部入れたはずなのに、どこか一つが崩れたり薄まったりすることないですか?
「青い空、白い猫、窓辺、やわらかい光、手前にコーヒーカップ」とお願いする。 空も猫も窓も光もいい感じ。 でも、コーヒーカップだけ妙に大きい。 あるいは、カップを直すと今度は光がきつくなる。
不思議なのは、全部書いたはずなのに、なぜか一つだけ言うことを聞いてくれない感じが残ることです。 しかも、その一つを直すと別のどこかがずれる。 「ちゃんと全部書いたのに」というモヤモヤが残ります。
この「一つだけ変なところが残る」現象を、AIの聞き分けの悪さではなく、数学として捉えられるか試してみます。
「聞いてない」のではなさそう
画像生成AIは、こちらの文章を手がかりにして、できるだけそれっぽい絵を作っているわけですが、面白いのはその先です。
要望が一つだけなら、たいていうまくいきます。 「白い猫」だけなら、白い猫が出る。 問題が起きるのは、条件をいくつも重ねたときです。
ここで一つ不思議があります。 もしAIが単に「聞いていない」のなら、増やした条件はどれもバラバラに失敗するはずです。 でも実際は、四つは満たせて一つだけ崩れる、という形になりやすい。 そして崩れる場所を直すと、別の場所が代わりにずれる。
この「あちらを立てればこちらが立たず」の感じは、聞き分けの問題というより、もっと構造的な何かに見えます。
条件は、たがいに綱引きしている
ここで、複数の条件を同時に満たすという作業を、条件同士の綱引きとして読めるか、やってみましょう。
「コーヒーカップを目立たせる」と「光をやわらかくする」は、別々に見ると無関係です。 でも一枚の絵の中では、同じ画面・同じ明るさ配分を取り合っています。 カップを手前で目立たせれば、その周りは明るくなりがちで、やわらかい光とぶつかる。
条件が増えるほど、こうした取り合いが増えます。 五つの要望は、五つの独立したスイッチではありません。 一枚の絵という限られた場所を、たがいに引っぱり合う五本の綱です。
AIがやっているのは、この綱引きの落としどころを探すことだと読めます。 もちろん、実際の画像生成AIが、このあと出す式をそのまま内部で解いている、という話ではありません。 ここでは、外から見た挙動を理解するための小さな模型として使います。
全部を100点にする一枚が存在しないとき、どこかを少し諦めて、全体のバランスを取る。 崩れて見える一つは、AIがバランスを取った結果、いちばん優先度が低いと判断された場所だ、という仮説で見られます。
同じ綱引きは、あちこちにある
この見方を持つと、似た現象が他でも見えてきます。
資料を作るとき、「情報を詰め込みたい」と「見やすくしたい」は綱引きします。 両方を最大にはできないので、どこかで折り合う。
旅行の計画でも、「安い」「近い」「ゆっくりできる」を全部満たす案はめったにない。 たいてい、どれかを少し諦めて決めます。
メールの文面で「丁寧」と「短い」を同時に頼むと、AIはどちらかに寄ります。 これも、両立しにくい条件を一つの文章で取り合っているからだと読めます。
どれも、複数の望みを一つの結果に同時に詰め込もうとすると起きる現象です。 要望が増えるほど、全部を満たす余地はせまくなります。
重みで書いてみると
この綱引きを、式で見てみます。
満たしたい条件がいくつかあるとき、それぞれの「どれくらい満たせていないか」を測る量を考えます。 条件1のズレを $f_1$、条件2のズレを $f_2$、と並べて、$f_1, f_2, \ldots, f_n$ とします。 $f_i$ が小さいほど、その条件はよく満たせている、という意味です。
AIが全部を一度に小さくできればいいのですが、綱引きがある以上、それは難しい。 そこで、条件ごとに優先度の重みをつけて、一つのまとまった目標に束ねる見方ができます。
$L$ は、全体としてどれくらい不満が残っているかをまとめた量です。 $w_i$ は、条件 $i$ をどれくらい重く見るかという優先度の重みです。 $w_i$ が大きい条件は、少しのズレも許されにくい。 $w_i$ が小さい条件は、多少崩れても全体への響きが小さい。
AIは、この $L$ をできるだけ小さくする一枚を探していると読めます。 そして綱引きがあるせいで、ある条件の $f_i$ を下げると、別の条件の $f_j$ が上がってしまう。 これは、シーソーで片方を上げると、もう片方が下がる関係に近いです。 図にすると、届く範囲の境界上で、条件Aと条件Bのどちらを高くするかを選んでいるように見えます。 全部のズレを同時にゼロにはできないので、重みの小さい条件が最後にしわ寄せを受ける、という仮説が立ちます。
崩れて見えるあの一つは、こちらが軽く書いたつもりはなくても、AI側で $w_i$ が小さいと見積もられた条件なのかもしれません。 これは断定ではなく、外から見た挙動を整理するための仮説です。 だとすれば、必要なのは条件を増やすことではなく、どれを重く見てほしいかを伝えることになります。
指示は注文書ではなく、重みの置き方
そう考えると、画像生成への頼み方が少し変わります。
要望を全部ならべると、AIはこちらが何を重く見ているか分かりません。 五本の綱を同じ強さで渡されたら、AIが勝手に優先順位を決めるしかない。 その結果、こちらにとって大事だった一本が、軽いと判断されて崩れる。
だから、条件を足すよりも、優先順位を渡すほうが効きやすいはずです。 「とくにコーヒーカップの存在感を最優先で、光は多少きつくてもいい」のように、どこに重みを置くかを言葉にする。 そうすると、AIが落としどころを探すときの綱の強さが変わります。
全部を完璧にした一枚は、もともと存在しないのかもしれません。 だとしたら、AIに渡すべきは長い注文書ではなく、「どれを諦めてよくて、どれは絶対に譲れないか」という重みの地図なのかもしれませんね?
あわせて読みたい関連記事。
