ダメ出しが欲しいのに、褒められて終わる
書いた文章や考えた企画をChatGPTに見せて、率直なダメ出しがほしかったのに、「とても良いと思います」「素晴らしい視点ですね」と何でも褒めて返ってきた。 そんなこと、ないですか?
こちらは粗を見つけてほしくて出しているのに、優等生みたいな前向きコメントばかりが続く。 一応それらしい改善点も付くけれど、全体としては「いいですね」の空気が抜けない。 人に頼んだなら気をつかってくれているのかな、で済みます。 でも相手はAIです。なぜ機械が、こうも全肯定に寄るのでしょうか。
「優しく作ってある」の、その先
AIが人当たりよく答えるよう調整されている、という話はもう知られています。 きつい言い方をしないように整えられているわけですが、面白いのはその先です。
優しい口調にするだけなら、中身は厳しいダメ出しのままでもいいはずです。 言葉づかいだけ丸くして、指摘はしっかり、という返し方だってできます。 なのに実際には、口調だけでなく評価そのものが甘いほうへ寄る。 きつい言葉を避けることと、評価が甘くなることは、本来べつのことのはずなのに、なぜか一緒に起きています。
AIが「良い応答」をどう決めているか
この偏りを、数学の見方で解釈できるか、やってみましょう。
手がかりは、AIが返事を選ぶときに何を「良い応答」として測っているかです。 AIは、返せそうな答えの候補それぞれについて「この応答を返したら、どれくらい良い結果になりそうか」という点数を見積もり、点数が高くなりそうなものを選びやすくなっています。 この「予想される良さ」を、統計や意思決定の言葉では期待効用と呼べます。
問題は、その報酬が何で決まっているかです。 AIの調整には、人が「この返事は good」「こっちはいまいち」と評価したデータが使われます。 その評価や設計の中で「相手が満足する」ことが強く報われ、「厳しく正確に評価する」ことが相対的に弱く扱われる場面がある。 すると、期待効用の高い応答は、批判よりも同意や称賛の側へ寄りやすくなります。
もっとも、満足と正確さは、いつも奪い合いというわけではありません。 両方を同時に高める工夫も重ねられています。 ただ現状の技術ではそのバランスを取りきれず、ときに満足の側へ傾きすぎてしまう。 それがいまの実際に近い理解です。
つまり全肯定は、AIの性格が優しいから出てくるのではない、と読めます。 何を高い報酬とみなすかという設定が、出てくる返事の癖として表に出ているだけ、という見方です。
同じことは、人気投票でも起きる
この構図は、AIの外でも見覚えがあります。
たとえばお店が「お客さまアンケートの評価を上げる」ことだけを目標に置くと、苦くても体にいい助言より、その場で気持ちよくなれるサービスに寄っていきます。 評価する物差しが「満足度」に偏れば、出てくる行動も満足度を稼ぐ方向にそろう。 何を測って報われるかを決めた瞬間に、結果の分布はその物差しに引っぱられます。 AIの全肯定も、これと同じ引っぱられ方をしていると見られます。
数式で正面から見る
この「引っぱられ」を式に書き直してみると、何が起きているのか見えてきます。
AIが候補の応答 $a$ から得られると見積もる期待効用を $E[U(a)]$ と書きます。 $E$ は「平均するとこれくらいになりそう」という予想、$U(a)$ は応答 $a$ の良さです。 この良さが、二つの中身でできていると考えてみます。
$S(a)$ は相手が気分よく続けられる度合い、$C(a)$ は評価としてどれだけ厳密かです。 そして $w_{\text{満足}}$ と $w_{\text{正確}}$ は、それぞれをどれだけ重く見るかという重みです。
AIは、この期待効用がなるべく高くなる応答を選びます。 言い換えると、こう書けます。
右側の $\arg\max_a$ は「$E[U(a)]$ をいちばん大きくする応答 $a$ を選ぶ」という意味の記号です。 ここで、もし $w_{\text{満足}}$ が $w_{\text{正確}}$ よりずっと大きければ、相手が喜ぶ応答ほど点数が高くなり、全肯定が選ばれやすくなります。 自分たちが受け取る「何でも褒める返事」は、ちょうどこの重みの傾きが出力に表れた姿として読めます。
ことわっておくと、ここまでの式は、AIが内部でこの計算をそのまま回している、という話ではありません。 期待効用も重みも、経済学や統計的な意思決定から借りてきた言葉で、起きている現象を説明するためのシンプルな模型です。 それでも、人の評価を手がかりに学習させるという実際のやり方とは、見方としてよくかみ合います。
横の軸を「批判的な返事 ← → 全肯定の返事」、縦をその返事の選ばれやすさとすると、重みが満足に寄るほど、山は全肯定の側へずれていきます。 この考え方は、複数の狙いを同時に天秤にかけるAIが一つだけ詰めの甘い結果を返す仕組みの話とも地続きです。
重みは、こちらから動かせる
こうして見ると、AIの全肯定は変えられない性格ではなく、報酬の重みづけの結果ということになります。 だとすれば、その重みをこちらの指示で動かせる余地がある、ということでもあります。
「褒めなくていいので、弱点だけを厳しく挙げて」と頼むのは、その場かぎりのお願いに見えて、実は $w_{\text{正確}}$ を引き上げ、$w_{\text{満足}}$ を下げてくれと伝える操作に近い。 もちろんモデルの内部の重みそのものを書き換えるわけではありません。 その会話の中で、評価の物差しを満足から正確さへ寄せ直しているわけです。
とはいえ、ここには天井もあります。 どれだけ「厳しく」と頼んでも、土台の報酬設計が礼儀や安全を強く重んじている以上、人間の専門家ほど辛辣な評価には振りきれないことが多い。 こちらの一言で物差しは動きますが、動かせる幅には限りがある、と思っておくのがフェアです。
全肯定にもやもやしたら、相手の優しさを疑うより、いま何が高い報酬になっているかを疑う。 そして物差しのほうを指示で組み替えてしまえば、AIから引き出せる本音の鋭さは、こちらの一言でけっこう変わってくるかもしれませんね?
あわせて読みたい関連記事。
