AIエージェントに任せると、最初のズレが残る
AIエージェントに「この資料を調べて、要点をまとめて、下書きまで作って」と頼む場面が増えてきました。
うまくいくとかなり便利です。 でも、最初にこちらの意図を少しだけ取り違えたまま走り出すと、最後までその勘違いを引きずることがあります。
途中の作業はちゃんとしているのに、できあがったものを見ると「そこじゃないんだよな」となる。 そんなことないですか？
途中の作業が正しくても、向きはズレる
AIエージェントは、一つの巨大な答えを一発で出しているというより、調査する、判断する、ファイルを直す、次に進む、という小さな工程をつないで動くことが多いわけですが、ここで一つ不思議があります。
なぜ、途中の一つ一つの作業がそれなりに見えても、全体としてはズレた方向に進むのでしょうか。
人間の作業でも似たことはあります。 最初の会議で目的を取り違えると、その後の資料作成もレビューも、取り違えた目的に沿ってきれいに進んでしまう。 AIエージェントでも、最初の理解が「現在の作業状態」に入り込むと、その状態を前提に次の一手が選ばれます。
このズレは「AIが一回ミスした」で終わる話ではなさそうです。 小さな状態の変化が、次の状態を呼び、そのまた次の状態を呼ぶ。 その連鎖として見てみると、別の景色が出てきます。
状態の連鎖として読んでみる
ここで、マルコフ連鎖という見方でこの現象を解釈できるか、やってみます。
マルコフ連鎖は、ざっくり言えば「次にどこへ進むかを、いまの状態から確率で決める」モデルです。 ポイントは、長い過去をそのまま全部持ち歩くのではなく、いまの状態に圧縮して見るところにあります。
AIエージェントの作業を、たとえば次の三つの状態で眺めてみます。
– 方向が合っている – 途中で確認に戻る – ズレたまま進む
もちろん、実際のエージェントの内部状態はもっと複雑です。 でも、作業の流れをこの三つに粗くまとめるだけでも、「最初の勘違いがなぜ残るのか」を試せます。
もし「ズレたまま進む」状態に入ったあと、次もまた「ズレたまま進む」確率が高いなら、最初の勘違いは自然には消えにくくなります。 逆に、「途中で確認に戻る」確率を高くできれば、ズレは早めにほどけます。
ここで見えてくるのは、失敗の原因が一つの回答ではなく、状態の移り方にあるかもしれない、ということです。
確認を入れる場所が見えてくる
この見方を使うと、「AIエージェントを賢くする」とは別の設計が見えてきます。
たとえば、最初の指示理解の直後に確認を入れる。 大きな変更を加える前に、作業方針を短く言わせる。 長い調査のあとに、いったん目的との対応を点検させる。
これは単なる安全確認ではありません。 状態の連鎖の中で、「ズレたまま進む」から「確認に戻る」へ移る確率を上げる操作として読めます。
同じことは、人間のチーム作業にもあります。 仕様の読み違いに早く気づくチームは、メンバーが特別に完璧だからではなく、ズレが固定される前に状態を戻す仕組みを持っています。 AIエージェントも同じように、途中で状態を戻せる設計にしておくと、最初の小さな誤解が最後の大きな手戻りになる確率を下げられます。
状態を式にしてみる
作業状態を確率で表すために、時点 $t$ の状態を $X_t$ と書いてみます。
$X_t$ は「いま作業がどの状態にいるか」です。 たとえば「方向が合っている」「確認に戻る」「ズレたまま進む」のどれかだと思ってください。
マルコフ連鎖の基本形は、次のように書けます。
左側は「これまでの流れも全部見たうえで、次に状態 $j$ へ行く確率」です。 右側は「いま状態 $i$ にいることだけを見て、次に状態 $j$ へ行く確率」です。
この式は、過去が本当に消えるという意味ではありません。 過去の影響が、いまの状態 $X_t$ に押し込まれている、と読んだほうが近いです。
AIエージェントで言えば、最初の勘違いそのものが過去に消えても、その勘違いが作業メモ、変更済みファイル、調査方針、次のTODOに残っていれば、それはもう「いまの状態」です。 だから次の一手にも効いてきます。
複数の状態をまとめ、$\pi_t$ を横に並べた確率のリストとして見ると、状態の分布は次のように進みます。
$\pi_t$ は「時点 $t$ で、各状態にどれくらいの確率でいるか」です。 $Q$ は「ある状態から次の状態へ移る確率を並べた表」です。
たとえば、ズレた状態からズレた状態へとどまる確率が大きい $Q$ なら、最初の勘違いは残りやすい。 確認に戻る確率が大きい $Q$ なら、ズレは途中で修正されやすい。
この式で見てみると、改善したいのは「一回の答え」だけではありません。 次の状態へ移る確率の表、つまり作業の流れそのものです。
図では、作業状態を丸で、状態の移り方を矢印で描いています。 「ズレたまま進む」から同じ状態へ戻る矢印が太いほど、最初の勘違いは残りやすい。 一方で、「確認に戻る」への矢印を太くできれば、ズレは途中でほどけます。
ここで見たいのは、どの状態が悪いかではありません。 ズレた状態に入ったあと、そこからどこへ戻れる設計になっているかです。
任せる前に、戻り道を設計する
AIエージェントに任せる作業が長くなるほど、最初の小さなズレは後ろまで運ばれやすくなります。
であれば、良い指示とは「最初に全部を完璧に書くこと」だけではなさそうです。 むしろ、ズレた状態に入ったとき、どこで確認に戻るかを作業の中に入れておくことが効いてきます。
「まず方針を3行で確認してから進めて」 「ファイルを書き換える前に、変更対象だけ列挙して」 「途中で前提が怪しくなったら止まって質問して」
こうした一文は、丁寧なお願いというより、状態遷移の設計です。
AIエージェントを使いこなす人は、うまい命令文を書いているだけではなく、ズレたときに戻れる確率を上げているのかもしれません。 そう考えると、次に任せる仕事では、答え方より先に「どこで戻らせるか」を指定したくなりませんか？
あわせて読みたい関連記事。
