会議のメモをAIに渡して「ここからToDoを抜き出して」と頼んだのに、まだ決まってもいない「ちょっと検討してみようか」くらいの話まで、しれっとタスク一覧に並んでいた。こんな経験はないでしょうか。こちらは確定した宿題だけ欲しかったのに、と。
AIが文脈を読み切れなかった、と言ってしまえばそれまでです。でも、ここで一つ引っかかることがあります。だったら「拾いすぎないように、厳しめに選んで」と頼めば済むはずです。ところが厳しくすると、今度は本当に決まった宿題のほうまでこぼれ落ちる。「全部きちんと拾ってほしい」と「よけいなものは入れないで」を、同時に完璧には満たしてくれないのです。
「拾いすぎ」と「こぼし」は、いつもセットでやってくる
この「あちらを立てればこちらが立たず」は、AIの気まぐれではありません。少し踏み込むと、避けようのない事情が見えてきます。
会議メモには、確実な宿題（「AさんがXの資料を金曜までに送る」）から、宙ぶらりんの話（「そのうち体制を見直したいね」）まで、いろいろな温度の文が混ざっています。この温度がくっきり二分できるなら苦労はないのですが、実際には中間がたくさんある。「来週あたり、たたき台を用意できたら」くらいの文は、宿題のようでもあり、ただの願望のようでもあります。この中間帯をどちらに入れるかで、拾いすぎるか、こぼすかが決まってしまうのです。
AIは一文ごとに「ToDoらしさ」を測っている
ここで、AIが内部で何をしているかを考えてみます。AIは会議メモの一文一文に、いわば「これはToDoっぽいぞ」という度合いをつけています。「AにXの資料を金曜までに送る」なら高く、「そのうち体制を見直したいね」なら低い。担当・期限・具体性がそろうほど高くなる、と考えると自然です。
そして、ある基準を超えたものだけをタスクとして拾い上げます。この基準を、ここでは線引きと呼ぶことにします。読解力そのものというより、「どこから先をタスクと見なすか」という線の置き場所の問題として捉え直せる、ということです。線を下げれば手前の弱い文まで拾い、上げれば奥の強い文しか拾わない。
同じ線引きは、迷惑メールにも健康診断にもある
面白いのは、この線引きの話が会議メモに限らないことです。迷惑メールのフィルタは、怪しさがある基準を超えたメールを迷惑フォルダに送りますが、基準を厳しくすれば大事なメールまで巻き込み、緩めれば迷惑メールが受信箱に残ります。健康診断の再検査も同じで、少しの異常でも再検査に回せば見落としは減るけれど、健康な人まで呼び出してしまう。
つまり「拾いすぎ」と「こぼし」は、分野を問わずセットで現れて、片方だけをゼロにするのは難しい。会議メモのToDo抽出は、この昔からある構造が新しい場所に顔を出したもの、と見ることができます。
式にすると、二つの間違いがシーソーになる
この線引きを、そのまま式にしてみます。タスクっぽさの度合いをスコア $s$、線引きの位置をしきい値 $\tau$（タウ）と書きます。AIのルールは素直で、
$$s > \tau \;\Rightarrow\; \text{タスクとして拾う}$$
というだけです。$s$ は「その一文がどれくらいToDoらしいか」、$\tau$ は「どこから上を拾うと決めた境界線」を表します。
この $\tau$ を左に動かす、つまり基準を緩めると、拾う範囲が広がります。すると、本当は未決定なのにタスク扱いしてしまう文が増える。これを偽陽性（拾いすぎ）と呼びます。逆に $\tau$ を右に動かして基準を厳しくすると、本当は決定事項なのに見逃す文が増える。これが偽陰性（こぼし）です。
$$\tau \text{を左へ} \;\to\; \text{偽陽性（拾いすぎ）}\uparrow \qquad \tau \text{を右へ} \;\to\; \text{偽陰性（こぼし）}\uparrow$$
$\tau$ という一本の線を動かすと、二種類の間違いがシーソーのように入れ替わります。未決定の話と決定済みの話が、スコアの上で重なっている限り、片方を減らすともう片方が増える。AIが決まってない話まで拾うのは、この線が少し左寄り、つまり拾い漏れを嫌う側に置かれているから、と読めます。
ちなみに、AIが「これは対応が優先かも」と重要度まで返してくるときにも、同じ「どこから先を重要と見なすか」という線引きが顔を出します。
線は、こちらから動かせる
ここまで来ると、次の一手が見えてきます。「決まってない話まで拾う」のがAIの読み違いではなく線の置き場所の問題なら、こちらから線を動かせるはずです。「明確に担当と期限が決まった項目だけを抜き出して。検討中や保留の話は除いて」と一言添えるのは、$\tau$ を右に寄せてほしいと頼んでいるのに近い。
そう考えると、次にメモを渡すときは、AIの精度に文句を言う代わりに、自分でシーソーの傾きを指定できます。アイデアを棚卸ししたい場面では線を左に、確定タスクだけ欲しい場面では右に。線がどこにあるかを意識するだけで、AIへの頼み方が一段だけ具体的になります。
あわせて読みたい関連記事。
