ぱっと見は整っているのに、なぜかバレる
AIに書かせた文章、ぱっと見はちゃんとしているのに「これAIっぽいな」とバレることないですか?
誤字もないし、文法も整っている。内容だっておかしくない。それなのに、読んだ人が「なんかAIっぽい」と感じる。うまく言葉にはできないけれど、平らでのっぺりした感じがある。
不思議なのは、この「AIっぽさ」が、特定の単語や言い回しだけの問題ではなさそうなことです。無難な決まり文句を消しても、なぜかあの感じは残る。いったい何が「っぽさ」を生んでいるんでしょう。
「無難な言葉を選ぶから」だけでは説明しきれない
AIは、次に来そうな言葉を確率の高い順に選んで文章を作っているわけですが、面白いのはその先です。
「無難な言葉を選ぶからAIっぽい」というのはよく聞きます。たしかにそれも一因でしょう。でも、ここで一つ引っかかることがあります。凝った単語や比喩をわざわざ指示して入れさせても、文章全体の平らな感じは、あまり消えないのです。
つまり「っぽさ」は、どの単語を使うかというより、文章全体をどう組み立てているか、その組み立ての「クセ」に出ているのかもしれません。ここを、単語の好みではなく、数の並びとして見てみると景色が変わります。
文章を「意外さ」の列として並べてみる
そこで、文章を一語ずつの「意外さ」の列として見てみると何か分かるか、やってみましょう。
意外さというのは、「次の語が、どれくらい当てにくかったか」の度合いです。前の文脈からすんなり予想できる語なら、意外さは小さい。逆に、思いもよらない語が来たら、意外さは大きい。
人間が書いた文章をこの目盛りで見ていくと、意外さの列はかなりデコボコになります。ほとんどの語は予想どおりで意外さが低いのに、ところどころで急に予想外の語が飛び込んできて、意外さがピョンと跳ねる。話が横道にそれたり、独特の言い回しが出たり、急に具体的な固有名詞が来たり。
ところがAIの文章では、この跳ねが起きにくい。AIの生成では、高確率のトークンほど選ばれやすい一方、設定によっては低確率の候補も選ばれます。それでも、学習や調整、生成設定の影響で予測しやすい表現へ寄ると、意外さの列は低く平らになりやすい。
ここが「っぽさ」の一段裏です。一部のAI文に現れる手がかりは、意外さが低いことそのものというより、意外さが低いままばらつきにくいこと。人間の文では、ときどき予想外の語や文が混ざって意外さが跳ねるのに対し、AI文では平坦になる場合があります。この差が、読み手の違和感の一因だと読めます。
同じ見方が、AI判定ツールにも効く
この「意外さの列」という見方を持つと、他の現象も同じ絵で説明できます。
初期のAI文章検出法や現在の一部のツールは、この意外さの低さとばらつきを手がかりにしています。文章のパープレキシティや、その変動を計算し、低く均一ならAIらしいというスコアを付ける方法です。現在の検出器には、語彙、文体、意味の一貫性など複数の特徴を組み合わせるものもあり、仕組みは一つではありません。
ちなみに、AIが自信満々に間違える現象も、この「文としてのもっともらしさ」を軸にした、同じ仲間の話でした。
もっともらしさが高い(＝意外さが低い)ことと、内容が正しいことは別物、というのがその記事の芯です。今回扱う検出上の手がかりも、モデルがもっともらしい続きを作る仕組みと地続きです。
式で、意外さのばらつきを見てみる
意外さを、式に書き直してみると、何を測っているのかがはっきりします。
ある語が選ばれる確率を $p_i$ とします。$p_i$ は、その語が「どれくらい予想どおりだったか」の度合いで、0から1までの数です。この語の意外さ $s_i$ を、次のように決めます。
$$ s_i = -\log p_i $$
$\log$ は、確率のように小さくなる数を扱いやすく引き伸ばす道具だと思ってください。$p_i$ が1に近い(＝予想どおり)なら $s_i$ はほぼ0で、意外さが小さい。$p_i$ が小さい(＝予想外)なら $s_i$ は大きくなり、意外さが跳ねる。頭のマイナスは、確率が小さいほど意外さを大きくするための向き合わせです。
文章全体の平均的な意外さは、パープレキシティという1つの数字にまとめられます。
$$ \mathrm{PP} = \exp\!\left( \frac{1}{N} \sum_{i=1}^{N} s_i \right) $$
$N$ は文章の語数、$\sum s_i$ は意外さの合計です。中身は「意外さの平均」で、それを $\exp$(指数)で読みやすい大きさに戻しています。同じ参照モデルで比べると、AIの文章はこの平均が人間の文章より低く出る場合があります。ただし値は、文章を評価するモデル、言語、ジャンル、生成設定によって変わります。
でも、今回の「っぽさ」でもっと効くのは、平均そのものよりばらつきのほうです。意外さの散らばり具合は、分散で書けます。
$$ V = \frac{1}{N} \sum_{i=1}^{N} (s_i-\bar{s})^2 $$
$\bar{s}$ は意外さの平均、$(s_i-\bar{s})^2$ は各語の意外さが平均からどれだけ離れているかです。人間の文では、たまに意外さが跳ねて $V$ が大きくなる場合があります。AIの文が平らなら $V$ は小さくなる。この差は、AIらしさを推定する統計的な手がかりになります。ただし、語ごとの分散だけで著者を決めることはできません。実際の検出法では、文ごとのパープレキシティ変動を使うものや、別の特徴を組み合わせるものもあります。
そして、AIの返事が無難に寄る現象も、実は同じ土俵の上にあります。
候補の意外さ(情報量)をどれだけ許すか、というつまみを絞ると、返事は無難になり、意外さの列も平らになる。「無難さ」と「AIっぽさ」が、同じつまみの表と裏だったと読めます。
わざと意外さをばらつかせたら?
こう見てくると、AIっぽさを消すヒントも見えてきます。
ただし、この手がかりを逆向きに使って「平らならAI、デコボコなら人間」と断定することはできません。簡潔で定型的な文章を書く人は低く均一に見えやすく、AI文も編集や生成設定で大きく変わります。OpenAIが2023年に公開した判定器も、精度不足を理由に提供を停止しました。
出典: OpenAI「New AI classifier for indicating AI-written text」(2023年1月公開)。同ページ冒頭に「2023年7月20日現在、AI Classifier は精度が低いために利用できなくなっています」と明記されている。openai.com
実際、TechCrunchがClaudeの生成文7本を複数の判定器で試した小規模な検証でも、正しく判定できたのはGPTZeroで5本、OpenAIの判定器では1本でした。単一モデルによる限られた検証ですが、判定結果を執筆者の証明として扱えないことは、このばらつきからもうかがえます。
検証例: TechCrunch「Most sites claiming to catch AI-written text fail spectacularly」
意外さの平均やばらつきは、文章の特徴を測っているのであって、執筆者の身元を証明しているわけではありません。だとすると「AIっぽい」という違和感は、書き手を当てた証拠ではなく、文章が予測しやすすぎるというサインとして読むほうが正確ではないでしょうか?
あわせて読みたい関連記事。
