ラボノート– category –

前回の宿題を、今日開けます 埋め込みの回で、単語の置き場所(意味のベクトル)は使われ方から学習で決まる、という話をしました。そしてその回は「では、その置き場所をどう調整していくのか。それはまた別の回に」と言って終わっていました。 三つの顔の...

前回の宿題を開ける 前回の Attention の話で、単語はそれぞれ問い(Q)・見出し(K)・中身(V)という三つの表を持つものとして使いました。その三つを照らし合わせて、どの語に注目するかを決める。話の最後で、一つ宿題を残していました。この三つの表は、そ...

向きは分かった。でも、あの軸は誰が置いたのか 前回、好みを「甘いもの好き度」と「辛いもの好き度」の二つの軸で表して、平面上の矢印にしました。そして、似ているかどうかは矢印の長さではなく向きで測れる、という話をしました。同じ向きなら、強さが...

「それ」は、どうやって「骨」だと分かるのか 「犬が骨をくわえて、それを埋めた」。この一文を読んで、自分たちは何のためらいもなく「それ＝骨」だと分かります。犬を埋めたわけではないし、くわえるという動作を埋めたわけでもない。埋められたのは骨で...

式は、畳まれた文章です 教科書を開いても、論文をめくっても、要点はたいてい数式で書いてあります。文章にすれば3行かかることを、式は1行に畳んで書く。だから一目では開かない。ほんとうに、それだけの話です。畳んであるものは、開き方さえ知っていれ...

顔が似ている。好みが似ている。声が似ている。 自分たちは日常で「似ている」をかなり自然に使っています。 でも、それを機械にやらせるには、どこかで数にしないといけません。 「似ている」を数で測るとは、何を測ることなのでしょうか。 距離が近いこ...

ChatGPT に何かを頼むと、たいてい数秒で返ってきます。あれだけの文章を、なぜあんなに速く作れるのか。答えとしてよく聞くのが「AI は GPU で並列処理をしているから速い」という説明です。これは速さの重要な理由のひとつで、おおむねそのとおりなので...