記事一覧
百万個のつまみを、味見一回で直す
前回の宿題を、今日開けます 埋め込みの回で、単語の置き場所(意味のベクトル)は使われ方から学習で決まる、という話をしました。そしてその回は「では、その置き場所をどう調整していくのか。それはまた別の回に」と言って終わっていました。 三つの顔の...AIのGPU、増やしたのに速くならないことがあるのはなんで?
「GPUを増やしたのに、思ったほど速くならなかった」。AIの計算まわりで、こういう話を見聞きしたことはないでしょうか。演算する部品を倍にしたのだから、単純に倍速くなってほしい。でも現実はそうならないことがある。ここが、ちょっと不思議なところで...CPUは賢いのに、なんでAIではGPUが勝つことがあるの?
CPUは一つひとつの仕事を賢くこなす部品で、GPUは小さな計算を大量に並べて処理する部品。そう聞くと、少し変な感じがしないでしょうか。賢い人が少数で丁寧にやるより、単純な人が大量に並んだほうがAIでは強い。なぜそんなことが起きるのか。 以前、GPU...同じ単語なのに、AIの中では3つの顔を持ちます
前回の宿題を開ける 前回の Attention の話で、単語はそれぞれ問い(Q)・見出し(K)・中身(V)という三つの表を持つものとして使いました。その三つを照らし合わせて、どの語に注目するかを決める。話の最後で、一つ宿題を残していました。この三つの表は、そ...甘い辛いの軸は、誰が決めていたのか
向きは分かった。でも、あの軸は誰が置いたのか 前回、好みを「甘いもの好き度」と「辛いもの好き度」の二つの軸で表して、平面上の矢印にしました。そして、似ているかどうかは矢印の長さではなく向きで測れる、という話をしました。同じ向きなら、強さが...ゲームの絵を描く部品が、なんでAIの主役になれたの?
GPUって、もともとはゲームの映像をきれいに速く描くための部品でした。それが今やAIの計算に欠かせない主役になっている。よく考えると不思議ではないでしょうか。絵を描く道具と、文章を書いたり画像を作ったりするAI。まるで用途が違うのに、なぜ同じ部...AIってなんで「GPU」なの? 「並列だから」の、その先の話
「並列だから」で、なんだか納得してしまうけれど AIってなんでGPUなの? と調べると、たいてい「並列計算が得意だから」という答えにたどり着いて、なんとなく納得して終わりがちです。 でも、よく考えると不思議なことがあります。 GPUはもともと、ゲーム...AIは「それ」が何を指すか、どう分かるのか
「それ」は、どうやって「骨」だと分かるのか 「犬が骨をくわえて、それを埋めた」。この一文を読んで、自分たちは何のためらいもなく「それ＝骨」だと分かります。犬を埋めたわけではないし、くわえるという動作を埋めたわけでもない。埋められたのは骨で...数式は、設計図として読む。自分が使う2つの道具
式は、畳まれた文章です 教科書を開いても、論文をめくっても、要点はたいてい数式で書いてあります。文章にすれば3行かかることを、式は1行に畳んで書く。だから一目では開かない。ほんとうに、それだけの話です。畳んであるものは、開き方さえ知っていれ...AIのおすすめって、外れる日もあるのに、なんで好みが見えてくるの?
外れる日もあるのに、なぜか当ててくる 動画でも音楽でも買い物でも、AIのおすすめって、その日その日で見ると外れも多いことないですか? 「なんでこれ?」というのが並ぶ日もある。なのに、しばらく使い続けていると、いつの間にか「だいたい自分の好み、...
