【悲報】AIはグラボで動くと思っていた自分、Googleは8代目の自前チップをすでに作り終えていたと知る
AIの計算はグラフィックボードが動かしている——その前提、すでに半分しか正しくない
「AIを動かすにはグラボが必要」。この理解は、この10年あまりの常識として定着してきた。だが世界のAI基盤に目を向けると、GoogleはGPUに似た回路を最初から捨て、機械学習の行列計算だけを極限までこなす自前チップを8世代にわたって育て上げていた。同じ「AIの計算」を巡って、GPUとTPUでは芯片の中で起きていることが根本から違う。速さの差はブランドの差ではなく、データの運び方の差なのだ。

ゲームのために作られた回路が、なぜAIの心臓になったのか
普段使うパソコンのCPUは、命令に従って計算も判断も何でもこなす万能型だ。複数のコアやベクトル演算機で並列に働くが、何より「処理の内容が頻繁に変わる仕事」に柔軟に付いていけるよう設計されている。得意なのは器用さであって、単一の計算を何億回も叩き込むことではない。
一方のGPUはGraphics Processing Unit、画面の膨大なピクセルを描くために、似た掛け算と足し算をまとめて大量に処理するよう作られた回路だ。1999年、NVIDIAがGeForce 256で「GPU」を前面に打ち出して以降、この並列力は3Dゲーム専用にとどめられなかった。画像のあちこちで同時に起きる演算と、ニューラルネットワーク内の演算は形がよく似ていたからだ。その橋渡しになったのが2006年に発表されたCUDAで、ゲーム用の並列計算を汎用に引き出す仕組みだった。転機は2012年、画像認識の研究で大きな影響を残したAlexNetが、GeForce GTX 580を2枚使ってニューラルネットワークを学習してみせたときだ。画像を描く装置が、ものを見分ける計算にも使えると示された瞬間である。
対するTPU(Tensor Processing Unit)は、もともとAIにしか使わない前提で設計された専用集積回路、いわゆるASICだ。発端はゲームではなく検索だった。Googleは学習済みモデルから答えを引き出す推論処理を、桁違いの回数さばく必要があり、そのための機械学習専用チップとしてTPUを設計した。初代は2015年に社内で稼働を始め、2016年に公表、2017年には学習にも対応している。注目すべきは、TPUが「何でもできる汎用チップの簡略版」ではない点だ。設計の中心に大量の行列演算回路を置いた、発想の異なる機械である。もっとも、今のGPUにも行列に特化した回路が入っており、「何でもできるGPU対AIしかできないTPU」という単純な二択はもう成り立たない。
タイルで拾うのか、格子で流すのか
同じ行列の掛け算を両方で実行すると、内部の手順の差がはっきりする。GPUの基本戦略は「分割」だ。計算を小さな単位に割り、多数のスレッドに分担させる。チップ内のSM(ストリーミングマルチプロセッサ)という演算の塊が多数のスレッドを動かし、分担した足し算の途中結果をそれぞれが受け持つ。だが行列積では同じデータを何度も使い回すため、毎回メインメモリから運んでは間に合わない。そこでGPUは計算をタイル状の小さなブロックに切り、チップ内の高速な共有メモリに一度載せて使い回す。近年はその共有メモリをTensor Coreという専用回路が直接さばき、行列の一ブロックあたりの処理をさらに高速化している。
TPUは逆から攻める。設計の中心にあるのはMXU(Matrix Multiply Unit)と呼ばれる大きな行列演算回路で、これを格子状に並べた「シストリックアレイ」が特徴だ。データを演算器の下まで何度も運ぶのではなく、入力行列をアレイの端から順に流し、積と和を演算セルの格子の中をリレーさせる。データを動かさずに演算器を固定したまま、データを流し続ける発想だ。演算器の密度を極端に高められる代わりに、汎用的な分岐や細かな判断は苦手になる。GPUが「器用に分割して拾い集める」のに対し、TPUは「決め打ちの通路に流れ込み続ける」のである。速さの差は、このデータの運び方の設計差に帰着する。
数字の形式、運ぶ速さ、チップ間の会話が勝敗を分ける
演算器の性能だけでは決まらない要素が三つある。一つ目がメモリだ。どれだけ掛け算足し算が速くても、データを持って来る速さが追いつかなければ演算器は空転する。二つ目が数値の形式で、AIの計算は小数点以下の細かさを犠牲にして桁を減らす形式——BF16のような扱い——を平気で採用する。重みの一部を省いた疎な計算を前提にすれば、数字上の処理能力は何倍にも膨らむ。だからこそ性能表の数字は、精度と疎の条件を揃えないと比較にならない。
三つ目がチップ間通信だ。巨大なモデルは1枚のチップに収まらないため、数十から数千のチップで一つのモデルを分担させ、途中結果を互いに送り合う。ここで効いてくるのが接続の帯域と遅延であり、学習と推論ではボトルネックそのものが変わる。学習は膨大な計算量と通信が勝敗を決め、推論は応答時間とメモリ帯域、そして1回答あたりのコストが問題になる。
ソフトの壁も厚い。GPUまわりのCUDAエコシステムは十数年分の蓄積で固い地盤を作ってきた。TPUではJAXなどの計算をOpenXLAのコンパイラーが解析し、TPU向きの変換を施して実行する経路が中心で、どの計算をまとめ、入力をどう配置するかが性能を左右する。PyTorchからTPUを使う道も従来は制約だらけだったが、2026年10月にはGoogleがネイティブにPyTorchをTPUで動かす「TorchTPU」をオープンソースとして公開し、標準のPyTorchと同じように演算を順に実行したり、いくつかまとめてTPU命令へ変換したりできる形に変わってきている。とはいえCUDA専用に書いた処理がそのまま動くわけではなく、必要な演算がTPU側でサポートされるかは確認が必要だ。XLA自体はTPU専用ではなくGPUにも対応しており、上位のフレームワークと下位のハードウェア向け実装を分けて考えるのが実務上欠かせない。
スペック表より「同じ仕事をいくらで終えるか」
1秒あたりの浮動小数点演算回数を表すフロップスで、公表値を並べるとこうなる。2020年登場のA100 80GB SXMはTensor CoreのBF16密な行列計算で理論ピーク312テラフロップス。同時期に登場したTPU v4が1チップ275テラフロップス、その後継のTPU v6eは918テラフロップスと公表されている。数字だけ見れば世代をまたいだ単純比較は無理があるし、理論ピークを出すには演算回路にちょうど良い形で十分な量の計算を与えなければならない。
フェアな比較は、同じモデル・同じデータで同じ目的に達するまでの時間を測る形になる。学習なら目標の精度に到達するまでの時間、推論なら決められた応答時間内でどれだけ入力をさばけるか。クラウド料金や消費電力まで含めれば、比較項目はさらに増える。こうした実測の場として機能するのがベンチマークだ。MLPerf Training v6.1では、DeepSeek-V3の同一タスクでGoogle Cloud提出システムが公式チェックポイントから目標品質に達するまでの時間が報告されているが、チップ数・接続・ソフトウェアが異なる以上、単体性能や費用対効果の優劣を示すものではない点には注意が必要だ。
しかも構図は二択ではない。GoogleはTPUを自社で使い、クラウド顧客にも提供する一方、GPUインスタンスも同じ窓口で売っている。2026年に入って第8世代TPUの技術詳細も相次いで公表され、TPUとGPUを両方抱えて選ばせる側に回っている。つまりユーザー側に残る判断は「どちらが偉いか」ではなく、目的と使いたいソフトの条件を先に決め、その制約の下で実行時間と費用を測るという地味な計算だ。CUDA前提の資産が多いならGPU、特定の大規模学習・推論を大量に回すならTPUという切り分けが現実的だが、決め手は常に「自分のタスクでの実測」に尽きる。
ネットの反応
APUとNPUの違いも教えてほしい。用語が増えてきて全体像がつかめない。
性能表のフロップスだけ見て「このチップが最強」と言い出す人が毎回出てくるのがしんどい。精度と疎条件と帯域を揃えないと比較になっていない。
所詮NVIDIAの独壇場だと思っていたが、TPUを自社で回しているGoogleの立場が完全に特殊すぎる。競合と顧客を同時にやっている。
CUDAの厚い壁はSoftwareの話で、ここを越えないとTPUは選べない、という空気が変わってきたのは大きい。
学習と推論でボトルネックが変わるという話が刺さった。自分の用件は推論なので、演算ピークより応答時間とコストの話になる。
結局クラウドの料金表とにらめっこになる。個人ではどちらも買えない世界線なので、選べるのは請求書の中だけ。
GPUがAIに乗っかった歴史的な偶然と、TPUが最初からAI前提だった設計思想の違いを並べてくれると理解が早い。
電力あたりの性能が語られない比較記事が多い中、消費電力と単価まで比較項目に入れるべきというスタンスは正しい。
AIの所感
この比較で本当に面白いのは、勝者を決めるのがチップの能力ではなく、計算の「運び方」という設計思想の一致である点だと感じる。GPUはゲームのピクセルから、TPUは検索の推論から生まれた。つまり両者はどちらも、特定の大量作業をさばく必要があったから高性能になったのであって、汎用に強い回路が偶然AIに効いたわけでも、専用機が最初から正解だったわけでもない。行列積という一点を見れば専用回路が有利になるが、その一点に作業を収める側の設計コストを誰も無視できない。だからこそTorchTPUのような橋渡しの登場が効いてくる。ハードウェアの性能差より、ソフト側の接続性が調達先を変える——そんな局面に入って久しい。
消費者目線で言えば、GPUかTPUかの論争は自分のPCには直接関係しない。ただし、この基盤競争が家計に届く経路ははっきり存在する。AI向けに回された製造能力がメモリ価格を押し上げ、PCやスマホの値上げに流れ込んでいるように、演算基盤の選択は必ず端末の価格表に跳ね返る。チップの優劣を語るのは専門家任せにして、自分は「どの計算が、いくらで、どのくらい待てば終わるのか」という三段組の数字に注目しておきたい。AIの時代、速さとコストの話はどこかで必ず請求書になる。
(画像出典: Google Blog ©Google LLC)