【今更聞けない】「なぜGPUはあんなに速いのか」を徹底解剖…CPUとの決定的な違いは並列処理とメモリ帯域にあった
【今更聞けない】「なぜGPUはあんなに速いのか」を徹底解剖…CPUとの決定的な違いは「下手の考え休むに似たり」な並列処理にあった
「高性能なGPUが動画編集を爆速にしてくれる」「LLM（大規模言語モデル）の学習はGPUがなければ始まらない」――いまやPCの性能語りの中心にいるGPU。しかし、ふと疑問に思ったことはないだろうか。「同じ半導体なのに、なぜGPUはあれほど速いのか」と。実はその答えは、CPUとGPUの「設計思想の分岐」にこそある。単純な非力なコアを数千も並べ、同時に一気に処理する。そんな一見まわりくどいアーキテクチャが、数兆回の単純計算を繰り返すAI時代には「最強の武器」として花開いているのだ。
CPUの設計――複雑な仕事を、たった一人の秀才でこなす
まずCPUの設計思想を思い出してみよう。CPUは「たった数個だが、超高性能な頭脳」を載せている。それぞれのコアは高性能な演算ユニットや分岐予測、大きなキャッシュを備え、複雑なプログラムの流れを先読みしながら、手順をがっちり守って計算を進める。OSの切り替えや、多数のプログラムを少しずつ動かす「汎用の柔軟さ」が得意技だ。仕事の内容が込み入っていても、「どんな処理もそこそこ速くこなせる万能型」というのがCPUの本質である。
ただし、そこには限界がある。CPUは1つの処理を順番にこなしていく数が限られているため、同じ種類の単純計算を膨大にこなすのは、あまり得意ではない。いわば、どんな複雑な案件でも一人で処理できるが、単純な事務処理を何百万件も回すのは苦手なエリート社員のような存在だ。
GPUの設計――単純な話を何千人で同時に捌く「職人集団」
対照的なのがGPUだ。GPUは「性能は平凡だが、数を桁違いに並べた大量のコア」で構成されている。1つ1つのコアはCPUほど頭は良くないが、その数は千単位。画像や映像の処理のように「同じ計算を分割して、同時にたくさん実行する」作業に圧倒的な強さを見せる。絵のピクセルを並列して塗りつぶす、といった3Dグラフィックス処理が本来の得意分野だ。
この大量コアを効率よく働かせるのが「遅延隠蔽（レイテンシ・ハイディング）」という仕組みだ。メモリ待ちなどで待たされる間、その場に居る他のコア群に別の処理を回すことで、むだな停止時間を減らし続ける。CPUが「1本の計算を深く追う」のに対し、GPUは「多数の計算を浅く広く泳がせる」ことで全体のスループットを稼いでいる。
「分岐発散」という弱点――GPUにも苦手な分野はある
もちろんGPUにも弱点はある。プログラムが「AならX、BならY」というように分岐ばかりしていると、GPUは本来の能力を発揮できない。「分岐発散（ディバージェンス）」と呼ばれる現象で、並列に走らせたコアの一部が待たされてしまう。大量データを一様に流すパターンでは無類の強さを発揮するが、込み入った条件分岐の連続では、むしろCPUに軍配が上がることも多い。適材適所という言葉がそのまま当てはまるのが、CPUとGPUの関係なのだ。
そしてGPUは、ゲームの図形描画からAI計算へと主役を変えながら、今も進化を続けている。初期のグラフィックス専用チップは、やがてストリーミング処理に使える汎用計算ユニット（CUDAコアなど）を搭載し、科学的シミュレーションや機械学習の計算基盤へと衣替えした。歴史をたどれば、映像表現の脇役が「AI時代の主役」になった背景が、はっきり見えてくる。
ゲームボーイにもGPUはある――歴史的進化の一端
思いのほか遠い昔から、GPU的な存在は身近にあった。日本では懐かしいゲームボーイにも、スプライトと呼ばれる小さな絵を画面に配置する処理用のチップが入っていたという。あれも本質は「図形データを並列的に処理する」GPUの原点の一つ。家庭用ゲーム機からデータセンターまで、グラフィックス担当チップは確実に成長し続けてきた。
LLMと「メモリ帯域」――AIの頭打ちは演算より帯域が握る
現在、GPUの性能を語る上でもう一つ外せないのが「メモリ帯域」だ。大規模言語モデルの計算は、演算能力そのもの以上に、モデルの重みデータをどれだけ速く読み出せるかで性能が頭打ちになる。データが多量になればなるほど、単体GPU1枚だけではデータを運ぶパイプ（帯域）が細くなり、しばしばボトルネックとなる。AIの進化は、いまや「計算の速さ」と並んで「データ搬送の速さ」の戦いでもあるのだ。
このメモリの壁を破る試みとして、注目されるのがチップレット構成と「MoP（メモリ・オン・パッケージ）」のような技術だ。複数のチップを一つのパッケージに載せ、同じパッケージ内にメモリを直近配置してアクセス遅延を劇的に縮める。一方、Apple系のプロセッサは、CPUとGPUとメモリを一体設計にした「UMA（統合メモリアーキテクチャ）」で、同じデータをNVIDIAのシステムとは違う手法で高速にやりとりしている。設計思想は全く別の道を歩んでも、目指すゴールは「メモリの壁の突破」で一つなのだ。
まとめ――GPUの速さは「数の暴力」と「帯域の太さ」にあり
まとめると、GPUが速い理由は単純だ。平凡なコアを何千個も並べ、待ち時間を隠蔽して休ませず、得意な単純計算を一気に処理する。そしてその成果を活かすには、メモリ帯域という「物流の太さ」が欠かせない。CPUの「深さ」とGPUの「広さ」は、全く異なる補完関係にあり、だからこそAI時代の計算基盤としてGPUが選ばれる。次にPCを選ぶ時、GPUのコア数やメモリ帯域といった数字の意味が、少し違って見えてくるはずだ。
ネットの反応
CPU＝運転免許センター（優秀だけど人数少なめ）、GPU＝台ブレラーメン（誰でもできるが数で圧倒）ってことか。たぶん違う
「待ち時間を隠して休ませない」って考え方、分かりやすい。エラー待ちの隙に別の仕事を回すってことだな
LLMの性能がメモリ帯域で頭打ちになる話、最近のAI PC論争と重なって面白い
AIの所感
CPUとGPUの違いは、まさに「少数精鋭の専門家と、全力工場の労働者」の対比として整理できる。複雑で変わり身の速い仕事はCPU、単純で膨大な仕事はGPUと、役割分担が明確だからこそ、現実の機械はバランスよく組み合わせて使うのが正解だ。注目すべきは、そのすみ分けが技術革新で形を変え続けていること。メモリ帯域や統合設計の進化は、従来の「CPUとGPUは別物」という常識を揺るがしつつあり、次世代のプロセッサは境界線そのものを曖昧にしていくはずだ。
また、AI時代のボトルネックが「計算」から「データの運搬」へ移りつつある点は、インフラ思考の転換を促す。性能を語るとき、演算能力の横に「メモリ帯域」という指標がこれほど重要視されるようになったのは、大きな時代の変化だ。ハードウェアの進化を追いかける私たちも、「どれだけ速く計算するか」と並んで「どれだけ太くデータを流せるか」という視点を持てば、次世代チップのニュースもぐっと読みやすくなるだろう。