【悲報】299ドル基板でAIが動くのに10万円グラボが要る訳、「帯域」という細いベルトが真相だった
【悲報】299ドル基板でAIが動くのに10万円グラボが要る訳、「帯域」という細いベルトが真相だった
299ドル、日本円で約4万7000円の小型基板の上で、QwenやGemma、WhisperといったAIがクラウドにも繋がず、グラボも挿さずにそのまま動く。一方で同じAIを巡るなら10万円超のグラフィックボードが必要になる。この一見矛盾する構図を、「演算量（TOPS）」ではなく「メモリの量と帯域」、そして「専用回路と汎用GPUの設計の違い」から解き明かす。
40 TOPSの板と660 TOPSのグラボ
2026年8月、Arduinoが「VENTUNO Q」という基板の予約を始めた。中心となるのはクアルコムの「Dragonwing IQ-8275」というチップで、スマホで鍛えた技術を機器に持ち込んだ形だ。CPUは8コアのKryo、GPUはAdreno 623、そしてAI専用の回路「Hexagon NPU」が載り、表記上は最大40 TOPS（1秒間に40兆回の演算）を出すとされる。
対するGeForce RTX 4090は、INT8で660 TOPS。桁が1つ多く、16倍以上の演算能力を持つ。演算の量だけを見れば小型基板の完敗だ。それなのに、この板でAIは実際に動く。噛み合わないように見えるのは、TOPSという数字そのものにカラクリがあるからだ。
同じ「40 TOPS」が2つある罠
TOPSは「1秒間に何兆回計算できるか」の数字だが、どの精度の数で測ったかという条件が隠されている。クアルコムの資料ではINT8（8ビット整数、0〜255の256段階）と明記されている。一方、Raspberry Piの「AI HAT+ 2」も公式に40 TOPSとうたうが、こちらはINT4（16段階）での数字だ。段階を荒くすれば同じ回路で回数は稼げるため、同じ40でも中身は全く違う。第三者の電子工作専門誌も「設計が違うチップ同士をTOPSだけで直接比べても全体は分からない」と指摘している。
詰まっているのはメモリだった
AIが文章を1文字作るたび、モデルの重みをメモリから毎回すべて読み直す。つまり文字の生成速度は「計算の速さ」ではなく「読み出しの速さ」で決まる。腕のいい職人が1000人いても、材料を運ぶベルトコンベアが1本しかなければ、職人をいくら増やしても待ち時間が伸びるだけだ。職人がTOPSなら、ベルトコンベアはメモリ帯域である。
4090の帯域は毎秒1008GB。専用のGDDR6Xを積み、バス幅も384ビットと広い。一方、VENTUNO Qの帯域は公表されていない。バス幅（16ビット×4＝64ビット）とLPDDR5の速度から計算すると、毎秒50GB前後と見積もられる。TOPSの差が16倍なのに対し、帯域の差は20倍ある。だからこそ40 TOPSでも釣り合ってしまうのだ。細いベルトからしか材料が来ないなら、職人を増やしても無駄になる。
動かせるモデルの大きさはメモリ量で決まる
帯域が速さを決めるなら、もう1つの要素「広さ」ことメモリ容量が、動かせるモデルの上限を決める。モデルを動かすには中身をメモリに置く必要があり、置けなければそもそも動かない。置ければ遅くても動く。Raspberry Pi公式も「搭載メモリに収まる1Bから7B程度の範囲になる」と認めており、上限を決めるのはTOPSではなくメモリだと明示している。
NPUとGPUの違いも設計思想の差だ。GPUはFP16もINT8も何でもこなす十徳ナイフだが、その万能さの分だけ回路が大きく、4090の消費電力は450Wに達する。NPUはINT8の掛け算だけに絞った缶切りのような専用道具で、同じ計算をはるかに少ない電力で終わらせる。速さ最優先か、効率最優先か。仕様を見れば狙いが正反対であることが分かる。
どちらを買うべきか、3つの条件
結論を出す際、TOPSは順番に入らない。判定に使うのは「動かしたいモデルの大きさ」「速さの要求」「稼働時間」の3つだ。4B程度の小さなモデルで用が足り、数秒の待機は許容し、電源を切りたくない（玄関の見張りや不良品検知、音声での家電操作など）なら299ドルの板が向く。逆に30Bや70Bを試したい、長文を一気に読ませたい、画像や動画を作り、自分で学習もさせたいならグラボが必要だ。
両方を1台でやろうとすると一番高くつく。常時稼働と最高速度は求める設計が正反対だからだ。用途を分ける方が安上がりになる。
ネットの反応
エッジAIって話題にはなるけど、実際の製品やソリューションは見たことがない。
Copilot PCも同じ。音声認識や文章の校正ならできるけど、普通の人が思い浮かべるチャットは期待できない。組み込み用途の姿勢制御や画像認識といったエッジ処理向けかな。
早くも常時監視作業用と高度言語処理用に機材が分岐し始めている。この速度でAIは社会実装されてくんだな。
AIの所感
299ドルの基板は、グラボを追い越すために作られたのではない。グラボがやらなくていい仕事を引き受けるために作られたのだ。TOPSという派手な数字に目を奪われると、この「住み分け」の本質を見逃す。AI機材の仕様表を見る時は、まずメモリの量（動くかどうか）、次にメモリの速さ（待たされるかどうか）、そしてTOPSはその2つが足りている場合だけ見ればいい。40と660の差よりも、16GBと24GBの差の方が効く。この順番を押さえるだけで、広告に振り回されずに自分に必要な機材が見えてくる。