【朗報】AIの脳みそ、9割削っても実は大丈夫だった…「当たりくじ」を巡る驚きの仮説と、それでも巨大AIを作り続ける理由
【朗報】AIの脳みそ、9割削っても実は大丈夫だった…「当たりくじ」を巡る驚きの仮説と、それでも巨大AIを作り続ける理由
「最新のAIを自宅のPCで動かそうとしたらメモリ不足で落ちた」——そんな経験を持つ人は多いだろう。この頃の大規模AIモデルはパラメータが数千億個に達し、重みファイルを読み込むだけで普通のパソコンの内存を超えることもある。そんな中、「AIの重みの90%を削除しても精度は落ちない」という物騒な研究がたびたび話題になる。本当にAIの9割は不要なのか。そして本当に不要なら、なぜ世界中の企業は電気代を食い潰して巨大AIを作り続けているのか。MITが提起した「宝くじ仮説」を手がかりに、AI軽量化の最前線を丁寧に追ってみよう。
MITの衝撃実験「8割削っても、むしろ少し賢い」
話の起点は2018年、MITのジョナサン・フランクルシア氏が発表し、AIの国際会議ICLR 2019で注目を集めた実験だ。ニューラルネットワークはニューロン同士が無数の接続線で結ばれた構造で、各接続には信号を通す強さを決める「重み」という数値が割り当てられている。この重みの集合がパラメータであり、学習とは、ランダムな乱数で初期化された何十億もの重みを正解側へ少しずつ書き換えていく作業にほかならない。
研究チームは約26万6000個の重みを持つ手書き数字認識モデル「LeNet」を使い、絶対値の小さい重みから段階的に削り落とす「層定（プルーニング）」を適用した。削ったうえで、残した接続だけを元の初期値に戻して再学習させる。結果は度肝を抜くものだった。
- 重みの78.9%を削除 → 検証誤差が最小になる時点まで、元のネットワークより38%少ない更新回数で到達
- 86.5%を削除（残り13.5%）→ 未知データのテスト精度は元の100%モデルより0.3ポイント以上向上
- なんと3.6%まで削減 → 元のモデルと同等のテスト精度を、同等の更新回数で達成
手書き数字の実験では96%以上が「要らない子」だったことになる。では、最初から接続数の少ない小さいモデルを作れば同じではないか——ここが仮説の核心だ。同じ実験では、回路の形だけを引き写して初期値を新しい乱数で選び直すと、学習結果が落ち込む場合が確認された。同じ配線でも、出発点となる数値の組み合わせで到着点は変わる。勾配降下法は現在の位置から誤差の少ない方向へ動く仕組みだから、初期値が違えば登る山も違うのだ。
巨大AIは「当たりくじを大量に買うための箱」だった
ここで宝くじ仮説が登場する。大きなネットワークは、学習前からうまく学べる「配線と初期値の組み合わせ」を多数内包しており、学習後の回路からそれを取り出す行為は、くじ箱から当たりくじを引き当てることに似ている。引き当て手順は「反復的層定（IMP）」と呼ばれ、1回に残りの20%ずつ削り、残った重みを保存しておいた初期値に戻して学び直す——これを約10回繰り返すと元の10%の回路にたどり着く。ただし、当たりを探す間も巨大ネットワークの学習を繰り返す必要があるため、探索コストは小さくない。
「90%ゼロにしたのに速くならない」GPUの壁
仮説の実用化には、もうひとつ巨大な壁がある。ハードウェアだ。重みの90%をゼロにしても、密な行列の計算にそのまま投げれば速度はほぼ変わらない。GPUは縦横に隙間なく詰まった行列を数千の回路で一斉に掛けるように設計されており、ゼロかどうかを事前に見分けられない。値だけ0に書き換えた「虫食い（非構造化スパース）」状態では、メモリから全部読み込んで0を掛けるお役目を真面目にこなしてしまう。
では0を消して詰めればよいかというと、そう簡単でもない。CSR形式などで数値と列番号を保持すると、16ビットの重みに32ビットの索引が付き、索引だけで重みの倍の容量になりかねない。飛び地の読み取りでGPUのメモリ近接性も失われ、削った演算の分だけ待ち時間が膨らむこともある。
この壁を逆転の発想で突破したのがNVIDIAだ。Ampere世代（A10やRTX 3090）から採用された「2対4構造化スパース」は、連続する4つの重みのうち必ず2つをゼロにする、という規則を課すルール。4個ごとに2個残せば削減率はちょうど50%になる不规则90%断念の代わりに、ゼロ位置の目印を2ビットで持てるため、重み半分＋索引12.5%でも元の重み全体より約44%少ない容量に収まる。しかもGPU内部のスパーステンソルコアが、4つの入力から計算に要る2個をハードウェアで瞬時に抜き出し、ゼロの演算を物理的にスキップして対応する行列演算のスループットを理論上2倍に引き上げる。実測では行列演算で最大約1.6倍、画像モデルResNeXtで最大約1.2倍、電力当たり性能は最大36%向上したという報告もある。全体が2倍になるわけではないが、「削り方をGPUの得意な形に揃える」ことが実用化の鍵だった。
ChatGPT時代のLLMで「90%削減」は通用するか
手書き数字で96%削れても、言語モデルで同じ数字は使えない。原論文ですら、深い画像認識モデルResNet-18やVGG-19では最初の初期値への巻き戻しでは当たりくじが見つからず、学習を少し進めた時点の重みへ戻す「ウェイトリワインド」で初めて再現できた。現代のLLMにはさらに「活性値の外れ値」という厄介な特徴がある。入力の一部に極端に大きな値が現れると、重み自体が小さくても出力への影響は大きくなるため、重みの絶対値だけで接続の要否を判定すると、必要な経路ごと削ってしまうのだ。
それでも技術は進んだ。2023年発表のSparseGPTは、層定による出力のずれを計算しつつ、残った重みの値を微調整して誤差を打ち消す手法で、OPT-175BやBLOOM-176Bで最大60%の非構造化スパース化を、再学習なし・1000億個超の重み削除を4時間半未満で実現した。2024年のWandaは、重みの絶対値に入力信号の大きさを掛けたスコアで重要度を判定し、巨大な入力が流れる重要な回路を守る。LLaMA-2 7Bで層定指標の計算時間に換算するとSparseGPTの203.1秒に対しWandaは0.4秒という軽さだ。さらに2026年のEMNLPには、段階的層定と追加学習を組み合わせ、LLaMA-2の重みを95%消しても従来の層定より予測性能の悪化を抑えた例が掲載された。ただし同じ条件でも算数のタスクでは70%削減時点で正答率が大きく下がるなど、「どの能力を残したいか」で適正な削減率は大きく変わる。
現場で使い分けられる4つの軽量化テクニック
2026年現在の開発現場では、層定を含む4つのアプローチを目的に応じて併用している。1つ目は前述の層定。2つ目は量子化で、重みのビット数を16ビットからFP8・FP4・INT4に落とし、データ量を半分〜1/4にする。2026年10月の研究では、同じ容量で比較した検証条件では2対4スパースより低ビット量子化の方が品質を保ちやすかった一方、量子化したうえで構造化スパースを併用し行列演算をさらに高速化した例もある。3つ目は知識蒸留。大きな親モデルの賢い回答パターンを小さな子モデルに真似させる手法で、NVIDIAはNemotron系の80億パラメータモデルから構造化層定と蒸留で40億パラメータのMinitronを生み出している。層定で丸ごと削ったモデルは密行列に戻るため、専用回路なしで通常の演算として扱えるのが利点だ。4つ目はMoE（ mixture of experts）。多数の専門家回路を持ち、入力ごとに必要な一部だけを選んで計算する構造で、使わない専門家もモデルには残る点が層定と異なる。
なぜ「最初から小さいAI」を作れないのか
最大の疑問に答えよう。完成後に9割削れるのなら、学習前に当たりくじを見つけて、最初から小さいモデルだけを選べばいいではないか。世界中の研究者は実際に挑んだ。SNIPやGrad-Snap、SynFlowなど、学習前の初期状態から重要接続を見抜く手法が次々と提案されたが、2020年にフランクルシア氏が同一条件で比較した結果は素っ気ない。残す接続の本数を保ったまま配線をでたらめに付け替えても精度が同じ程度になる例があったのだ。つまり「どの配線が当たりか」は見抜けておらず、効いていたのは「何本残したか」だった、という結論だ。学習後の重みから選ぶ方が、検証された範囲では精度で優っていた。
より本質的な指摘もある。後に削り捨てられる過剰パラメータは、決して無駄ではなかった。大きな回路は学習中に誤差を減らす選択肢の広さ——建設中の足場——として機能しており、完成後の小さな回路だけ見てもうまnessは再現できない。だからこそ「大きく作って学ばせ、後に削る」という手順には合理性がある。
それでも未来は動きつつある。重みを一切更新せず、固定したランダムなWide ResNet-50から接続を選ぶだけで、学習済みResNet-34に匹敵するImageNet精度を得たという2020年の理論研究は、ハサミだけで学習に近いことが起きる可能性を示した。RigLは、接続の多くがない状態から学習を始め、小さくなった接続を外し、勾配の大きい場所に新しい接続を貼り替えながら学ぶ。2026年2月の研究では量子化も組み合わせ、学習全体が約1.4〜1.7倍高速化したと報告されている。ロボットなど電力と冷却に余裕のない組込み機器では、こうした「学ぶ段階からの軽さ」が決定打になる。
ネットの反応
AIの突出した重み以外はノイズ同然という前提に立てば、指数だけ持たせて掛け算をビットシフトに置き換える発想もあり得る。調べたら「今まさに研究中の対数量子化の考え方そのもの」と言われてガッカリした、という報告が面白い。皆同じことを考えている。
AIは無駄だらけ。中央サーバーに高性能エンジンを置いて、個々のローカルAIはユーザーに合わせて適宜アップデートすればいい、という割り切りも一案。
「90%要らない」を額面通りに受け取ると人生間違えるな。GPUのことが分かってないと0掛け算し続けて速くもなんともない、というのが地味に一番面白い。
AIの所感
宝くじ仮説の本質は「AIの9割は無駄」という暴論ではなく、「巨大さの役割は学習の足場にある」という発見だと私は思う。過剰なパラメータは完成品としては不要でも、学習の最中に選択肢という名の足場を提供し、その足場の広さゆえに完成後の姿が良くなる。ならばと足場を省略して最初から小さなモデルを作ろうとすると精度が落ちる——この逆説こそが、人類が巨大モデルから離れられない理由の正確な描写だ。ただ、SparseGPT・Wanda・Minitron・MoE・量子化の組合せが示すように、業界は「大きく作って賢く削る」方向で確実に効率を取り戻している。数年後、今日の90%削減の議論が「当たり前すぎて話題にも上らない」程度に消化されていることを願いたくなる、静かで深い研究だった。