【衝撃】21GBが3GBに入る訳ないだろ…iPhoneで動いた350億AIのカラクリと3つの手品
【衝撃】21GBが3GBに入る訳ないだろ…iPhoneで動いた350億AIのカラクリと3つの手品
2026年10月12日、中国のOpenBMBが画像も動画も書類も読めるマルチモーダルAIのMiniCPM-V 4.7を公開した。目玉は大きい方の35B-A3Bという構成で、総パラメーターは350億に達する。4ビットまで圧縮した配布ファイルでも21.2GBあり、iPhone 17 Pro Maxのメモリ12GBには半分も入らない計算になる。ところが公式の説明にはメモリ3GBで毎秒13トークン以上と書かれている。12GBでも入らないのに3GBとはどういうことか。数字が逆に小さくなっている。この食い違いこそ今回の話の入り口だ。
公開されたのは大小2つで、どちらも画像と動画と書類を読め、文字起こしや指し示し、PDFの解析までこなす。目の担当はSigLIP 2、言葉の担当はQwen3.5とQwen3.6の系統という組み合わせで、目と口を信頼できる出来合いに任せ、つなぎ方に力を注いだ設計とされる。ライセンスはApache 2.0で、商用利用や改造、再配布が許される種類の許諾だ。無料で落とせるため、見て終わりではなく自分の手元で試せる話になっている点が大きい。対応も広く、iOSとAndroidとHarmonyOSがそろい、RockchipやIntel、AMD、Armの基盤も初日から面倒を見る建て付けだ。チップ企業に事前に中身を渡して間に合わせた形で、後付けでスマホにも対応しましたというおまけではなく、最初から端末で動かす前提で作られたことがうかがえる。ただし数字を出したのはiPhoneとiPadだけという留保も付く。
69.4GBが21.2GBに、それでも3GBには乗らない算数
配布ファイルの実寸を見ると、16ビットのまま置いた一番大きいファイルは69.4GBで、4ビットで潰すと19.7GBから21.2GBの帯に落ちる。約3分の1への圧縮だ。中身は専門家を256人抱える混合専門家構成で、1文字作るたびに8人だけが働く。病院の受付が症状を聞いて担当医に回すように、全員が毎回出てくるわけではない。256人という数は多い方で、かつて8人や16人で1人を大きくしていた時代と比べ、1人当たりが小さい分、1回に運ぶ箱も小さくなる。35B-A3Bという名前は、全部で350億いるが毎回動くのは30億分という意味を表す。
ここで気持ちのいい間違いが顔を出す。30億分だけ用意すれば軽いのではないかという期待だ。実際には成り立たない。次にどの8人が呼ばれるかは呼ぶ直前まで決まらないため、256人全員をいつでも呼べる場所に置いておく必要があるからだ。スマホの中を小さな食堂に例えると分かりやすい。メモリの3GBはまな板で、今まさに切っているものだけが乗る。裏には倉庫があり、食材の箱256個が並ぶ場所になる。倉庫に当たるのが保存容量で、iPhone 17 Pro Maxは一番小さい構成でも256GBあるため、21.2GBのファイルは余裕で置ける。まな板は狭いが手が届き、倉庫は広いが取りに行く時間がかかる。つまり3GBに350億が入っているわけではなく、350億は倉庫に置いたまま、今使う8箱分だけをまな板に運んでいる。21.2GBを350億で割ると1つ当たり約4.8ビット、バイトに直すと0.6バイトになる。この0.6バイトで3GBを埋めるとおよそ50億個分で、350億の7分の1にも届かない。どう並べても3GBに350億は乗らないことが確定する。
毎秒23GBという壁と3つの手品、運ぶ量と往復と待ち時間を削る
次に倉庫から運ぶ量を数えると壁が見える。1文字作るのに動くのは30億分で、30億に0.6バイトをかけると約1.8GBになる。1文字で写真1本近い量を運ぶ計算だ。公式の毎秒13文字をかけると毎秒23GBになる。映画1本2GBなら1秒で11本運ぶ速さで、スマホの保存容量から読み出せる毎秒数GBの桁では届かない。計算が合わないときは前提を疑う必要がある。運ぶ量は1文字当たり1.8GBで固定か、1文字ごとに倉庫を往復するのか、運び終わるまで計算は止まって待つのか。この3つの当たり前を1つずつ崩したのが今回の中身だ。
1つ目は層ごとの細かい量子化で、運ぶ量そのものを小さくする技だ。数字の桁を荒くして軽くするもので、生の食材を干して軽くするようなものに戻す手間が要る。全部を同じ荒さにせず層ごとに潰し方を変える点が細かいの意味で、69.4GBを21.2GBに落とす効果を持つが、これだけでは毎秒23GBが7GBになる程度でまだ足りない。2つ目はDSparkによる投機的サンプリングで、往復の回数を削る技だ。小さくて早い約3億9000万のAIを横に置き、先に15文字を書かせて本体が1回だけ見て合っている所までまとめて認める。間違っていたらそこから先を捨てて書き直す。倉庫への往復が1文字に1回から15文字に1回まで減るため、15人分をまとめて作る仕出しのようなものだ。小さいAIは本体の中の3層目や11層目、19層目、27層目、35層目をのぞいて先回りする。何文字通るかは公表されておらず倍率は不明という留保も付く。3つ目はLookahead Expert Schedulingと呼ばれる先読みの段取りで、運び終わるまで待つという前提を崩す。層をまたいだ軽い予測で次に要りそうな専門家を前もって運び始める。外れることを前提に当たったらもうかる作りで、細かく分けた専門家構成だからこそ先読みが外れた時の損も小さい。
毎秒13トークンは信じていいのか、確かめられたことと確かめられていないこと
一番大事なのはこの数字の扱いだ。メモリ3GBで毎秒13トークン以上というのは作った側が自分で測った数字で、2026年10月14日時点で第三者による実測は1件も確認されていない。公式は評価欄に画像を載せるのみで、ベンチマークの数値表を公表していない。LESについて公表されているのは公式モデルカードの2文だけで、論文もコード解説も実装先のリポジトリにも記述が見当たらないという。公式モデルカードやGGUF配布ページ、下書きモデルの所在、検証記事や端末仕様は一次資料として区別して扱う必要があり、毎秒23GBや約4.8ビットといった試算も公式が公表していない独自計算という位置付けになる。信じるでも疑うでもなく、何が確かめられていて何が確かめられていないのかを正直に並べる姿勢が求められる。iPhone以外はどうなるのかという問いも残り、対応をうたう幅と実測の狭さの落差は今後の検証待ちだ。
ネットの反応
倉庫とまな板の例えでやっと分かった、入ってないならそう書いてほしい
Apache2.0で無料なのは大きい、試せるのが正義だと思う
15文字まとめて検品する方式は賢い、倍率を早く知りたい
自社計測だけなのは気になる、第三者の実測が出てから判断したい
初日からチップ各社対応って本気度が違うな、スマホ本命なのが伝わる
AIの所感
入るはずがないものが動くとき、たいてい置き場所の定義がずれている。今回もメモリに入れたのではなく倉庫に置いたまま運んだという種明かしが気持ちいい。運ぶ量を削り、往復をまとめ、待ち時間に重ねるという3点セットは、スマホに限らず重いAIを運ぶ普遍的な知恵に思える。残るのは数字の検証で、自社計測と第三者実測を分けて読む姿勢こそがこの記事の持ち帰り点だと感じる。触れる自由がある以上、自分の手で確かめる人が増えてほしい。