【速報】AIが賢くなるほど、zipが小さくなる時代が来た――LLMZipという「予測できるものに、情報は残らない」の証明
AIが「次の一言」を当てるほど、あなたの文章は小さくなる――LLMZipが示した圧縮の新しい地平
「zipで圧縮しても大して小さくならない」。そう諦めてきた人にとって、耳を疑うような技術が静かに注目を集めている。-large language model、つまり生成AIの「次の言葉を予測する力」を使って、文章を可逆なまま限界まで小さくする手法だ。その名もLLMZip。米ノースカロライナ州立大学の研究チームが2023年に発表した論文「LLMZip: Lossless Text Compression using Large Language Models」(arXiv:2306.04050)がその原点であり、2024年の後継研究FineZip (arXiv:2409.17141)を経て、「実用に届くかどうか」という次の段階に入りつつある。
発想は驚くほどシンプルだ。 Shannonが情報理論で示した通り、情報の大きさとは「意外さ」の量に等しい。予測がつくものには情報が少なく、予測が外れるもの に情報が多い。だとすれば、次の語を高精度に予測できる仕組みを用意できれば、実際に送るべきデータは「予測のズレ」だけになる。従来の圧縮が「同じ文字列の繰り返し」を探す静的な仕組みだったのに対し、LLMZipは文章の内容を理解したうえで予測する。だから単なる繰り返し探索では決して見つからなかった余剰余地に、どこまでも切り込める。

「予想外」だけを送る: 候補表とrankの仕組み
仕組みを順番に追ってみよう。送信者が「ずんだもんの旅行日記」の続きを送ると想像する。送信側でも受信側でも、まったく同じ言語モデルに直前の文章を読み込ませると、モデルは次の語の候補表を作る。「高知城」の次なら「の」「を」「天守閣」「坂本龍馬」……といった候補が、それぞれ付きそうな確率とともに並ぶのだ。
送信者が送るのは文章そのものではなく、「実際に選んだ語が候補表の何番目だったか」という位置の情報だけ。受信側は同じモデル、同じ文脈から同じ候補表を再現できるから、送られてきた位置情報を見た瞬間に元の語を一発で復元できる。予測が当たれば「1番目」というごく短い符号で済み、予測の外れた意外な語ほど長い符号になる。ここが重要なところで、AIの予測が外れること自体は問題にならない。外れた事実ごと符号化して送るため、どこまでいっても完全に元へ戻せる可逆圧縮が保たれる。要するに「AIが賢いほど、通信量が減る」のである。
8つの候補はいくつのビットで表せるのか
では、実際に記録するのは何ビットなのか。候補が8個ある場合を考えると、単純に等間割りで番号を振れば3ビットで足りる。しかし本物の言語モデルは候補ごとに確率を返す。「の」が60%、「を」が20%、残りの6語が合わせて20%なら、等間隔で区切るのは無駄が多い。そこで登場するのが算術符号だ。確率に比例した長さの目盛りを数直線上に割り当て、実際の語に対応する区間だけを指定する。高確率の語は短いビット列で済み、低確率の語には長いビット列が必要になる。情報量の期待値はエントロピーの下限に収束していきますます短くなる。
たとえば3ビットの手がかりから2語を復元する場面では、受信側は受け取ったビット列を数直線上の位置と読み替え、候補表のどの区間に落ちるかで元の語を特定する。1語あたりの平均ビット数が確率の偏りに応じて下がっていく様子は、まさに「文章の偏りを圧縮に換金する」作業そのものだ。自然言語は構文・意味・世界知識のすべてにおいて偏っている。代名詞の後に来る語、敬語の続き、観光地の固有名詞。人間なら誰でも推測できる偏りを、符号化の設計にそのまま織り込んでしまうのがこの手法の核心である。
英語のエントロピー上限が75年ぶりに更新された
LLMZip論文のもう一つの成果は、むしろこちらを評価する声が多い。研究者たちは1948年のShannonの推定以来、75年近くにわたって「英語1文字あたりのエントロピーはいくらか」という問いを追いかけてきた。1978年のCoverらの実験的な下界、2023年のLutatiらの推定などが知られていたが、LLMZipチームはLLaMA-7Bを次トークン予測器として使うことで、既存の推定より有意に小さい、漸近的なエントロピー上限を導いた。機械翻訳でも要約でもなく、「予測の質」そのものが情報理論の定数に翻訳された瞬間であり、情報理論の講義書を書き換える可能性すら秘めている。
圧縮率の実験結果も强烈だ。公開データセットの英語書籍で比較したところ、BSC、ZPAQ、paq8hといった長年「最強」とされてきた従来圧縮手法をいずれも上回った。paq8hは圧縮率では伝説的な存在であり、それを上回ることは、予測モデルがパターン照合を完全に凌駕したことを意味する。
10MBに9.5日――それでも残った最大の壁
ただし、課題は残酷なほど大きい。後継研究FineZipの分析によれば、Llama3-8Bを用いたLLMZipは10MBのテキストを圧縮するのに約9.5日を要した。理由は明確で、LLMは次の語を1つ予測するたびに直前までの全文を読み直す必要があり、トークン単位の逐次処理を並列化しにくいからだ。圧縮率は従来方式より大きく上回るが、計算コストが数百倍では、今日のシステムでは採用しようがない。
FineZipはこの壁に対し、「online memorization」と「dynamic context」を組み合わせることで、同じ10MBを約4時間で圧縮してみせた。LLMZip比で54倍の高速化であり、圧縮率は従来アルゴリズム比で約50%改善という水準を維持している。それでも論文自身が「LLMはまだ大規模テキスト圧縮の実現可能な解ではない」と冷静に結論づけている点は正直だ。共有するモデルのバージョンが送受信で一致している必要がある、ドメイン外の文章で予測精度が落ちる、GPUの電気代が圧縮で節約する通信費を上回る、といった運用面のハードルも残されている。
「予測できるものに、情報は残らない」が意味すること
それでもこの技術の射程は、単純なファイル圧縮に収まらない。文章の可逆圧縮率がLLMの理解力の物差しになった以上、「モデルが予測できる分野では、通信も保存も劇的に安くなる」ことを意味する。会話ログ、コードリポジトリ、定型文書のアーカイブのように、モデルの得意な偏りを持つデータは真っ先に恩恵を受ける。逆に、ランダムに近く見えるデータほど圧縮が効かないのは従来のzipと同じだ。圧縮率と知能が同じ座標軸で測れるようになった、という方が正確かもしれない。
ネットの反応
「AIが賢くなるほどzipが小さくなる」って言い方、乱暴だけど本質を突いてる。圧縮率とモデルの性能が同じ指標に落ちるのは面白い
10MBに9.5日は笑うけど、そこから4時間に詰めてくるのが研究の速度感として怖い。数年後に普通に常用技術になってそう
英語のエントロピーupper boundが更新って、教科書が書き換わるレベルの話では。シャノンの影に75年ぶりの新风
受信側も同じモデル持つ前提って、将来は「標準言語モデル」が通信規格の一部になるってことか。OSより重い規格になる未来見える
AIの所感
LLMZipの本質は、「圧縮とは予測である」というShannon以来の原則に、深層学習がようやく十分な精度の予測器を提供したという点にあると思う。予測が外れても可逆性が保たれる設計は数学的に美しく、AIが賢くなるほど人間の通信が安くなるという構造は、技術の進歩がそのまま公共の利益に転じる好例と言えよう。9.5日から4時間への高速化は、この分野が「原理の発見」から「工学の勝負」に移ったことを示す。壁は厚いが、圧縮率と知能が同じ物差しで測れるようになった今、次にどちらが先に走るかという競争はすでに始まっている。