【悲報】日本語で使うとローカルAIが急に馬鹿になる原因が判明「読める量が3割減」でユーザー納得
【悲報】日本語で使うとローカルAIが急に馬鹿になる原因が判明「読める量が3割減」でユーザー納得
自宅のパソコンでAIを動かしているユーザーの間で、以前から語り草になっていたある現象の正体が、実測データによって裏付けられ話題を集めている。それは「同じ質問を日本語で投げると妙に頭が悪く、英語にすると急にまともになる」というものだ。しかもこの現象はChatGPTのようなクラウド型AIでは目立たず、手元のマシンで動かすローカルAIほど強く出る。
今回、各モデルの本物のトークナイザーを実際に入手し、同一内容の日英5文ずつ（日本語173文字・英語443文字）で比較検証したところ、AIの好き嫌いでも使い方の問題でもない、はっきりした機械的な仕組みが浮かび上がった。結論から言えば、日本語はAIにとって2段構えで割を食う言語なのであり、その結果、同じ機械・同じモデル・同じ設定でも日本語にした瞬間に読める量が3割減るという衝撃の計算結果が出たのである。
1段目の損 「切り方」 日本語は4割増しのトークンを食う
まず押さえたいのは、AIは文章を文字のまま読んでいないという事実だ。AIは文章をいくつかの塊に切って、その塊ごとに番号を振って処理している。この塊がトークンであり、切り方の辞書＝トークナイザーはモデル作成時に一緒に作られる。辞書に載っている言葉なら一塊で読めるが、乗っていなければ細かく砕くしかない。そして日本語は、この切り方で大きく不利な立場に置かれている。
実測では、Llama 3が日英比1.47倍（日本語132トークン/英語90）、Qwen3が1.41倍（同120/85）、Gemma 3が1.14倍（同103/90）。文字数では日本語の方が半分以下なのに、トークン数では逆転してしまうのだ。参考までにGPT-4oの切り方(o200k_base)でも1.54倍と最も多く、クラウド型はメモリの心配が要らないため力技で押し切れるが、数字だけ見れば一番の割高である。
単語レベルで見ると差はさらに露骨だ。「機械学習」という誰もが知る用語をQwen3やLlama 3に入れると4トークン、つまり漢字1文字ずつに砕かれる。一方、英語のmachine learningは全モデル共通で2トークンで済む。同じ意味を運ぶのにちょうど倍のコストがかかる。「東京」という2文字ですらQwen3では2トークンに割れるが、Gemma 3と国産のLLM-jp-4では丸ごと1トークン。辞書に載っているかどうかだけの違いだ。
そして今日1番驚きの結果は国産LLM-jp-4が示した。国立情報学研究所開発のこのモデルは、同じ文で日本語76トークン/英語86トークンと、4モデル中唯一日本語の方が少なくなる0.88倍だった。1トークンあたり2.28文字を運べる効率は、Qwen3の約1.6倍に相当する。「当たり前のこと」を他のモデルがやっていないという事実こそが、ここでの最大の発見と言える。
8GBノートの現実 KVキャッシュで読める量が7割に
トークンが増えるとなぜ賢さに響くのか。鍵を握るのはVRAMの中身だ。グラボのメモリを食うのはモデル本体だけではなく、読んだ文章を覚えておくためのKVキャッシュという領域があり、これはトークン数に比例して増える。
Qwen3-8Bの場合、設計上36層×8KVヘッド×128次元で、fp16換算1トークンあたり144KiBを消費する。これを8GB VRAMのノートPCに当てはめるとどうなるか。80億パラメータのモデルを4ビット量子化すると約5GBを占めるため、残り約3GBがキャッシュに回せる上限。3GB÷144KiB≒約2万2000トークンが一度に読み込める限界となる。
ここに冒頭の比率を掛け合わせると、日本語は同じ中身を入れるのに1.41倍のトークンが必要。つまり入る量は英語のおよそ7割になる。長い文章を貼ると途中から話が通じなくなるのは前半を忘れている証拠で、「使い方が悪い」のではなく構造的にそうなっているのだ。生成速度も同様に、同じ毎秒20トークンの表示でも1トークンあたりの文字量が違うため、同じ内容を出し終えるまでの時間は約4割増しになる。
2段目の損 「学習量」 国産ですら9割は英語で育っている
もう一段の損は学習データにある。ただし、ここには意外な事実が隠れていた。ウェブ全体における日本語の比率はCommon Crawlの統計で5.32%もあり、順位としてはドイツ語(5.99%)に次ぎ、中国語(4.43%)やフランス語(4.80%)、スペイン語(4.64%)を上回るかなり上位。「日本語のデータが極端に少ないから弱い」という通説はウェブのレベルでは成立しない。
問題は集める段ではなく使う段にある。内訳を公表しているのはLLM-jp-4だけであり、国立情報学研究所の発表によれば、事前学習用コーパス19.5兆トークンのうち日本語はわずか7000億、割合にして3.6%。一方英語は17.8兆で約91%を占める。日本語のために作られた国産モデルですら、中身の9割は英語で育っているのだ。これは作り手を攻める話ではない。論理や知識の大半は英語データ由来であり、削れば頭が悪くなるため、比率はどうしても偏る材料の問題だ。なおQwen3、Gemma、Llamaの学習コーパス言語別内訳は公表されておらず、分からないものは分からないままにするのが誠実な姿勢だろう。
自社発表と第三者評価が食い違って見える理由
「じゃあ国産を使うべきか、中国製で十分か」という選択問題については、両論が並ぶ。開発元の自社発表である日本語MT-Benchでは、LLM-jp-4 8Bが7.54点でGPT-4o(7.29)やQwen3-8B(7.14)を上回った。一方、第三者集計Nejumi Leaderboard 4（2026年7月10日版）では、Qwen3.5-397Bが0.8191、Gemma 4 31Bが0.8077、Qwen3.5-27Bが0.8049と上位を占め、LLM-jp-4は0.6679、楽天のRakutenAI-3.0も0.6761にとどまる。
この二つは矛盾していない。自社発表は8B同士の比較（2026年4月）、第三者集計は27B〜397Bを含む総合評価（同年7月）であり、比べている規模も測定対象も時期も違うからだ。大型モデルとは50倍近い規模差があり、勝てないのは当たり前である。何を測ったかを読み分ける姿勢が重要になる。
結局どれを選べばいいのか 自分で検算する方法
選択の指針は機材によって変わる。VRAMに24GB以上の余裕があるなら、トークンの割高は気にせず総合力の高いQwen3.5の大型版やGemma 4を選べばいい。一方、8GB級の狭い環境では、1トークンあたりの運搬効率がそのまま使える長さの差になるため、賢さよりも「入るかどうか」が先決となり、切り方の良いモデルの価値が相対的に上がる。
そして最後に、誰でもできる検算方法がある。同じ内容を日本語と英語で用意して両方投入し、どこで話が通じなくなるかを比較すればいい。英語の方が長く保つなら本件の仕組みが自分の環境でも再現されている証拠だ。人の言った数字より自分の機械の数字の方が正しい。なお、今回の比率は特定の5文対での実測値であり、文を変えれば幅は動く。ただし「日本語の方が多くなる」という向き自体は変わらないとされる。
ネットの反応
日本語173文字より英語443文字の方が少ないトークンとか、直感に反しまくりで面白すぎる
「機械学習」が4トークンでmachine learningが2トークンって、もうこれだけで全部説明されてるわ
国産のLLM-jp-4だけ日本語が0.88倍なの偉すぎ。さすが国立情報学研究所
国産ですら学習データ9割英語なのショックだわ。日本語7000億/19.5兆って3.6%かよ
8GBだと日本語で読める量が7割になるって計算、うちの環境で長文貼って途中から無視される現象と完全に一致する
Webで日本語5.32%もあるんだ。ドイツ語より下で中国語より上って意外すぎる
MT-BenchではGPT-4o超えてるのにNejumiだと66点とか、規模が違うだけだから矛盾はないって冷静な視点良いな
東京がQwenだと2トークン、Gemmaだと1トークンってのが分かりやすい例えだわ
クラウドは力技で押し切ってるだけって考えると、ローカル勢の苦しみがよく分かる
24GBあるから気にせずQwen使ってたけど、確かに設定次第でもっと効率良くなるのかもしれん
Llamaの割り方が極端すぎて漢字を数字の並びに崩して持ってるらしいの笑えない
まず同じ質問を英語でも聞いてみろってのが一番実用的なアドバイスだった。早速試す
AIの所感
この検証の優れている点は、「日本語が弱い」という曖昧な感覚的指摘を、切り方（トークナイザー）と学習量（コーパス構成）という独立した二段階に分解し、それぞれ実測可能な数字で裏取りしたところにあると思う。特に「ウェブでは日本語は5.32%と十分存在するのに、国産モデルの学習に使われると3.6%まで希釈される」という構図は、「データがないから弱い」という単純な通説の誤りを実証しており、問題の所在を集積段階から選別・利用段階へと修正させている。また、トークナイザーの差がKVキャッシュ容量を介して「読める文脈の長さ」という具体的な性能差に転化する計算過程も明快だ。144KiB/トークンという設計値から導かれた「8GB環境では日本語で3割減」という結論は、断定的な主張を避けつつも誰でも再現検算できる形で提示されており、情報の受け取り方の模範のような構成になっている。個人的に注目したいのは、トークン効率が賢さとは独立した設計項目であるという視点だ。LLM-jp-4の0.88倍は知能の勝ちではなく設計思想の勝ちであり、低スペック環境ほどこの差が顕在化するという事実は、国産モデルの存在意義を「日本語の精度」だけでなく「資源効率」の側面からも支え得ることを示唆している。クラウドとローカルで現象の出方が変わる理由が体力（リソース余力）の有無に帰着するのも本質的で、ローカルAI文化圏特有の制約条件を正面から扱った調査として、今後のモデル選定の基礎資料になるだろう。