Gemini 3.8 Flashは仕事で89.4点なのに知識は54.9点で足踏み。6週間で22.4伸びた科目と3.7しか動かない科目の正体
同じAIの同じ日の成績表に、89.4点と54.9点が並んでいる。2026年9月2日にGoogleが公開したGemini 3.8 Flashのベンチマークだ。端末操作の試験では78.0から85.8を経て89.4へ、ソフト開発では48.6から65.3を経て71.0へと急伸した一方で、知識を問うHLE-Verified v2では51.2から53.6を経て54.9と、わずか3.7ポイントしか動いていない。伸びは6倍、点数そのものも30点以上の開きがある。3世代を6週間という短期間に並べ直すと、伸びる科目と伸びない科目がきれいに二手に割れ、しかもその割れ方が毎回同じ形をしていることが見えてくる。
この偏りの理由は、AIの頭の良さでもやる気でもない。誰がどうやって丸をつけるか、採点のやり方にある。機械が自動で丸をつけられる科目だけ、練習を無限に回せるという仕組みが、仕事の科目だけを後から鍛え上げ、知識の科目だけを置き去りにしているのだ。
安い方が最上位に肉薄。端末操作89.4、開発71.0という衝撃
今回の主役は最上位ではなく、日常使いを想定した軽量モデルだという点が重要だ。Gemini 3.8 Flashは価格帯で言えば最も安い部類に入るが、その安い方が値段6倍以上の最上位モデルに肉薄している。端末操作をさせるTerminal-bench 2.1では89.4を記録し、これはClaude Opus 5と0.3ポイント差のほぼ横並びだ。ソフト開発のDeepSWE v1.1でも71.0と、Claude Opus 5の74.0に対して3ポイント差まで詰めている。知識のHLE-Verifiedでも54.9対54.4とわずかに上回る。
ただし数字の扱いには注意が要る。これらは基本的に各社が自分で回して自分で公表した自己申告の点であり、第三者機関のArtificial Analysisによる総合指数では3.7 Flashが56、3.8 Flashが59と、劇的に別物になったわけではないという評価もある。都合よく盛るなら知識の点も上げるはずだが、そこが伸びていないという事実は、むしろ正直に出している証左とも言える。
機械が丸をつけられる科目だけ無限に練習できる。6週間で22ポイント伸びる理由
AIの育て方は大きく2段階に分かれる。1段階目は大量の文章を読み込ませる事前学習で、ここで世の中の知識がAIの中に入る。2段階目は問題を解かせて丸をつける段階で、合っていれば褒め、外れていれば直すという強化学習だ。この2段階目の丸つけを誰がするかが、すべてを分ける。
プログラムのように答えが揺れない科目では、機械が実行して結果を見れば合否が決まる。端末操作も成功したかどうかを機械が判定できる。算数のドリルのように巻末に答えがある問題と同じで、人が見なくても自動で丸つけできる。この仕組みは検証可能な報酬による強化学習（RLVR）と呼ばれ、練習の量に上限がなくなるという決定的な利点を持つ。人が丸つけするなら雇った人数が上限だが、機械が丸つけするなら計算機を増やした分だけ夜の間に何百万回でも練習させられる。だから6週間で22.4ポイントという動きが可能になる。伸びたのではなく、伸ばせたのだ。
知識は人が採点する。量が止まり、中身も増えないという二重の壁
一方で知識の科目は構造が異なる。正解自体は用意できても、その練習問題を作る段階で専門家を1問ずつ呼んでこなければならず、量は人の数で頭打ちになる。さらに根深い問題として、2段階目の練習では新しい知識は増えないという指摘がある。1段階目で読んだ図書館の中身がすべてで、2段階目でやっているのは引き出しの中身を増やすのではなく、開ける順番を調整しているだけだという説明だ。研究者の間では「新しい知識を足しているわけではない」という主張も論文として提示されており、練習を積んでも元のAIが持っていた上限を超えられていないという分析もある。議論は継続中だが、今回の成績表の形とはよく符合する。
知識には締め切りもある。Gemini 3.8 Flashの知識の締め切りは2026年3月までとされ、領域によっては2025年1月までのものもある。9月2日に発表された自身のことすら知らないという状態で、練習をいくら回しても締め切り以降の知識は入ってこない。入れるには図書館から読み直すという1段階目をやり直す必要があり、コストの桁がまるで違うため年に1回か2回の大仕事になる。その結果、更新の旅に知識だけが取り残されていく。
9割は完璧の一歩手前ではない。物差しを変えれば14.9点まで落ちる現実
89.4という数字を聞くとあと一歩で満点という印象を受けるが、現場はそうは受け取っていない。同じ試験でも版を変えれば景色は一変する。Terminal-bench 2.1で89.4だった点は、難しくした3.0では14.9、4.0では19.1まで落ちる。1mまでしか測れない身長計で測り続ければいつか全員1mで並ぶが、それは背が同じになったのではなく測れなくなっただけだという喩えが的確だ。知識の試験がまだ版を上げる必要がないのは、天井から遠く55点で止まっているからであり、伸び代がないから止まっているのではなく、伸ばす手段が見つかっていないから止まっているのだ。
他の科目を見ても、自動で採点できるかどうかで綺麗に分かれる。業務自動化の試験は17.0から30.4へ、PDF読解は22.0から34.0へ、金融分析では61.4で最上位の58.6を上回るなど、仕事の科目はすべて伸びている。知識だけが3.7で止まるという構図は偶然とは言い難い。
0.75ドル対5ドル。3ポイントに6倍払う意味はあるか
価格面でも選択の分かれ目が見える。100万トークンあたりの入力単価で、Gemini 3.8 Flashは0.75ドル、Claude Opus 5は5ドル、出力は3.75ドル対25ドルと6倍以上の差がある。安い方で十分という声が多い一方で、100手続く長い作業では途中で1回こければやり直しになるため、3ポイントの差が効いてくるという反論もある。短い用事なら安い方で問題ないが、任せきりにする長い作業では上位の方が結局安く済むこともあるという視点だ。さらに0.75ドルは2026年12月31日までの導入価格で、年明けには1.50ドルへ倍増することも発表されている。倍になってもまだ3倍以上安いままだが、知らずに見積もりを立てると正月に請求が倍になるという落とし穴には注意が必要だ。
ネットの反応
モデル比較させると拒否しまくるし3.7の方がまだ良かった気がする、怠惰で調べようとしない
AIの所感
この成績表が教えてくれるのは、AIの進化は一枚岩ではないという当たり前で見落としがちな事実だ。自動で丸つけできる科目は、計算資源さえ投じれば6週間で22ポイント伸ばせる。一方で知識のように人が採点し、しかも1段階目でしか増えない科目は、同じ6週間で3.7ポイントしか動かない。だから新しいモデルが出るたびに乗り換えるべきかという問いの答えは、自分の用途がどちら側にあるかで変わる。調べ物が主なら知識の科目を見るべきで、そこは世代が変わってもあまり動いていない。プログラムを書かせるのが主なら、乗り換える価値は十分にある。成績表を見る時は、1番大きい数字ではなく自分の用途に近い科目を、1世代ではなく3世代並べて、そして何という物差しの何番で測られたかまで見る。この3つを守るだけで、大きい数字に踊らされて損をする確率は大幅に下がる。9割の隣に55点が座っていることは、決して珍しくないのだ。