【悲報】61点が翌日55点に…何もしてないのに6点溶けたAIの成績表、科目を2つ替えただけで同点が4点差に裂けたワケ
【悲報】61点が翌日55点に…何もしてないのに6点溶けたAIの成績表、科目を2つ替えただけで同点が4点差に裂けたワケ
2026年9月3日に61点と掲示されたAIが、翌4日には55点へと書き換えられた。1日で6点の下落だ。モデル自体は1行も更新されていない。変わったのは試験のほうだった。AIの総合力を測る調査会社Artificial Analysisが、指標「Intelligence Index」をv4.2へ作り替えたのである。科目を1つ外して2つ足し、問題の4割を非公開にした。その2つの操作だけで、上から下まで全員が軒並み点を落とし、前日まで同点だった2モデルに4点の差が開いた。点数が下がったのではない。物差しが伸びたのだ。
この表はAI業界で最も参照される共通テストのような存在だ。AI企業の身内ではなく、中立の調査会社が各社のモデルに同じ問題を解かせ、横並びで点数を付ける。10科目を束ねた総合点で順位が決まる。大きくはエージェント、コーディング、一般的知識、科学的推論の4カテゴリに分かれ、各25%ずつという骨格だけが公開されている。細かい配点の内訳は非公開だ。一部記事が伝える「Agents 34%」などの数字は自社発表と食い違うため、ここでは骨格のみを事実として扱う。9月3日時点の総合は、Claude Fable 5.1が66点で首位、GPT-6 Astraが61点で2位、GPT-5.6 Solも61点でAstraと完全同点だった。評判ではAstraが圧倒的に持ち上げられ、「否定的な投稿を1つも見ない」とまで言われる状況で、総合2位という食い違いがまず注目を集めていた。
9月4日、新しい物差しで測り直すと風景は一変した。Claude Fable 5.1は66点から57点へ9点落とし、Astraは61点から55点へ6点落とし、Solは61点から51点へ10点落とした。同点だったAstraとSolの間に4点の溝ができた。両方とも下がって、下がり方が違っただけである。受験生は何もしていないのに、試験が変わったことで順位が動いた。これが今回の核心だ。前日までの記事の数字が翌日には使えなくなるほどの速さで、評価側が追いかけている。
全員が95点を取る科目は、もう順位を決めない
外されたのはGPQA Diamondだった。物理・化学・生物の大学院レベルの選択問題で、博士号を持つ専門家でも69.7%しか取れない難問揃いとして知られてきた。ところが今は上位のAIが94〜95%を平気で叩き出す。GPT-4登場時は39%程度だったものが、わずか2年で天井に張り付いた。第三者の集計では136モデル中24モデルが90%を超え、上位は94〜95%の帯に密集している。Artificial Analysisはこの状態を「saturated（飽和）」と表現し、順位を区別できなくなったとして科目から外した。何%で飽和と判断したかという閾値自体は公開されていないため、94%や24モデルという数字は外部集計として区別して受け止める必要がある。
全員が95点を取る科目は、合否判定で1点の仕事もしない。10科目のうち1科目が死んでいるのと同じで、残り9科目の影響力が勝手に膨らむ。だから飽和した科目は見つけ次第入れ替える必要がある。GPQA Diamondは2年間AIの進歩を測り続けた優れた試験だったが、役目を終えたというのが正確な評価だ。古い記事で「GPQA Diamondで95%」という数字を見ても、今となっては上位なら誰でも取れる横並びの数字でしかない。1つの点数を単独で見ても、それが差のつく点数かどうかは分からないのである。
代わりに入ったのは、4592ページを読ませる現実の仕事
外した1科目に対し、足されたのは2科目。合計は10科目へと1つ増えた。1つ目がGDP.pdfだ。Surge AIが作った長文読解の科目で、100課題で合計4592ページに及ぶPDFの束を丸ごと渡し、質問に答えさせる。金融、医療、法務、工学、建設、製造・供給網、保険、不動産、人事、研究の10分野から、契約書のただし書きや図面、配線図まで含む実務文書が並ぶ。答えは1ページにまとまっていない。あちこちに散らばった情報をつなぎ、1つでも抜ければ不正解という厳格な採点が敷かれている。
この試験には1275個の採点項目があり、1つの課題について抑えるべき点をすべて満たして初めて1問正解になる。9割合っていても1箇所でも落とせばその課題は0点だ。だから最高点の33.2%という数字は「3割しか読めない」という意味ではない。「完璧に答え切れた課題が3割だった」という意味の33%である。満たした項目の割合で測る別の数え方も存在し、数え方で見え方はまるで変わる。なお、Surge AI自身が公表するGDP.pdfの最高点はGPT-5.6 Solの30.7%で、こちらは4月の公開から数ヶ月かけて初めて3割を超えた記録だ。Artificial Analysisが測った33.2%（GPT-6 Astra）は測った主体も時期も違う別測定であり、2つを並べて優劣を論じることはできない。
2つ目がAA-Briefcaseだ。Artificial Analysisが自作したエージェント型の知識労働を測る試験で、中身は非公開とされている。AIが自ら手順を決め、調べて書いて直すという一連の作業を、人の介入なしに最後までやり切らせる。教会の専門家が作った複雑な案件をそのまま渡す形で、原文では「現実に近いエージェント型の知識労働」と説明されている。選択問題を減らし、読解と実務を足す。知識を問う試験から、仕事をさせる試験へと舵を切ったことが、今回の作り替え全体を貫く方向性だ。
なぜ4割を非公開にしたのか、点数稼ぎと汚染を仕組みで断つ
今回、Intelligence Indexの重みの40%が非公開になったと発表された。前バージョンの20%からちょうど倍である。非公開の対象はAA-Briefcase、AA-OmniScience、そしてClaude向けの採点試験の一部で、問題ごと隠すものと回答だけを隠すものが混在する。正解が分からなければ丸暗記はできないという考え方だ。
背景には「ゲーミング」と呼ばれる点数稼ぎがある。順位がそのまま宣伝と資金調達に直結する業界では、公開された過去問を丸ごと学習データに含めれば、その科目の点数は確実に上がる。狙わなくてもネット中の文章を集める過程で混ざる「汚染（contamination）」も含め、一度混ざればその科目の点数は実力を表さなくなる。対策として、世に出ていない問題を用意すれば混ざりようがない。非公開を増やすほど攻略は難しくなるが、同時に外部からの検算ができなくなるという弱点も大きくなる。どの科目を外し何を足すかを決めるのも調査会社の判断であり、審判がルールを書いている構造は否めない。ただし、どの科目が非公開で割合が何%かは公表され、黙って隠しているわけではない。「攻略される代わりに検算できる」か「検算できない代わりに攻略されない」かの選択であり、今回は後者を選んだというのが正確な理解だ。
総合1位と科目1位は別人、なぜ評判1位のAstraは総合2位なのに新科目で1位なのか
新しい順位表の上位は、1位Claude Fable 5.1の57点、2位GPT-6 Astraの55点、3位Claude Opus 5の54点に続き、Claude Fable系とMetaのMinuz Spark 1.3が53点で並び、GPT-5.6とGrok 4.6が51点、Kimi 3が50点と続く。1位から8位までがわずか7点の中に団子状に収まっている。科目を1つ入れ替えれば10点動くことがある世界では、7点差は次の作り替えで簡単にひっくり返る幅でしかない。1位かどうかで選ぶ意味は薄く、団子の中から自分の用事に合うものを選ぶ方が合理的だ。
ここで最も象徴的な逆転が起きた。GDP.pdfだけで見ると、総合1位のClaude Fable 5.1は26.2%で3位に沈み、総合2位のAstraが33.2%で1位に立つ。2位にSolの28.2%が入り、総合の並びと科目の並びが綺麗に逆さになる。分厚い書類を読ませる仕事なら今はAstraが最も強く、10科目の合計ならFable 5.1が強い。どちらも本当のことである。人の評判が「使った実感」から出るのに対し、順位表は10科目の合計を見る。評判1位と総合1位がずれるのは、測っているものが違うからに他ならない。
科目別の伸び縮みも一様ではない。Astraは前のバージョン測定で、新科目のAA-Briefcaseでは大きく伸びた一方、GPDバルクのような別科目では落としている。どこかを伸ばせばどこかが下がるのは人間の勉強と同じで、得意科目が試験に入るかどうかで総合点が動く。元のページでは科目ごとの点数がすべて公開されており、総合点だけを見るのではなく、自分がやらせたい仕事に最も近い科目の列を1つ決めてそこだけを見るのが、最も当たりを引きやすい選び方になる。
点数を覚えるより読み方を覚える、持ち帰る3つの視点
今回のv4.2は、次のv5の中身を前倒しで入れた暫定版と位置づけられている。前バージョンの1月から8ヶ月で、AIの進歩が試験の寿命を追い越した結果だ。数ヶ月後にはまた作り替えられ、点数も順番も再び動く。だから点数を暗記する意味は薄い。覚えるべきは読み方である。
まず、表示される点数は絶対的な賢さではなく、その日の科目の組み合わせで決まる相対的な数字だということ。66点から57点への下落を劣化と呼べば誤読になる。物差しを置き直しただけであり、別の物差しで測った2つの値を並べても意味がない。次に、総合点ではなく自分の用事での1位を選ぶこと。長いPDFを読ませたいならGDP.pdfの列、プログラムを書かせたいならコーディングやターミナルベンチの列を見る。総合1位が全科目で1位とは限らないのは、学校の成績表と同じである。最後に、点数が飽和したら情報は失われるということ。GPQA Diamondの95%のように、皆が高得点を並べる数字は横並びの数字でしかない。高いかどうかではなく、他のモデルと何点違うかという差こそが本当の情報になる。
ネットの反応
理想的には平均点が50点、正規分布に近い点数分布が良いはずだもんね
全員95点ならその科目は捨てるしかないよな。10科目のうち1科目が死んでるのと同じだし
4592ページを丸ごと読ませて33%って、1つでも抜けたら0点ならそりゃ厳しいわ。完答率で見たら3割でもすごいと思う
総合2位なのにPDF読解で1位って、結局自分の仕事で使う科目だけ見ればいいってことだよな。総合点で選んでたのは失敗だった
AIの所感
今回の作り替えは、点数を下げたのではなく天井を上げたのだと捉えるのが最も正確だ。飽和した科目を抱えたまま高得点を並べる方が、むしろ不誠実である。4592ページという現実の重さをそのまま試験に持ち込み、1275の採点項目で1つの抜けも許さない厳しさは、AIを「知識を答える存在」から「仕事をやり切る存在」へと定義し直す試みでもある。非公開を40%まで引き上げたことの危うさは当然残る。検算できない部分が増えれば、信頼は制度ではなく運用の透明性に依存する。どの科目を隠したかを宣言し、出所が違う測定を並べて比べないという誠実さが、唯一の支えになる。上位が7点の中に団子になっている現状は、1位を当てるゲームから、自分の用事での1位を探すゲームへの転換を促す。総合点で一喜一憂するより、自分の机の上の書類をどのAIが最も落とさずに読めるか、その1列だけを見ればいい。物差しが伸びるたびに数字は踊るが、読み方だけは腐らない。