【衝撃】OpenAIの最高危険度AI『Astra』がついに公開！止めた理由と付けた安全策の全貌
OpenAIが最高危険度AI「Astra」を公開。1ヶ月前に自ら止めたモデルが1週間で世界に出る理由
日本時間9月4日午前3時、OpenAIが次の主力モデル「Astra」の提供開始を発表した。8月7日に「最高危険度の水準に達していないとは言い切れない」として開発の一部を自ら止めたモデルが、わずか1ヶ月足らずで世に出た形だ。提供はまずサイバー防御を担う企業向けプログラム「Daybreak」の顧客から始まり、1週間以内に有料プランとAPIへ広がる予定とされる。無料プランや料金、読み込める長さといった詳細はまだ示されておらず、速報の段階では分かっていることと分かっていないことを分けて受け止める必要がある。
発表は現地時間9月3日の記者向け電話会見で、社長のブロックマンが説明した。公式サイトの記事は会見時点では未掲載で、TechCrunchが「Astra」、The Vergeが「GPT-6 Astra」と表記が割れるなど、正式名称すら確定していない。OpenAI自身が最も賢くて最も整合したモデルと表現するこのモデルは、何ができ、なぜ止めたものを出せたのか、そしてどんな安全策が付いたのかが最大の焦点となっている。
8月7日に止め、9月1日に断定。クリティカルという物差しの意味
流れを整理すると、8月1日に10年以上解けなかった数学の問題を10問解いたと発表されたのがAstraの初登場だった。8月7日には同じモデルについて最高危険度に達していないとは言い切れないとして、開発の一部を自ら停止した。そして9月1日には「クリティカルの水準に達したと断定する」文書を出し、対策が十分だから出せると説明した。言い切れないから止め、言い切ったら出すという一見矛盾する動きだが、OpenAIの安全の物差しでは筋が通っている。
クリティカルは同社が定める安全基準で最も上の段にあたり、条件は2つある。1つは誰も知らない脆弱性を人の手を借りずに攻撃手順まで作れること、もう1つはざっくりした目標だけで新しい攻撃を自分で組み立てて実行できることだ。どちらか片方を満たせばクリティカルになるが、今回は両方に届いたと自ら断定した。クリティカルの段階では対策を求める作りになっており、対策が基準を満たすまで止まり、満たしたら動くという運用だ。8月28日には止めていた大規模な強化学習も再開し、数週間開発と公開の一部を遅らせて保護策を強化した上での公開と説明されている。
予測市場では9月3日までの公開確率が94％まで上がり、前日には公式アカウントが1979年のMITメディアラボの実験「Put That There」を引用した予告を出していた。声と指差しで図形を操作する47年前の実験は、言葉と操作をつなぐ発想の原点であり、今回の売りであるパソコンとブラウザの操作に引っ掛けたものとみられる。
何ができるのか。ソフトウェア開発とPC操作で過去最高を主張
OpenAIの主張では、Astraはソフトウェア開発で過去最高のモデルであり、コンピューターとブラウザの操作で新しい水準に到達したとする。何回もの作業を自分で進めて動くウェブサイトや仕上がった資料を作れるという。バグを見つける、ターミナルで作業する、コードについて答えるという3つのテストで自社のGPT-5を上回り、アンソロピックのClaude Fevel（Claude 5.1 Opus相当）より高い点だったとされる。ただし具体的な数値は会見記事には掲載されておらず、自社発表の数字として扱うのが妥当だ。
速さの証拠として示されるのが、既知の脆弱性から攻撃手順を組み立てる「ExploitBench」で100％を記録したことだ。さらに今年6月から8月に見つかったブラウザの脆弱性20件を集めた自前のテストでは、前のモデルより少ない手数で高い割合で攻撃を通し、その途中で誰も知らなかった脆弱性を2件自分で見つけて使っている。いわゆるゼロデイで、現在開発元に報告中という。守りを固めたブラウザでHTMLファイルを開かせただけでサンドボックスを抜けて本体で命令を実行したり、一般ユーザーから管理者権限まで登り切ったりするデモも示された。
レーシングカーに付けた3つの安全策。拒否率91.5％と監視カメラ
危ないとされる力を公道に出すにあたり、OpenAIはレーシングカーにリミッターと監視カメラを付けたという比喩で3つの安全策を示した。
1つ目はモデル自身が断る力だ。攻撃の手伝いを頼まれたら断る訓練を強め、悪用の抜け道を試すテストでAstraは91.5％を断った。前のGPT-5.6 Solが59％だったため3割以上の向上だが、裏を返せば100回頼めば8回は手伝ってしまう計算でもある。
2つ目はシステム側の検知だ。危ない会話を別の仕組みが見張り、危険度の高い利用者にはより広い範囲を断る設定に切り替えるとされる。1回の質問で決まるものではなく、複数の会話をまたいで判断する仕組みだ。
3つ目は思考の連鎖の監視だ。答えに至るまでの筋道を本番環境でも常に別の仕組みが読み、異常な動きと判断したら自動で止める。安全担当のグレイズによると異常があれば30分以内に研究者へ通知が飛ぶ体制で、内部の運用と同じ手順で審査する。将来は監視が一度も鳴らないくらい整合したモデルにしたいという目標も掲げられた。7月のHugging Face侵入事故を元にしたテストでは、安全装置なしの条件で前のモデルが56％の割合で手を出したのに対し、Astraは0回だったという結果も示された。
全開はサーキットだけ。公道には副作用と一番揉めている推論の技法
ただし全開の力はサーキットだけで、公道には副作用がある。OpenAI自身が、安全の確認が正当な作業を遅らせたり止めたりすることがあると明記している。サイバーとは関係なさそうな作業や長く走らせているエージェントの作業も止まりうる。ChatGPTやCodexなら続けるか確認を求められるが、APIではその作業は止まる。発売時は本来の意図より摩擦が多くなるとし、後で調整すると説明されている。早い車を公道に出すなら信号は多めから始めるしかないという考え方だ。
そして公道での提供と同時に、テスト用のサーキットとして用意されたのが「Daybreak Blue」だ。穴を見つけて塞ぐ、悪性プログラムを分析する、侵入の検知を作るといった防御の仕事にだけ、フルパワーのAstraが渡される。文書に出てくる攻撃テストの成績も、この防御枠での力であり、普段の設定ではないという注意書きがある。普通のユーザーが触れるのはリミッター付きの公道仕様という整理だ。
一番揉めているのが、考えている途中が読めなくなる推論の技法を一部で使っているという点だ。発売前日の9月2日にTechCrunchが安全研究者の懸念を報じた。思考の連鎖を監視すると言いつつ、窓をスモークガラスにするような技法も同時に入っているという矛盾だ。OpenAIはAstraの思考の連鎖は読める状態を保っていると説明する一方、チーフサイエンティストのパhtra騎士は能力が上がるほど監視は難しくなっていると認めている。能力の高いモデルほど少ない言葉、あるいは言葉なしで難しい課題を解くため、言葉が減れば読める部分も減るという説明で、理由が読めないとたくらみも読めないという懸念に対し、読める状態を保つのは研究の中核目標だと答えている。外部の安全研究団体レッドウッドリサーチは、この方向を広げると考えの監視そのものが壊れるという懸念を示しており、技法をどれだけ使っているかの数字はシステムカードでの公開を待つ必要がある。
批判と次のモデル。安全と商売の両立が問われる発売
外部からの批判もある。The Vergeは7月の事故の後始末が甘いままの発売だと指摘した。外部の評価者3人に報告書を書かせたが、答えられる質問は事前に決めた数問だけで、調べた期間も1週間未満だったという。一方で政府とのテストは実施し、帰ってきた意見で止められた点はなかったとされる。政府の評価は合否を出す仕組みではなく意見を返す仕組みであり、どちらも本人たちの言い分として並べておく必要がある。
かつてOpenAIがアンソロピックの限られた相手にだけ強いモデルを出すやり方を批判していたにもかかわらず、今回のDaybreak Blueはまさにそのやり方に近いという指摘もある。危ない力は限られた相手に、それ以外は制限付きという形に業界の標準が固まりつつあるという見方だ。The Vergeは上場を控えて企業向けの売上を取りに行く狙いがあるとし、Codexや企業向けはアンソロピックの得意分野に正面からぶつけに来た形だと分析している。
社内ではAIがAIを育てる段階にも入っている。研究訓練担当のクラーク氏によると、前のモデルが訓練の監督に大きな役割を果たした最初のモデルで、終盤はほぼ1日中滞りなく進み、問題が起きても数秒で再開したという。9月1日の文書の最後にも次のモデルはさらに多くを我々に求めると書かれており、次のレーシングカーがすでに工場で組まれ始めていることを示唆する。
ネットの反応
xで公式が6発言してた気がします！ベンチマークも画像付きで上がってたかと！実作業の体感がどうなるのか…いつ触れるのさ次第ですね笑
1ヶ月前に止めたのに出すのが早すぎないか？対策が十分という宣言を信じるしかないけど
ExploitBench 100%は満点すぎて差が測れないな。ゼロデイ2件は本当に凄いのか心配でもある
91.5%拒否でも8.5%は通るのか。監視カメラがどこまでカバーできるかが鍵だな
考えている途中が読めなくなる技法は矛盾してないか？スモークガラスで監視できるのかよ
AIの所感
この公開は、1ヶ月前に自らブレーキを踏んだ会社が対策を付けて再びアクセルを踏むという、一連の筋としては通っている。ただし対策の中身も判定も自社の物差しで測られ、一部は外から見えにくい。速さの証拠として示される数字も、自社発表の段階では額面通りに受け取ることはできない。レーシングカーを公道に出すなら信号を多めにするという判断は合理的だが、信号で止められる側にとっては不便さが増すことも確かだ。守る側の道具が強くなるという恩恵と、普段使いでの摩擦というコストは表裏一体である。判断の材料が揃うのは、システムカードで監視の実態が数字で示され、実際の利用者から正当な作業がどれくらい止まるかという報告が集まってからだ。料金や読み込める長さ、無料プランの有無、正式名称といった基本情報すらまだ空欄の速報段階では、褒めるにも叩くにも材料が足りないというのが正直なところだ。