18のAIモデルが完全自律型研究レースに参戦 — オープンウェイトのKimi K3がClaudeに肉薄
Prime Intellectが興味深い実験を実施した。Fable 5やGPT-5.6 Sol、そしてオープンウェイトのKimi K3まで、18の最先端言語モデルを人間の介入なしで完全自律型の研究タスクに挑戦させたのだ。結果は衝撃的だった。安価なエージェントハーネスを装備した中国のオープンモデルが、Anthropicの最高級フラッグシップに肉薄したのである。何が起きたのか、そしてこれがAI進化を追う人々にとってなぜ重要なのか、詳しく見ていこう。
レースのルール:できるだけ少ないステップでモデルを学習せよ
タスクはAndrej Karpathyの有名なnanoGPTスピードランプロジェクトから来ている。1億2400万パラメータの小型モデルを、検証損失3.28に到達させる。使えるトレーニングステップはできるだけ少なく。スターターレシピでは3,290ステップで達成できる。人間の最高記録は2,600ステップだ。
エージェントはコードリポジトリ、短いルールブック、そして1つの目標を受け取る。その後は完全に自律稼働。オプティマイザーを調整し、実験を走らせ、本物の改善とランダムノイズを見分け、次に何をテストするか決める。ハードウェアはH200 GPU 8枚。すべてオフラインサンドボックス内に隔離され、モデルは既存の解答を検索できない。合計153回の完全自律実行が行われ、最長のものは8日以上続いた。
最終結果
AnthropicのFable 5が2,726ステップで最高記録を達成し、ベースラインレシピと人間の記録の差の約82%を埋めた。フラッグシップのClaude Opus 5は2,920ステップでゴール。
そして驚きが訪れた。Moonshot AIのオープンウェイトKimi K3が、マルチエージェントPrime Agent Harnessを使って2,930ステップで完了。トークンあたりのコストが明らかに高いフラッグシップモデルからわずか10ステップ遅れ。GPT-5.6 Solは3,042ステップで、オープンモデルより遅い結果となった。
最も面白いのは:誰も新しいものを発明しなかった
単一の実行も、真に新規の手法を生み出さなかった。実際に機能したすべて — 巧妙な正規化、学習率スケジュール、重み平均化 — は何年も前に論文で説明されていたものだ。すべてのモデルが、ほぼ同じアイデアの集合に収束した。
違いは実行力だった。優れたモデルは1回の失敗で仮説を捨てない。ランダムシードを変え、測定を繰り返し、条件が変わったら古いアイデアを再訪する。本物の進歩とノイズをより慎重に区別する。そして独自のツールを構築する。Kimi K3は損失曲線を比較するカスタム関数を書き、小さな数値実験室を組み立て、Newton-Schulz法を実際のトレーニングに移す前におもちゃのケースで検証した。
なぜこれが「AIがAIを改善する」シナリオに傷をつけるのか
古典的な再帰的自己改善の物語はこうだ。最も賢いクローズドモデルが自己アップグレードを始め、他のすべてが塵を食べている間に不可逆的に引き離される。この実験はその絵を削っている。アイデアがすぐに尽きる場合、勝者は最も賢いプレイヤーではなく、「提案 — テスト — 破棄」のループのコストが低く、より速く回転するものだ。優れたハーネスに駆動されるオープンモデルは、1ドルあたりより多くの試行を実行する — そしてそれが別のベンチマークポイントよりも重要だとわかった。
注意点
公平に言えば、これは非常に限定的なタスクだ。単一のトレーニングスクリプト、1つの明確なメトリック、明白な成功基準 — 実際の科学ははるかに混沌としている。新しい手法も出現しなかったので、これは依然として研究者のルーチンを自動化することであり、研究者を置き換えることではない。そして結果はハーネス自体に大きく依存している。同じKimi K3でもエージェント層がないと、明らかにパフォーマンスが落ちる。
FAQ
エージェントハーネスとは何か?
モデルの周囲の層。ツール、コード実行環境、以前のステップの記憶、タスクスケジューラー。モデル自体は同じだが、作業が簡単になる — 適切なツールを備えた適切な机を得た人のようなものだ。
一般ユーザーはKimi K3を試せるか?
はい、ウェイトはオープンだ。NeuralSpace Chatでチャットでき、Codeでエージェントスタイルのワークフローを試すことができる。
ではAIはすぐに科学論文を独力で書くようになるのか?
そう簡単ではない。自律エージェントは明確なメトリックと迅速なフィードバックがある場所でうまく機能する。仮説、センス、正しい質問をすることは依然として人間の領域だ。しかしモデル周辺のインフラストラクチャは、今最も速くアップグレードされている — 注目に値する。