Epoch AI、ゲームでAIの実力を測る新評価SpireClimbを発表

Epoch AIは2026年10月14日、ゲームでAIの能力を測るSpireClimbを発表した。Slay the Spireと続編のSlay the Spire 2を使い、一般ユーザーがAIにプレイを任せた場合の実力を調べる。

基本難易度では勝率90%以上

Epoch AIによると、初代の基本難易度では最先端のAIモデルの勝率が90%以上に達した。半年前のAIは、この難易度でも勝つのに苦戦していたという。

ただし、難易度を上げると結果は異なる。追加の最終ボス撃破も必要な初代の最高難易度「Ascension 20 Heart」では、GPT-6 Astraの勝率は17%。GPT-6.1 Solは20%だったとしている。

続編の最高難易度「Ascension 10」では、最先端モデルの勝率が25%を超えたという。一方、人間の上位プレイヤーは両作の最高難易度で勝率80%以上としており、差が残る。

続編は現在、正式版に先立って公開される早期アクセス版だ。初代の高難度ボス「The Heart」に相当する敵はない。Epoch AIは、続編の勝率が高い背景に、初代より低い難易度があるとみている。

かんたんに言うと、画面を見て判断する試験

両作は、偶然性や隠れた情報、多数の選択肢がある1人用ゲームだ。AIは人間と同じゲーム画面を見て操作する。たとえるなら、答えを暗記する試験より、初めての場所で地図を見ながら進み方を決める試験に近い。

評価では、両作の各キャラクターで、各モデルに15回の独立した挑戦機会を与えた。メモの作成や、攻略情報を載せたWikiの参照も認めた。Wikiは、情報をまとめたウェブサイトのことだ。

Epoch AIは、新しい続編は最先端モデルの学習データにほぼ含まれないと説明する。そのうえで、不慣れなゲームでも成績は大きく落ちないと解釈した。

ただし、画面操作のミスが残り、考えて判断する力を十分に測れていない可能性も挙げる。キャラクター別の試行数も少なく、確かな結論は出しにくいとしている。

日本では

日本との関わりは発表には書かれていない。今回の発表は、ゲームを使ってAIの能力を調べる評価に関するものだ。

まとめ

今回の結果は、基本難易度での成績向上と、高難易度での限界の両方を示すものだ。勝率を見る際は、ゲームの難しさや操作ミス、試行数にも注意が必要になる。

Epoch AIは今後、新しいモデルを両作の最高難易度で評価する予定だ。ゲームにおけるAI能力の追加結果も近く公表する予定で、継続した評価から進歩と弱点がより明確になる可能性がある。