AIに遊戯王の裁定が分かるのか? ChatGPT Web Browsingで実験
OpenAIから公開されている「GPT-4」にWeb Browsing機能が追加された。
インターネット検索によってより正確な回答をしてくれるらしい。
ここで誰もが気になる「AIに遊戯王の裁定が分かるのか?」という疑問について再度実験。
前回は半分以下の正解率だった「GPT-4」くん。
今回はもっとがんばって欲しい。
1. 実験概要
- 「遊戯王OCGカードデータベース」のQ&Aから回答と質問を入手
- 上記の質問は前回の実験のときと同じもの
- 「GPT4 Web Browsing」に質問
- 答え合わせ
以上の手順で実験を行う。
※何故か普通に質問しただけだとWeb検索してくれないため(遊戯王以外の質問にはWeb検索を使ってくれる)、
「Web検索して答えてください」と質問に追記。
2. 実験
2.1. 初級問題
まずは簡単な質問からスタート。
- 自分のデッキが0枚になった場合、その時点でデュエルに敗北しますか?
- 正解:
ただちにデュエルに敗北する事はない。ドローを行う際に、デッキが0枚でドローする事ができなかった時に、デュエルに敗北する。
- モンスターゾーンに裏側表示で存在するモンスターに装備魔法カードを装備させる事はできますか?
- 正解:
装備できない。
- デュエル中に、墓地のカードの順番を入れ替える事はできますか?
- 正解:
できない。
- 自分のライフポイントが8000の時、「治療の神 ディアン・ケト」など、自分のライフポイントを回復するカードや効果を発動する事はできますか?
- 正解:
できる。
ここまでは前回の「GPT4」くんも全問正解。
- 自分のライフポイントが相手より少なく、「巨大化」の効果によって、攻撃力が倍になるような時に、手札が5枚である場合、「秒殺の暗殺者」の攻撃力はいくつになりますか?
- 正解:
2000(攻撃力2000、巨大化により2倍、効果によりマイナス400*5)
前回間違っていたが今度は正解。
明らかに「遊戯王OCGカードデータベース」のQ&Aからそのまま回答を引っ張ってきている。
2.3. 中級問題
初級問題は全問正解。
少し難易度を上げていく。
- デッキを構築する際に、「海」「伝説の都 アトランティス」「忘却の都 レミューリア」をそれぞれ3枚ずつデッキに入れる事はできますか?
- 正解:
同名カードとして扱うため合計で3枚までしか入れられない。
急に母国語で話しだした。
そのうえ不正解。
「GPT4 Web Browsing」では検索した内容が分かるのだが「Searched: “遊戯王 OCG 同名カード 枚数 デッキ”」と書いてある。
つまり遊戯王の基本ルールを検索して同名カードが3枚入れられることだけ調べて回答してきたということ。
検索が下手すぎる。
- 「増殖するG」の効果適用中に、ペンデュラム召喚によって、2体のモンスターを同時に特殊召喚した場合、「増殖するG」の効果でドローできる枚数は何枚になりますか?
- 正解:
1枚。同時に1度だけ特殊召喚されるため。
今度は正解。
「遊戯王OCGカードデータベース」から検索していた。
- 自分のライフポイントが125の状況で「ダイノルフィア・インタクト」を発動・適用したのち、攻撃力100の相手モンスターの直接攻撃によって自分が戦闘ダメージを受けた場合、自分のライフポイントはどのように変化しますか?
- 正解:
125 → 63 → 31
125→63(「ダイノルフィア・インタクト」のコスト:半減切り上げ)→31(戦闘ダメージ:「ダイノルフィア・インタクト」の効果により現在のライフの半分四捨五入の32ダメージ)
どうやらWeb検索できる回数に限りがあるようでこの質問の途中で失敗していた。
また、答えが見つかる前に検索が打ち切られると英語で話し出すことが分かった。
(今回のような遊戯王の質問に限らずなんでも)
前回の実験では5つ毎にまとめて質問していたため条件を合わせたかったが、仕方ないので検索できる程度に数を抑える。
通常の「GPT4」でも1つずつ質問した方が精度が高くなるので少しずるい。
あらためて同じ質問。
- 正解:
125 → 63 → 31
125→63(「ダイノルフィア・インタクト」のコスト:半減切り上げ)→31(戦闘ダメージ:「ダイノルフィア・インタクト」の効果により現在のライフの半分四捨五入の32ダメージ)
結局不正解。
今度は正しいカードページを検索できたのに発動コストを考慮してない。
あと回答が長い。
これを避けたくてまとめて質問していた。
- 相手が「デビル・フランケン」のモンスター効果を発動した時、チェーンして手札の「灰流うらら」のモンスター効果を発動できますか?
- 正解:
できない。「灰流うらら」の効果は「エクストラデッキ」からの特殊召喚を防げない。
ちゃんと「デビル・フランケン」のページを開いた履歴があるのに効果が分からなかったらしい。
「灰流うらら」の方がよほど複雑な効果してるだろ。
- 「エフェクト・ヴェーラー」のモンスター効果が適用されているモンスターを対象として、セットされている「無限泡影」を発動できますか?
- 正解:
できない。既に効果が無効になっているモンスターの効果を無効にすることはできない。
ここで、「エフェクト・ヴェーラー」の検索前にWeb検索が終了していたので再質問。
11問目と合わせて2つしか質問してないのに英語回答。
次は間違えそう。
2.3. 上級問題
- 4体のモンスターを素材としてリンク召喚された「召命の神弓-アポロウーサ」が③の効果を合計3回発動し、攻撃力が2400ダウンした際に、「月鏡の盾」を装備し、相手モンスターと戦闘を行いました。そのダメージ計算後、攻撃力はどうなりますか?
- 正解:
3200になる。「アポロウーサ」の②の効果により元々の攻撃力が3200になっているため。
質問数が少ないと長々と回りくどい回答するから読むのが面倒。
問題を用意したQ&Aページと完全に同じページを参照したのに間違えている。
- 「ブラック・ガーデン」と「邪神ドレッド・ルート」がフィールドにあります。この時、召喚・特殊召喚されたモンスターの攻撃力は元の何分の一になりますか?
- 正解:
8分の1になる。
「ドレッド・ルート」で半減→「ブラック・ガーデン」で半減→何故かまた「ドレッド・ルート」で半減。
ここでまた検索失敗したので再質問。
もう1つずつ質問してるのとほぼ変わらない。
答えの書いてあるページ(遊戯王カードWikiのブラック・ガーデンのページ)を検索したのに間違えている。
常識では考えられない裁定だからwikiを信じられなかったのかもしれない。
- 自分フィールドに、表側表示の「スキルドレイン」と、それにより効果が無効化されている「電脳堺狐-仙々」が存在しています。この状況で、自分はその「スキルドレイン」をコストとして墓地へ送って「禁じられた一滴」を発動できますか?
- 正解:
発動できない。(と「遊戯王カードデータベース」に書いてある、多分「スキルドレイン」が無くなると「仙々」の永続効果が復活して墓地に送れなくなるから、だけどタイミング的に納得できない)
「禁じられた一滴」のページを検索して不正解。
「電脳堺狐-仙々」のページは調べていない。
- 「御前試合」の効果によって、フィールド上に存在できるモンスターの属性が1種類になった場合、表側表示で存在している「精霊術師 ドリアード」は、墓地に送られますか?
また、「精霊術師 ドリアード」を特殊召喚する事はできますか?
- 正解:
墓地へ送られる。フィールド上の「精霊術師 ドリアード」は複数の属性を持つため。
特殊召喚できる。手札や墓地の「精霊術師 ドリアード」は1種類の属性のみを持つため。
前回の実験では両者不正解だった難問に対して完璧な回答。
答えの書いてあるQ&Aページを参照しているから当然とはいえ嬉しい。
- 「禁止令」の効果によって、カード名を「封印されしエクゾディア」と宣言した後、手札に、「封印されしエクゾディア」を含む、「封印されし者の左足」等5種類のカードが揃った場合、デュエルに勝利する事はできなくなりますか?
- 正解:
勝利できる。「禁止令」では防げない(らしい)。
連続正解。
調子が出てきた。
3. 実験結果
モデル | 正解率 | 備考 |
---|---|---|
「GPT-3.5」くん | 4/15 | |
「GPT-4」くん | 7/15 | |
「GPT4 Web Browsing」くん | 9/15 | 一度に与える問題数が少ない場合 |
「GPT4 Web Browsing」の高い能力が証明できた。
正直やる前は余裕で全問正解すると思っていたが、意外とうまくいかない。
前より悪くならなくてよかった。
- 答えの書いてあるページの検索に失敗
- 答えが書いてあるページを見つけたのに何故か失敗
の2つのハードルがなかなか越えられなかった。
Web検索して答えを見つけるのは意外と難しいらしい。