Класичний платформер Super Mario Bros․ став справжнім випробуванням для штучного інтелекту

Основні тези

Дослідники з Каліфорнійського університету в Сан-Дієго протестували можливості сучасних моделей ШІ на класичній грі Super Mario Bros., яка виявилася складним завданням.
Найкращі результати показав Claude 3.7 від Anthropic, завдяки точним стрибкам і уникненню ворогів, тоді як інші моделі, такі як GPT-4o від OpenAI, відставали.

Дослідники з Каліфорнійського університету в Сан-Дієго вирішили протестувати можливості сучасних моделей штучного інтелекту, використовуючи класичний платформер Nintendo – Super Mario Bros. Він виявився ще тим міцним горішком

В експерименті застосовувалася емуляторна версія гри, інтегрована з розробленою командою Hao AI Lab платформою GamingAgent, розповідає 24 Канал з посиланням на TechSpot.

Читайте на сайті Фанат визначив, на якій версії гри Minecraft заснований фільм "Minecraft у кіно"

Ця система дозволяла моделям керувати Маріо шляхом генерації коду Python. Усі штучні інтелекти отримували однакові базові інструкції, наприклад, "Перестрибни цього ворога", а також візуальні знімки ігрового процесу.

Хоча Super Mario Bros. на перший погляд здається простою 2D-грою, вона виявилася серйозним викликом для ШІ. Моделям доводилося не лише будувати складні послідовності рухів, а й швидко адаптувати стратегію проходження у реальному часі.

Найкращі результати продемонстрував Claude 3.7 від Anthropic – він відзначився точними стрибками та вмінням уникати ворогів. Його попередник, Claude 3.5, також показав гідний результат, тоді як GPT-4o від OpenAI та Gemini 1.5 Pro від Google дещо відставали.

Дослідження показало, що для успішного проходження Super Mario Bros. логічне мислення відіграє другорядну роль, натомість вирішальне значення має точність і швидкість реакції. Навіть невелика затримка могла відправити Маріо на попередній чекпойнт.

На думку дослідників, більш "обдумані" моделі витрачали надто багато часу на розрахунки наступного кроку, що призводило до частих невдач.

Дивіться також Ubisoft пояснила, чому так довго відкладала розробку Assassin’s Creed Shadows

Дослідники підкреслюють, що використання ретроігор для оцінки ШІ – це переважно експериментальний підхід. Вміння пройти Super Mario Bros. не визначає реальну корисність моделі, але спостерігати, як інтелекти, навчені на мільярдах параметрів, зазнають поразки у класичній грі, безумовно, цікаво.