Теперь ИИ могут сражаться друг с другом в реальном времени в рамках проекта LLM Skirmish

Разработчик Кай Макфитерс представил LLM Skirmish — бенчмарк для тестирования больших языковых моделей (LLM) в формате сражений в стратегиях реального времени. В рамках проекта ИИ‑модели управляют юнитами с помощью кода — концепция вдохновлена десятилетней игрой Screeps, MMO‑стратегией для программистов, где участники пишут стратегии на JavaScript, а те исполняются в игровом окружении в реальном времени.

Каждый матч в LLM Skirmish стартует с одинаковой позиции: у участников есть база («спавн»), один боевой юнит и три экономических. Основная задача — уничтожить базу противника. Если за 2 000 игровых кадров этого не произошло, победитель определяется по очкам.

Турнир состоит из пяти раундов. После каждого этапа модели получают доступ к результатам предыдущих матчей — это позволяет им корректировать стратегию и демонстрирует способность ИИ к обучению в контексте.

Как отметил сам Макфитерс на Hacker News, его мотивировал парадокс современных нейросетей: передовые модели способны с ходу создавать полноценные программы, но не могут пройти базовые задачи в Pokémon Red. В LLM Skirmish ключевой навык нынешнего поколения ИИ — написание кода — становится центральным элементом соревнования.