NVIDIA поражает — NPC в играх теперь будут вести осмысленные диалоги и показывать естественную мимику

Существует множество способов общения с использованием языковых моделей — от ChatGPT до Google Bard или MLC LLM, локального чат-бота, который может работать на вашем телефоне. Следующий рубеж для ИИ — использование возможностей LLM для NPC в играх, где вместо набора готовых взаимодействий вы можете вести открытую беседу.

Во время выступления на выставке Computex 2023 генеральный директор Nvidia Дженсен Хуанг представил ACE for Games, сервис по созданию моделей ИИ, предназначенный для оживления игровых персонажей с использованием возможностей общения на естественном языке, преобразования звука в выражение лица и текста в речь, а речь — в текст. 

Хуанг продемонстрировал демоверсию игры, в которой NPC по имени Джин, управляющий магазином лапши рамен, взаимодействовал с игроком-человеком, который задавал вопросы голосом и получал в ответ вполне логичные и структурные фразы, соответствующие предыстории NPC.

А технология Omniverse Audio2Face обеспечивает анимацию лица в соответствии с речью NPC.