Genie 4 від Google DeepMind: інтерактивні світи зі звуком у реальному часі

27 жовтня Google DeepMind представила Genie 4, модель світу, яка симулює, що станеться далі: як реагує середовище і як рухаються та говорять люди. Це не готове відео, а сцена, якою можна керувати просто під час її створення.

Що нового

• Керування текстом: можна змінити погоду, перемістити камеру чи додати людину або предмет. Gemini пристосовує ці команди до сцени.
• Рух: навігація звичайними клавішами для руху та камери.
• Звук: за словами Google, це її перша модель світу в реальному часі, яка сама створює аудіо: музику, фонові звуки й діалоги, що залежать від ваших дій.
• Фізика: симуляція аеродинаміки та зіткнень, а також природніший рух персонажів.

Тестувальники пробують Genie 4 для превізуалізації, прототипів ігор та сценаріїв, а також щоб перетворювати архівні фото на симуляції.

Хто отримає

Це дослідницьке прев’ю для довірених тестувальників. Далі модель має з’явитися для передплатників Google AI Ultra у Project Genie, де є лист очікування, та для партнерів раннього доступу в Gemini API й AI Studio.

Обмеження

Деталі й сталість об’єктів можуть «пливти», особливо під час довгих сесій або після багатьох правок. Google також називає незавершеними складну фізику, точність звуку, читабельний текст і просторову точність. Усе згенероване відео й аудіо містить водяний знак SynthID.