Анна Теплицкая

Deepfake и танцы: ИИ станцует на видео за вас

Даже если вы совсем не умеете танцевать, ничто не помешает вам создать видео, которое будет свидетельствовать об обратном. В этом поможет искусственный интеллект.

Искусственный интеллект становится очень способным инструментом, когда дело касается манипуляций с видео. Наиболее ярким примером является замена лица на роликах или Face-swapping. А последней находкой стал танцевальный дипфейк — программа использует ИИ, чтобы считывать чьи-то танцевальные движения, копировать их и «накладывать» их на другого человека.

Четверо исследователей из Калифорнийского университета Беркли опубликовали документ, в котором рассказали о том, что их система состоит из нескольких дискретных частей. В первую очередь записывается видео с человеком, на которого будет накладываться танец. Затем подпрограмма превращает его тело в фигурку из палочек вместо рук/ног/тела. Для получения качественного результата понадобится около 20 минут записи со скоростью 120 кадров/сек. После берут исходное видео, из которого нейронная сеть захватывает движения, передает их на фигурку из палочек, а затем уже и на целевое видео.

На видео показано, как легко девушка повторяет движения популярного дабстеппера Маркуса Скотта и других профессиональных танцоров. Выглядит потрясающе

При этом, система не так проста, как может показаться на первый взгляд. Например, есть специальная подпрограмма, которая сглаживает движения танцоров, чтобы избежать рывков, и отдельная нейронная сеть с повторным отслеживанием лица для обеспечения наибольшего реализма.

Конечно, есть и ограничения. Например, сеть не способна моделировать свободные ткани, поэтому человеку на целевом видео необходимо надевать облегающую одежду. Также пока существуют визуальные аномалии — ИИ еще не может воспроизводить все сложные движения.

Система может использоваться для моделирования всех стилей — от современного танца до балета.
Система может использоваться для моделирования всех стилей — от современного танца до балета.

Тем не менее, работа впечатляет. Всё, что потребуется для фейкового видео с вашими впечатляющими танцевальными па — это исходный ролик и правильное программное обеспечение ИИ. Главное не задумываться, что технология, подобная этой, может сделать в дальнейшем с видеодоказательствами.