Katerina Key
Автор Hype.ru, перфекционист и зануда

Новая функция в YouTube Stories позволяет легко менять фон в фото и видео

Похоже, что в Google знают, как люди любят обманывать, показывая, что они сейчас на Луне, или заставляя думать, что в данный момент на дворе ночь, а не день. Правда, все эти забавные махинации не будут очень сложными, если вы находитесь на фоне зеленого экрана в киностудии. Но разработчики Google смогли сделать то, что может любой хороший кодер в 2018 году: создать нейронную сеть, которая позволит без проблем менять фон.

Инструмент под названием «Видеосегментация» уже начал появляться в YouTube Stories на ограниченном числе мобильных устройств. Если у вас уже есть возможность менять фон фото и видео, то можно вас поздравить — вы попали в бета-тестирование!

Чтобы распознать, где заканчивается передний план и начинается фон, раньше требовалась либо камера, чувствительная к глубине снимка (например, фронтальный модуль на iPhone X), либо надо было потратить на обработку много времени (и заряда аккумулятора). Ведь на простом смартфоне со стандартным RGB-изображением заменить фон не так-то просто. И если с неподвижным изображением еще как-то можно справиться, то с видео всё обстоит гораздо сложнее — система должна считывать картинку как минимум 30 раз в секунду.

Инженеры Google восприняли это как вызов и создали сверхточную архитектуру нейронной сети, обучая ее с помощью тысяч вариантов различных изображений. Сеть научилась выделять общие черты головы и плеч, и при помощи ряда оптимизаций снизилась загрузка процессора. Хоть это и можно назвать уловкой, но видеосегментация происходит таким образом, что результаты предыдущих действий используются как заготовка для следующих, а это еще больше снижает загрузку устройства.

В качестве результата мы получаем быстрый и относительно точный механизм сегментации, который работает достаточно оперативно, чтобы использоваться в видеоролике: 40 кадров в секунду на Google Pixel 2 и более 100 кадров в секунду на iPhone 7 говорят сами за себя.

Источник: TechCrunch

Один хлопок? Или же бурные овации? Хлопая больше или меньше, вы показываете, какой пост действительно чего-то стоит.
Katerina Key Автор Hype.ru, перфекционист и зануда
Комментарии