Лицо поет на фото под музыку: программа для iPhone и Android, которая делает это
Слово «дипфейк» уже не удивляет активных пользователей Интернета. И то, что еще недавно казалось шуткой, сегодня кажется интересной и перспективной технологией. Дипфейком мы считаем некий чужеродный персонаж, внедренный искусственным образом в видео-ролик с помощью нейронных сетей и машинного обучения. Но смысл у этого явления намного более широкий.
Так, искусственное состаривание фотографий с помощью FaceApp тоже считается дипфейком. Эта технология постоянно находит новые сферы применения, еще год назад казавшиеся немыслимыми. Если раньше мы удивлялись тому, как оживала старая фотография, то сегодня можно заставить персонаж на снимке петь выбранную песню.
Наверняка вы помните, как в фильмах про Гарри Поттера фотографии на стенах оживали. Это казалось волшебством, пока в Интернете не появились сервисы с подобными возможностями. Снимки прогонялись через нейронные сети, а на выходе появлялся небольшой видеоролик. А ведь двигающийся человек мог жить в те времена, когда и кино снимать-то не умели.
Как анимировать фотографию и научить ее петь?
Приложение Wombo развивает концепцию дипфейка, позволяя не просто оживлять фотографию, но и делать движения персонажа более активными, научив его петь выбранную песню.
Сразу стоит подчеркнуть, что если ваша цель – простая анимация фотографии, то лучше для этой цели выбрать специализированное приложение, к примеру, Deep Nostalgia. Если же нужна именно озвучка впридачу к фотографии, то тогда поможет Wombo. Сервис сам проделает основную работу. От пользователя требуется лишь загрузить фотографию и выбрать для нее композицию из списка.
1. Скачайте приложение Wombo из App Store или Google Play.
2. После запуска программы предоставьте ей доступ к фотографиям на вашем устройстве.
3. Выберите готовый снимок из галереи или создайте новую фотографию для обработки.
Лучше всего подойдут селфи-снимки, где человек смотрит прямо в кадр и по возможности видны зубы. Стоит подобрать максимально соответствующую этому критерию фотографию.
4. Треки для исполнения можно выбрать в самом приложении, пусть песенок и немного, но они отлично ложатся на лицо исполнителя.
5. Просто дождитесь окончания обработки фотографии и ее переформатирования в видео.
The true use of Wombo is posthumously expanding someone’s taste in music. pic.twitter.com/Ur4SlUOV2d
Всегда знала, что пчела из соседнего двора сильная женщина #wombo pic.twitter.com/YudhEnPviN
Уникальность сервиса Wombo очевидна. Мало просто оживлять фотографию – такие сервисы уже не в новинку. Но в данном случае персонажи анимируются по-разному, в зависимости от выбранной для них песни. И стилистика музыки напрямую влияет на манеру исполнения, в итоге она может значительно разниться.
Как работает этот дипфейк?
Говоря о достоинствах Wombo нельзя не упомянуть о ключевой его возможности – поддержке липсинка. То есть происходит не просто анимация фотографии под музыку, но и рот человека открывается четко в такт, словно бы песня действительно исполняется. Достаточно ознакомиться с некоторыми примерами обработки нейросетью даже старинных фотографий, как будет видно различные движения губ и качественное попадание в слова. На некоторых песнях эффект проявляет себя особенно четко.
Пока говорить о качественном результате для всех фотографий и песен сложно – все же это забавный, но эксперимент. Впрочем, подобрав соответствующий снимок, можно добиться и лучшего результата. А представить в виде исполнителя вы можете не только себя или своих знакомых, но и публичные фигуры, политиков, и даже животных, мультперсонажей, скульптуры и другие неодушевленные предметы.
В своем интервью разработчик поведал, что его нейросеть использует созданную заранее хореографию. Команда энтузиастов даже не в студии, а в квартире, сняла базовое видео для каждой песни. После чего на основе этого создалась анимация, накладываемая искусственным интеллектом на выбранный снимок. В приложении пока доступно лишь около 20 песенок. Но как только создатели решат вопросы с авторскими правами, список будет расширен. А вот загрузить и наложить свою песню на фотографию не получится. Это вполне объяснимо алгоритмом работы Wombo.
Уделили разработчики внимание и вопросам безопасности. Пользователей уверяют в том, что загружаемые ими фотографии никуда не передаются и после обработки удаляются. Зато полученным караоке-видео можно поделиться с другими, поможет в этом стандартная функция расшаривания. А самое главное – приложение Wombo абсолютно бесплатное! Зарабатывают его создатели за счет показа рекламных баннеров. И попробовать уникальный дипфейкс-инструмент могут пользователи как iOS, так и Android.
Как сделать поющее фото на Android
Возможности искусственного интеллекта постоянно бьют новые рекорды. Сегодня ИИ умеет превращать статичные фотографии в анимированные, имитировать пение человека, причем иногда ему удается делать это, на удивление, довольно реалистично.
Наверняка многие из вас слышали о таком понятии как «дипфейк» (с англ. deepfake). Уже разобравшись в названии можно приблизительно сделать выводы, о чем идет речь: deep + fake (с англ. deep learning и fake – «глубинное обучение» и «подделка», соответственно).
Дипфейк – методика создания новых изображений и видеороликов компьютером на основе анализа им уже существующих. Для этого используются специальные нейросети, которые делятся на две части. Первая выступает в роли ученика, который должен попытаться подделать исходную фотографию или видео так, чтобы вторая часть («учитель») не смогла отличить его копию от оригинала.
Благодаря этому компьютер учится имитировать различные движения и создавать анимированные фотографии (различные улыбающиеся или поющие лица) и портреты, которые порой действительно бывает тяжело отличить от оригинала и ответить на вопрос: «Это реальное видео или плод труда нейросетей?».
Не так давно мы уже обсуждали похожую тему в статье, где пытались оживить фотографию, сделав из нее анимированное изображение. Сегодня мы попробуем сделать практически то же самое, но с акцентом на конкретный участок фото, хотя и на сегодняшний день в открытом доступе практически нет каких-либо мобильных приложений и сервисов, которые могут похвастаться по-настоящему качественными алгоритмами обработки и способны сделать более менее реалистичное «поющее фото». Однако, благодаря паре неплохих сервисов это все же возможно и довольно нетрудно, как кажется на первый взгляд.
Пользуемся специальными программами
Если рассматривать все платформы, в том числе и десктопные (по крайней мере Windows), то выбор был бы гораздо более широким, но так как мы ищем лучшие сервисы для создания поющего фото именно на Android, то придется довольствоваться скудным «арсеналом».
Оживляющие приложения: поющее лицо, живое фото, анимация
Речь пойдет о приложениях, которые оживляют лица на фото. Самым популярным на данный момент является приложение, где лицо поет и двигается. Как такое возможно? С помощью искусственного интеллекта и нейронных сетей. Подобная технологиях используется и для распознавания лиц и для анимации в киноиндустрии. Теперь она доступна и нам.
Поющее лицо — приложение Avatarify
Самое популярное приложение, где лицо поет называется Avatarify. По-другому его еще называют Оживи селфи. Оно доступно только для айфонов, но без паники — далее расскажу про аналог для Андроид.
Смысл в том, чтобы оживить фотографию — добавить мимику, движение и даже сделать поющее лицо. Оживить можно любое фото, не только себя, но и знаменитость, вашего друга, бабушку или кота. Как?
Шаг 1. Выбираете любой снимок (свое или из предложенных вариантов). Можно тут же сделать селфи через камеру.
Шаг 2. Далее выбираем режим.
Шаг 3. Последнее — выбираем формат и качество. Всё, видео генерируется. Приложение выдает фото с поющим лицом на выходе. Пример:
Очень забавно наблюдать, как бывшая статичной фотография начинает шевелиться, двигаться и петь песню. Особенно, если это твое живое фото. Еще более интересно попробовать оживить несколько лиц.
В бесплатной версии нельзя скачать видео без водяного знака, выбрать высокое качество или сделать длинный видеоролик. Для этого придется покупать премиум. Ну и вновь напомню, что доступно это бесплатное приложение с поющим лицом только для пользователей айфона. Что же делать любителям системы Андроид? Воспользоваться другими оживляющими приложениями, о которых ниже.
MugLife — аналог для Андроид
Это первый аналог для Андроида. В создании анимированного живого фото MugLife практически не уступает Avatarify. Здесь тоже много GIF, которые можно взять за образец. Есть вся палитра эмоций, можно копировать знаменитостей и также выбрать вариант, где лицо поет.
Сам процесс создания оживленного фото практически не отличается от описанного выше. Единственная разница в том, что все делается на основе других снимков и гив-образцов. Вы не можете загрузить собственный пример из видео. Зато здесь можно создавать мемы — то есть накладывать на оживленную фотографию надпись. Можно оживлять статуи, животных и любых других персонажей и делать забавные подписи. Ну и самая крутая функция — можно создавать анимацию вручную:
Сохранить файл можно в нескольких форматах:
И бонус платной версии. В ней доступна ручная анимация фотографии и создание групповых анимированных снимков, где можно оживить несколько лиц — все они поют по вашему желанию. Два этих приложения для анимации стали очень популярны в 2021 году в Тик ток и Инстаграм.
Wombo — приложение где фото поёт
Приложение Wombo позволяет легко делать эффект поющего фото на Вашем устройстве, недавно завирусившегося в тиктоке, инстаграм и других соцсетях.
Актёр известного фильма, напевающий русскую народную песню? Аниме персонаж, исполняющий тяжёлый рок? Легко! Все это можно сделать за несколько нажатий.
Wombo ai
Не так давно на просторах тик-тока появился новый тренд под хэштегом «#поющеефото». В коротких видео известные актёры, политические деятели и мультипликационные персонажи становятся авторами известных хитов. На многих из них в углу можно увидеть незатейливый логотип — wombo.ai.
На сайте можно скачать приложение, оставить свою почту разработчикам для обратной связи или подписаться на обновления программы.
Подробно про нейросеть
Wombo — это мобильное приложение, работающее с помощью нейросети. Искусственный интеллект анализирует фотографию, определяет ключевые точки для создания анимации и заставляет статичное изображение петь.
В приложении Wombo можно:
Само приложение бесплатно, однако пользователи могут оплатить премиум-аккаунт.
Он даёт следующие возможности:
На каких устройствах доступно приложение
Нейросеть Wombo работает на телефонах с новыми версиями операционных систем.
Iphone (IOS)
Установить приложение на Iphone можно абсолютно бесплатно с встроенного магазина AppStore. Для этого перейдите по кнопке ниже или наберите в поисковой строке маркета «WOMBO».
После этого последовательно нажмите на кнопки Free и Install.
Android
Чтобы скачать приложение на Android для создания анимированных фото, перейдите по ссылке ниже или наберите в поисковой строке PlayMarket «Wombo: Make your selfies sing».
Нажмите на кнопку «Установить» и дождитесь конца установки.
Компьютер
Отдельной версии Wombo на ПК нет. Для установки можно использовать специальный эмулятор. Подробно о том, как это сделать, мы описывали в специальной инструкции.
Приложение хорошо оптимизировано, поэтому будет работать без зависаний и лагов.
Как сделать поющее фото с приложением Wombo
Трендовое фото, которое умеет петь, делается по нажатию нескольких кнопок. Разберём этот процесс подробнее.
Загрузка изображения
Анимировать можно как своё селфи, так и скачанную из интернета картинку.
В первом случае делаем фото в соответствии с инструкциями. Силуэт должен вписываться в пунктирную обводку, обозначенную на экране. На лице не должно быть никаких эмоций, иначе итоговый результат исказится. Принимаем нужную позу и нажимаем на кнопку фотоснимка.
Второй вариант — загрузить другую картинку. Нажимаем на значок галереи слева от круга, выбираем снимок и загружаем его в программу. Масштабируем картинку.
Если итоговый результат вас устраивает, нажимаем на зелёную кнопку W под снимком.
Выбор мелодии
Выбираем песню из предложенных. В галерее есть несколько десятков треков — от песен популярных исполнителей до мелодий, ставших популярными мемами. Некоторая музыка доступна только обладателям премиум-аккаунтов (в верхнем правом углу есть логотип W).
Нажимаем на песню и подтверждаем свой выбор с помощью зелёной кнопки «W».
Загрузка видео
После окончания процесса обработки можно любоваться готовым видео.
На экране доступны 3 кнопки:
Видео из караоке-нейросети
С помощью Wombo можно сделать немало смешных и интересных видео для социальных сетей. Можно анимировать свою фотографию или селфи друзей, сделать тренд в тик-токе.
Результат нашей работы представлен на видео ниже.
Есть и другие примеры интересных анимированных снимков.
Скачайте приложение и создавайте весёлые развлекательные видео в несколько нажатий на своём смартфоне.
Animate: оживи свое лицо 4+
Анимируй фото людей под музыку
AI Pictures, Inc.
Снимки экрана (iPhone)
Описание
ПРИЛОЖЕНИЕ #1 ДЛЯ ОЖИВЛЕНИЯ ЛИЦ
Анимируйте лица на любых фото в считанные секунды с помощью Animate! Попробуй оживить свои селфи или повеселись над аватарками друзей! 
Приложение Animate использует самые продвинутые технологии в сфере искусственного интеллекта и позволяет создавать крутой контент абсолютно по-новому!
ТВОИ ЛЮБИМЫЕ ФИЛЬМЫ
Стань звездой своих любимых сцен из кино!
Спой легендарные куплеты!
Сделай из друзей героев популярных мемов!
— You can subscribe for unlimited access to all features and content offered for purchase within Photer.
— Subscriptions are billed monthly, bi-annually or annually at the rate selected depending on the subscription plan. Alternatively a one time payment plan is available (this is not a subscription).
— Subscriptions auto-renew at the cost of the chosen package, unless cancelled 24-hours in advance prior to the end of the current period. The subscription fee is charged to your iTunes account at confirmation of purchase. You may manage your subscription and turn off auto-renewal by going to your Account Settings after purchase. Per Apple policy, no cancellation of the current subscription is allowed during active subscription period. Once purchased, refunds will not be provided for any unused portion of the term.
— If eligible for free trial and you subscribe before your free trial ends, the rest of your free trial period will be forfeited as soon as your purchase is confirmed. Subscriptions will start immediately after free trial ends unless cancelled at least 24 hours prior to the end of the trial period.
Please see the Terms of Use and our Privacy Policy: