Компания Puppets.World разработала одноименное приложение для анимации фотографий, картин и рисунков с помощью алгоритмов искусственного интеллекта (AI/ML).
Портрет, загруженный пользователем в приложение, повторяет слова и мимику человека в видео.
Приложение Puppets.World позволяет анимировать «марионетку» — фотографию человека, картину с портретом, рисунок от руки, изображение мультипликационного персонажа, благодаря применению алгоритмов искусственного интеллекта. Для этого нужно записать видео, которое будет использоваться для «оживления», выбрать «марионетку» и нажать кнопку “Puppet”. Система генерирует ролик, на котором «цифровая марионетка» повторяет слова и мимику пользователя на исходном видео.
Puppets.World можно скачать в App Store и использовать совершенно бесплатно. Для создания роликов длиной больше 30 секунд рекомендуется приобрести PRO-минуты (PRO minutes). Это ускорит процесс генерации нового видео, улучшит качество, позволит удалить маркировку Puppets.World и рекламу.
Технология, разработанная компанией, уникальна и принципиально отличается от процесса «морфинга», который используется в так называемых deepfake-приложениях ReFace и FaceApp, применяющих нейронные сети для модификации лица на исходном видео знаменитости так, чтобы оно приобрело черты пользователя. В итоговом ролике модифицированное лицо повторяет мимику знаменитости. Puppets.World применяет тот же класс нейронных сетей — Generative Adversarial Network (GAN), но подход к созданию видео отличается.
Существующие технологии, которые используются для создания и анимации персонажей в видеоиграх и фильмах, основаны на методе “body tracking”. Они подразумевают применение датчиков отслеживания движений и многочисленных сенсоров, закрепленных на теле актера. Технология Puppets.World делает возможным воспроизведение мимики без сложных компьютерных систем и дорогостоящего студийного оборудования.
«Puppets.World создает карту черт лица и отслеживает, как они меняются и двигаются на исходном видео, затем транслирует эти данные марионетке, заставляя её повторять слова и мимику. Мы не генерируем новое лицо, не используем морфинг. По сути, мы оживляем портрет», — объясняет Александр Гунин, со-основатель и технический директор Puppets.World.
«Полученная анимированная марионетка — это Digital Human (цифровой человек) с начальной степенью автономности. Вскоре цифровых марионеток можно будет анимировать по записи голоса, а затем и просто с помощью текста. Цифровые клоны (Digital Clone) — следующая ступень эволюции цифровых людей. Они будут изучать привычки, поведение и предпочтения пользователя, и действовать от его/её лица. Digital Human с высокой степенью автономности через 15-20 лет начнут обретать когнитивные способности и динамически меняющуюся самостоятельную личность, основанную на собственном «жизненном” опыте», — говорит Светлана Рагимова, директор по маркетингу Puppets.World.
«Наше приложение создано для индустрии развлечений и медиа. Его могут использовать профессиональные блогеры и обычные пользователи. Но потенциал технологии намного больше. Она может применяться в различных сценариях и отраслях: в маркетинге и рекламе, образовательных сервисах, контактных центрах банков и ритейлеров. Наша система пригодится для локализации кинофильмов. Например, при переводе с английского на русский, движения губ актёра и выражения лица в идеале тоже должны меняться. Это можно делать автоматически с помощью наших алгоритмов», — говорит Леонид Шейба, основатель и генеральный директор Puppets.World.
О компании
Puppets World Inc. — компания из Кремниевой Долины, основанная опытными предпринимателями и экспертами в разработке программных продуктов с применением AI/ML, которые больше двадцати лет успешно работают в ИТ-индустрии. Леонид Шейба — основатель и генеральный директор Puppets World Inc., Александр Гунин — технический директор. Компания намерена сделать вклад в эволюцию Digital Humans и занять лидерские позиции на этом рынке.
