Я Капитан Америка, у всех истерика: как Likee сделал интеллектуальные эффекты в комикс-стиле

Машинное обучение и искусственный интеллект оккупируют приложения для создания коротких видео. Раньше технологии ИИ работали только в лентах рекомендаций для предложения интересных видео пользователю. Теперь они покушаются на святое: спецэффекты.

Likee в августе выпустил целый набор таких эффектов — ComicBeats. Он переносит пользователей на страницы комикса, сохраняя при этом их мимику и черты лица в мультяшном образе. О том, как компания пришла к такой идее и какой потенциал у технологии — в нашем материале.

В этой статье

Почему искусственный интеллект

При всём многообразии масок и эффектов в приложениях для коротких видео у них есть серьёзный недостаток. Они не умеют полноценно распознавать мимику и черты лица пользователя. Большинство эффектов работает по технологии мэппинга: программа определяет расположение глаз, рта, ушей и на основе этих данных обрабатывает изображение.

Такие маски создать сравнительно просто, но они выглядят одинаково на любом человеке. Мы поняли, что если мы хотим продолжать повышать качество эффектов на платформе — нужно решить эту проблему.

Продвижение медцентров и клиник: три кейса о SEO, TikTok и Instagram*

Как получить измеримые результаты в фарммаркетинге.

Показываем на примерах →

Спецпроект

Помочь в таком деле способен только искусственный интеллект, который сможет не просто накладывать изображение на лицо человека, но в реальном времени обрабатывать материал с камеры и превращать в совершенно новое произведение, сохраняя индивидуальность пользователей.

Его преимущество ещё и в том, что научиться создавать такие произведения ИИ может сам. Для этого просто необходимо загрузить датасет — изображения, на основе которых будет сгенерирован эффект. Так расходы на отрисовку сокращаются, а пользовательский опыт на смартфонах улучшается.

Как мы пришли к американским комиксам

Новую технологию решили опробовать на комиксах. Мы провели исследование и поняли, что фильтров этой тематики на рынке коротких приложений нет. Самой близкой к ней оказалась маска на основе манга, но она была не очень качественной и страдала все той же «детской болезнью»: не подчёркивала индивидуальность пользователей.

Тогда мы решили сосредоточиться на американских комиксах: их почти столетняя история от так называемого Золотого века до современности вдохновила десятки высокобюджетных картин, а фирменный стиль рисовки поп-арт ни с чем не спутаешь. Так родилась идея создать набор эффектов ComicBeats.

Как мы создавали искусственный интеллект

На то, чтобы создать систему искусственного интеллекта для такого эффекта, ушло всего восемь недель. Причём алгоритмическую часть написали за месяц. В проекте принимали участие 15 инженеров, среди которых специалисты по движку нейронной сети, тренировке моделей и дорожной карте разработки. Перед ними стояли три основные задачи.

Научить нейронную сеть создавать изображения в заданном стиле, сохраняя мимику и черты лица пользователей.
Максимально улучшить пользовательский опыт.
Оптимизировать работу системы ИИ для работы на устройствах любой мощности.

Как раз оптимизация оказалась одним из главных вызовов. Likee — очень популярное приложение: им пользуются миллионы людей на разных смартфонах. А у разных смартфонов разная мощность процессора. Чтобы эффект не «глючил» даже на самых слабых моделях, мы применили каскадную нейронную сеть. Это система из нескольких нейронных сетей, каждая из которой анализирует результат предыдущей и изначальные данные. Также используется фильтрация изображений. Это позволило снизить нагрузку на процессор устройства. Мы разрабатывали примерно 50 моделей таких сетей в день и тестировали их на устройствах всех уровней.

Финальная версия эффекта работает даже на смартфонах с самым слабым «железом» — с частотой 5 кадров в секунду. Этой частоты достаточно, чтобы применить эффект и сделать несколько снимков.

Ещё одним вызовом оказалась настройка ИИ для того, чтобы конечный продукт сохранял индивидуальность пользователя, а не перебивал её самим эффектом.

Первые вариации нейронной сети работали невпопад: они красили губы мужчин в ярко-красный цвет, а женщинам дорисовывали усы. Финальная версия видит черты лица и мимику пользователя и работает с ними. Она определяет не только расположение глаз, но и их разрез; цвет кожи и одежды, пол.

На основе этих данных нейросеть уже успела создать более 500 тысяч уникальных изображений в стиле американских комиксов. Это стало возможным благодаря последовательному обучению: мы генерировали всё больше и больше моделей, пока ИИ окончательно не понял, что от него требуется.

Для того, чтобы система работала быстро и качественно, искусственный интеллект научили итерированному моделированию. Оно позволяет программе анализировать промежуточные результаты своей работы и вносить изменения, опираясь на датасет (то есть на комиксы, которые мы ему показали в самом начале работы).

Кроме того, в ИИ вложили функцию компьютерного зрения. Эта технология захватывает выражение и черты лица, расположение рук и перемещение в кадре. Наш ИИ работает с ней в два этапа: сначала он обнаруживает движение, а потом следит за ним.

Чтобы начать обучение, нам пришлось вручную провести исследование более 100 тысяч документов: комиксов от Золотого Века до современности. Они и стали основой датасета. Первой задачей новой системы стала категоризация: прежде чем научиться рисовать американские комиксы, ей необходимо было определить, какие ключевые элементы есть у этого стиля.

После анализа исходников нейронная сеть определила, что у всех примеров есть несколько общих элементов: например, вольные мазки кистью и точки Ben-Day (специальная техника нанесения точек голубого, пурпурного, жёлтого и черного цвета, использовавшаяся для удешевления создания дополнительных оттенков). Объединив эти знания и готовый ИИ, мы получили первый комплект эффектов на основе искусственного интеллекта — ComicBeats.

Как мы применили технологию

В ComicBeats входят три эффекта.

1. Comic Transfo

Этот эффект использует ИИ, чтобы идентифицировать лицо лайкера и «стилизовать» его под комикс, как только заметит в кадре раскрытую ладонь. И пользователь, и обстановка вокруг него преобразятся под аутентичный стиль американских комиксов.

2. Comic Star

Эффект активируется по другому жесту: кивок переместит вас на страницы комикса, а над головой появится стикер с реакцией в стиле поп-арт. Стикер можно выбрать самому и поменять прямо во время записи видео.

3. Comic Poster

Суть применения эффекта — в названии: он делает из снимка идеальный портрет в стиле поп-арт. Для его применения достаточно улыбнуться: алгоритм это распознает и превратит картинку на смартфоне в стильный постер.

Что по результатам

Эффекты стали доступны в Likee в конце августа. Только за месяц ими воспользовались более 400 тысяч пользователей, создав более 510 тысяч роликов. Их посмотрели более 34,6 миллионов человек, всего более 130 миллионов раз. По российскому хэштегу #ГеройКомикса перешли более 4 миллионов раз. Своими роликами в стиле поп-арт поделились ведущие российские артисты: Rauf и Faik, RASA.

Понятно, что главный продукт разработки — всё-таки не набор эффектов, а сама технология искусственного интеллекта. На её основе можно генерировать бесчисленное количество фильтров и масок. И процесс создания эффектов с каждым разом будет занимать всё меньше времени.

Например, если захочется сделать фильтр в стиле гжель, в нейросеть нужно будет просто загрузить достаточное количество первичных документов: картин, изображений тарелок, обложек книг, чтобы она вывела закономерности, свойственные этому направлению в искусстве.

Мы верим, что наша технология станет новым стандартом индустрии, потому что она открывает новые возможности не только для пользователей самого Likee, но и для маркетологов. Эта система значительно удешевляет создание качественных эффектов. Кроме того, система постоянно развивается: в ближайших обновлениях мы планируем добавить распознавание второго человека в кадре.