«Мы сами не ожидали такого хайпа». Как петербуржцы прорубили «окно» в дополненную реальность (фото, видео)

Петербургская студия первой в мире использовала дополненную реальность на уличном фестивале света. Сейчас она готовит новый проект к Фестивалю цветов на День России.

С 11 по 13 июня в Петербурге пройдет Фестиваль цветов. Его кульминационным днем станет 12 июня — День России. Благо день будет выходным, на Невском проспекте перекроют движение, открыв дорогу настоящему цветочному карнавалу. А уже на нем, помимо бессчетного количества цветов, найдется место чудесам виртуальным — в дополненной реальности, которая будет доступна каждому обладателю смартфона. Что и где можно будет увидеть – «Фонтанка» спросила у креативного директора студии Haptic.Team Марии Кобяковой.

- Мария, правда, что ваша команда первой в мире применила технологию дополненной реальности во время мэппинга?

– Да, это правда. Впервые мы начали заниматься этой технологией на Фестивале света в Гатчине. Подобные проекты – очень сложная для дополненной реальности среда, поэтому обычно у светодизайнеров, художников даже не возникает идеи попробовать использовать на фестивалях света эту технологию.

- Чем эта среда сложная?

– Темно. А телефону нужно понять, где он находится, чтобы поставить 3D модель или спроецировать какую-то сцену. Дополненная реальность ведь как работает: используя фотокамеру телефона, сканирует помещение или местность, выбирая якорные точки, куда можно позиционировать модель. И по этим якорным точкам происходит треккинг модели. Телефон понимает: ага, вы близко с этой моделью, значит, она должна быть большой. Или: вы далеко от этой модели, значит, она должна быть маленькой. Поэтому для фестиваля «Ночь света в Гатчине» в августе 2018 года мы сделали светящиеся метки, которые человек мог отсканировать, и именно на них позиционировалась наша сцена.

- Что вы тогда показывали?

– Мы сделали световые порталы, состоящие из световых трубок. Собрали из них три «гнезда», которые висели над головой у зрителя. И в центре светового гнезда была расположена метка. Человек мог скачать приложение, навести телефон на эту метку, и открывался портал: на него спускались медузы, ветви деревьев… Ну и плюс играла музыка. На инсталляцию ты смотрел снизу вверх — это было уникальное решение, которое классно сработало на привлечение зрительского внимания. Люди обычно не любят скачивать приложения: страшно, да и места в телефоне нет. А тут, когда сначала мы встали и начали смотреть куда-то на небо, к нам стали подходить люди – интересовались, загорались желанием скачать приложение. И скоро уже стояла толпа народа, которая смотрела в небо.

- Сколько человек у вас в студии?

– Двенадцать, но именно дополненной реальностью и виртуальной занимается шесть.

- И как давно она существует?

– Изначально мы не были студией, мы были просто командой художников, которые захотели поучаствовать в фестивале «Ночь света в Гатчине». Мы заняли первое место, и нам выдали грант, на деньги которого мы арендовали мастерскую. В декабре мы ее арендовали, и это стало днем рождения нашей студии. И совсем недавно мы решили полностью уходить в дополненную и виртуальную реальность, хотя изначально у ребят была цель просто создавать какие-то элементы искусства, инсталляции.

- Кто члены вашей команды?

– Два моделлера, есть девушка-архитектор, есть девушка-иллюстратор, программист, два саунд-дизайнера, которые пишут музыку, и я как руководитель.

- А вы из какой профессии пришли в эту область?

– Я светодизайнер. Освещала здания, мосты, внутренние помещения. Моя профессия – архитектурная подсветка. В Питере у меня совсем немного проектов – это здание бизнес-центра на Лесной, ряд отелей. Для Москвы много чего делала, например, архитектурное освещение Большой Лубянки. Собственно, из-за этой профессии я и хотела поучаствовать в фестивалях света и не задумывалась о том, чтобы заниматься дополненной реальностью. Для меня это была абсолютно новая технология. Так вышло, что инсталляции сейчас не очень кого-то интересуют, а вот именно виртуальная реальность и дополненная — то, из-за чего к нам стали приходить клиенты. Мы сами не ожидали такого хайпа. Если бы мне в сентябре сказали: «Маш, ты будешь руководить IT-студией и делать проект для виртуальной реальности» — я бы не поверила.

С другой стороны, это творческая область, и мы стараемся задействовать разных специалистов. Если это архитектор, почему бы ей не творить в виртуальной реальности? У нас есть очень интересная девушка-архитектор Элина Зазуля. Когда она защищала диплом, ей сказали, что ее архитектуру невозможно воплотить в реальной жизни: это совершенно сумасшедшие здания, это даже уже не Заха Хадид, а нечто нереальное, и сейчас нет технологий, чтобы такие здания строить. И я ей предложила перенести ее архитектуру в виртуальный мир.

- Насколько вообще масштабными могут быть ролики в дополненной реальности?

– Во-первых, ограничения накладывает память телефона: чем более сложная модель — персонаж, объект, – и чем их больше, тем больше будет весить приложение. Можно сократить, если модели загрузить на сервер: телефон будет выходить в Интернет и получать эти модели. Но если сцена будет весить 2 гигабайта, для мобильного интернета это тоже очень тяжело. Поэтому показать что-то очень сложное, гигантские города сейчас пока что невозможно. Обычно мы стараемся выделить памяти на приложение 300 мегабайт – пользователь сможет скачать такое приложение, не ворча и не удаляя ничего из своего телефона. Но вот, например, приложение для Эминема, который делал дополненную реальность для своего концерта, весило уже 1 гигабайт, и люди не очень хотели его качать. Но там выходил огромный Эминем, запускал ракеты в небо, и пользователь мог видеть это в режиме реального времени со своего телефона.

- А когда было это шоу?

– Это было первое шоу в дополненной реальности, оно прошло в конце апреля прошлого года.

- Совсем недавно!

– Да, это в принципе новая область. Когда мы только начинали заниматься этой технологией, документации даже почти не было, уроков не было, – мы сами учились методом проб и ошибок.

- Вы где-то за границей видели подобные шоу?

– Мы просто придумали идею. Потом начали искать аналоги и подумали: интересно, почему никто никогда не делал такого шоу, в чем проблема? Мы начали этим заниматься в начале прошлого апреля, искали информацию, и в конце апреля появилось это шоу с Эминемом. Проблема в том, что технология очень сырая, и даже у Эминема шоу работало нестабильно. Точки сканирования работали ненадежно, модель уезжала или телефон не понимал, куда его позиционировать. Эти проблемы еще пока не решены, и сейчас делать полноценное шоу с дополненной реальностью очень тяжело, и хороших примеров очень мало. Да и на самом деле наша технология очень сырая и работает нестабильно. Опять же, вопрос с синхронизацией: как заставить всех людей достать телефоны и в определенный момент что-то отсканировать?

- Приложение, что я устанавливала для фестиваля «Чудо Света», в моем смартфоне обновилось на Фестиваль цветов. Я правильно понимаю, что вы сейчас используете одно приложение на все мероприятия?

– Для города мы сделали одно приложение, которое постоянно обновляем. Так удобнее для того, чтобы людям не требовалось постоянно скачивать новые: одно обновилось — и классно, это еще и реклама, что в городе проходит новый фестиваль, можно прийти посмотреть. Другие клиенты хотят отдельные приложения со своим дизайном.

- Как вы рисуете или снимаете то, что будет появляться у людей на экранах?

– У нас есть концепт-художник, который придумывает образ, рисует иллюстрацию, скетчи и объясняет на словах, что он хочет сделать. Потом в работу включаются моделлеры, которые это оцифровывают, создавая трехмерную модель. Потом приходят аниматоры, и они анимируют персонажей: придумывают, как они будут двигаться, может быть, говорить, рассказывать историю. А дальше это дело переносится в компьютерный движок. И этим уже занимается программист.

- А как вы передаете движение персонажей? Сейчас в студиях на съемках мультфильмов часто используют датчики, которые закрепляют на теле актера.

-Моушен-треккинг — дорогая технология, мы пока до нее не доросли, но я думаю, что скоро к ней обязательно обратимся. Пока что у нас не было персонажной анимации: у нас статичные образы или мы используем купленные модели, либо сами их анимируем. «Поднимаем руки» персонажу, можем «подвигать ножками». Существует много инструментов, которые позволяют это делать просто и быстро, не рисуя каждый кадр. Но по сути это работает так же, как анимация.

- Что вы сейчас делаете для Фестиваля цветов?

– Там у нас будет совсем небольшая инсталляция на стендах с цветами. Мы разместим на мольбертах метки, и дальше любой человек, который скачал мобильное приложение, сможет навести свой смартфон на эти метки и перед ним откроется портал. Он увидит сказочные миры, из которых на него вылетят драконы, птицы, распустятся цветы.

- А если подробнее?

– Порталов будет три. В одном — сказочный замок: ты сможешь нажать на этот портал, призвать дракона, и дракон вылетит на тебя. Второй портал связан с Японией: ты увидишь пейзажи этой страны, гору Фудзи, будут летать лепестки сакуры, сможешь нажать на котиков, которые машут лапой. Потом на тебя будут вылетать лотосы в мыльных пузырях, которые можно лопать пальцем. И третий портал — стенд, состоящий из цветов, и кит: мы решили сделать фрагмент океана, в котором будут плавать киты, различные рыбы, медузы, и там тоже будет небольшой интерактив: можно будет «зажигать» рыбок, которые будут флюоресцировать.

- Любой аттракцион быстро выходит из моды. Раз посмотрел – и надоело. Какой вы видите в будущем смысловую нагрузку дополненной реальности?

– Может быть, дополнительная информация, если мы показываем мэппинг про исторические события. Можно добавлять какие-то сноски: хочешь — зайди почитай, чтобы не грузить фасад. Или какой-то интерактив для взаимодействия: допустим, ты можешь нажатием пальца запустить салют или сделать мэппинг «под себя» и управлять фасадом на своем телефоне. Такие вещи интересны. Но я не уверена, что дополненная реальность во время мэппинга будет нести образовательную часть: мы говорим все-таки о шоу, люди приходят отдохнуть и развлечься. Есть другая область применения — образовательные проекты. И для них новые технологии — это классный шанс привить молодежи тягу к науке. Мы такими проектами тоже занимаемся – когда ты в дополненной реальности можешь показать физические и химические эксперименты, которые в реальной жизни сделать не можешь. Например, эксперименты с радиацией. Или проиллюстрировать какие-то сложные законы физики. Мы сейчас делаем похожие проекты для школ и пытаемся с помощью телефона объяснить детям природу вещей.

Беседовала Алина Циопа, «Фонтанка.ру»