XR-ликбез: что происходит с AR, VR и MR и как разработчику занять свое место под солнцем в новой реальности

Тема обширная, поэтому мы посвятили ей две статьи. В первой мы провели краткий обзор XR-технологий и показали успешные кейсы применения AR и VR, а в этой расскажем, на каком этапе развития AR, VR и MR сейчас и какими компетенциями нужно обладать, чтобы стать разработчиком в XR.

Эта статья написана по материалам лекции Алексея Маркина, сооснователя, арт-директора и руководителя XR-направления digital-продакшена JetStyle. Лекция прошла в рамках онлайн-интенсива «А у меня свой проект!», организованного ИРИТ-РтФ УрФУ в Екатеринбурге. Как сказал директор института Илья Обабков: «Очень инженерная лекция, похожая на введение в специальность „VR-технолог“». Как им стать? Передаем слово Алексею!

Давайте сначала прикинем: а зачем нам, разработчикам, вообще связываться с инновациями?

Четыре причины заняться инновацией

Мы как digital-продакшен видим в этом такой смысл: накопить экспертизы раньше других и занять место в еще формирующейся нише.

Когда мы беремся за инновацию?

1. Инновация может принести заказчику выгоду

Это самый короткий путь. Мы смотрим, помогает ли инновация заказчику зарабатывать или экономить прямо сейчас. Если да, то настаиваем на ее внедрении.

2. Новый инструмент лучше старых

Если появился инструмент лучше того, что у нас есть сейчас, и мы предполагаем, что он поможет нам делать какие-то операции дешевле, или ускорить какой-то процесс, или получить ранее недоступные свойства результата, мы его внедряем.

3. У заказчика есть свой интерес

Бывает, мы не особо хотим в какую-то инновацию, но заказчик нас сам в нее ведет, потому что заинтересован успеть первым сделать кейс с этой новой технологией. Зачем? Или для PR-эффекта, или потому что у него есть гипотеза, что это станет конкурентным преимуществом в будущем.

4. Мы загорелись идеей

Чаще всего случается этот вариант, но он и самый дорогой. Нам приходит в голову какая-нибудь гениальная идея, мы думаем, что она принесет золотые горы, — и начинается.

К тому же мы как ИТ-компания занимаемся инновациями, чтобы избежать кадровых проблем — потому что никто не хочет работать в унылой компании. И в целом, если не запасать компетенцию сейчас, то потом будет поздно. Во-первых, потому что компаний, кто делает простое и проверенное, — уже энное количество. Во-вторых, рано или поздно ниша, в которой они работают, схлопнется, и они будут не готовы к тому, чтобы войти куда-нибудь еще. А мы будем!

Мы считаем, что начинать запасать компетенцию нужно сразу, как только начался рост реального использования — то есть технология уже есть, но применимость в бизнесе еще не найдена. И в целом мы технооптимисты. Это значит, что мы рано лезем в тренд и ошибаемся в сроках — думаем, что технология придет раньше. Это приводит к тому, что нам достаются грабли, в которых, как известно, измеряется опыт — и это хорошие новости и для наших заказчиков, и для наших сотрудников.

Кстати, еще один бонус в работе с XR в том, что пока что нет никаких нормативных правовых актов, которые хоть как-то бы влияли на нашу разработку. Государство еще только начинает соображать, что в этой области что-то есть и это можно понормировать. А значит, нам, разработчикам, есть где развернуться.

Что происходит с AR, VR и MR прямо сейчас?

Мы в JetStyle с 2013 года занимаемся виртуальной и дополненной реальностью, исходя из того, что и то и другое — это части того будущего, которое мы будем строить в смешанной реальности. (А рано или поздно мы все так или иначе в ней окажемся — подробнее об этом в наших статьях «8 ключевых вопросов о метавселенных» и «Следующие 8 вопросов о метавселенных».)

Давайте посмотрим, куда катятся эти технологии сейчас и как далеки мы от того будущего, которое рисуют нам техногиганты.

AR переходит в браузер и завоевывает мир

Поляна AR огромна и постоянно растет, потому что смартфон есть у каждого. Создателей контента очень много и становится еще больше, потому что корпорации вкладывают в это деньги. Пока что это исключительно развлекательная и рекламная история, но экономически выгодных сценариев использования дополненной реальности становится все больше.

Сейчас дополненная реальность в телефонах работает на двух основных конкурирующих технологиях: ARKit от Apple и ARCore от Google. Они обе неплохи: ARKit пока впереди по качеству и фичам, но работает только на айфонах, а ARCore догоняет ее за счет более широкого распространения и мультиплатформенности — потому что никто не любит делать одну и ту же работу дважды.

У обеих есть API для standalone-приложений. В этой сфере раньше властвовала Vuforia, но на момент выхода ARKit и ARCore она ушла в корпоративный сегмент и отказалась делать веб-версию, хотя ее трекинг был лучшим. Сегодня Vuforia больше не целится в обычных пользователей и занимается индустриальными решениями, чтобы, к примеру, условный автомеханик мог навести камеру планшета на двигатель и увидеть, как он устроен.

Но поскольку массовый юзер сегодня не хочет устанавливать AR-приложения, ARKit и ARCore ползут в сторону WebAR, то есть AR в браузере — не нужно заранее скачивать приложение, достаточно перейти по ссылке и навести камеру устройства на метку. И если у вас относительно свежий айфон (от 8 и свежее) или относительно свежий андроид, то это удовольствие вам доступно. При этом поляна WebAR уже занята другими ребятами. Когда Vuforia ушла в корпоративный сегмент, появились 8wall и другие разработчики, которые фокусировались исключительно на дополненной реальности в вебе. И 8wall сейчас — один из самых крупных игроков в WebAR.

В VR решена проблема с железом и (почти) с укачиванием

До недавнего времени виртуальная реальность была уделом гиков — маски подключались проводом к компьютеру с отдельной мощной видеокартой и игровой начинкой. Все это, конечно, было классно, но на плато продуктивности так и не вышло, потому что: 1) дорого — 500-600 долларов за проводную маску + 1000 долларов за игровой компьютер; 2) требовало долгих приготовлений для того, чтобы этим воспользоваться — нужно было потратить минимум десять минут на то, чтобы все настроить, распутать провода, разгрести зону трекинга и проч. Не было мгновенного перехода из одного мира в другой. И в таких условиях каждый раз задумываешься: хочу я этой возни сейчас или нет? Кажется, что это маленький барьер, но когда он возникает перед тобой каждый раз, ты выбираешь заняться чем-то другим.

В 2019 году появился Oculus Quest — маска, которая стоит 300 баксов, может работать без дополнительного железа и быть гарнитурой для PCVR без проводов. Эта штука стала пропуском виртуальной реальности в широкие массы.

И если первый Quest по потребительским характеристикам чуть-чуть не дотягивал до статуса вещи для всех (было еще не очень хорошее разрешение экрана и недостаточно мощные собственные мозги), то Oculus Quest 2 (теперь уже Meta* Quest 2) — однозначно первая потребительская VR-гарнитура. Как и в первом «квесте», в ней есть трекинг рук — можно взаимодействовать с ней без контроллеров, но так как мозги мощнее, этот трекинг меньше тормозит. Плюс отличное качество дисплея, высокое разрешение и более быстрый Wi-Fi. Плюс она стоит те же 300 баксов, как и первый «квест», но при этом внутренней памяти в два раза больше. С моей точки зрения, она имеет минимум компромиссов по качеству. (Конечно, есть маски еще круче, но стоят они уже нереальных денег.) И очевидно, что Meta* производит ее по цене существенно более дорогой, нежели продает, а разницу отбивает на контенте. Сейчас Quest 2 находится в конце жизненного цикла, ведь в этом году выйдет Meta* Quest 3.

Если использовать современные маски, то при картинке с частотой 90 Гц и больше от просто нахождения в виаре никого укачивать не будет, 99%. Остаются проблемы, связанные с разной степенью агрессивности локомоушена (перемещения) в виртуальном пространстве.

Если вы используете боди- и хэд-трекинг и синхронно перемещаетесь и в VR, и в реальном пространстве, то диссонанса между тем, что ощущает мозг и видят глаза, нет. Проблема есть только тогда, когда в виаре вы перемещаетесь сильно по-другому, особенно если камера там внезапно поворачивает, а вы — нет. Или когда вы летите и плавно перемещаетесь по криволинейным траекториям, хотя в реальности сидите на месте. Вестибулярный аппарат, конечно, тренируется, но на это требуется время. А наш опыт разработки VR-игр и тестирования на большом количестве пользователей говорит о том, что проблемы из-за агрессивного локомоушена до сих пор есть и решать их надо путем неиспользования агрессивного локомоушена — то есть искать другие способы перемещения в игровом пространстве.

Для кого мы делаем VR сегодня? В России таких заказчиков весьма не густо: государство, крупный бизнес и ретейл. На этом всё. Или совсем крупные ребята, или вообще никого.

Мы же в JetStyle в области XR в основном работаем с зарубежным рынком — список заказчиков там существенно больше как в сфере развлечений, так и в бизнесе. В статье с XR-ликбезом для бизнеса мы подробнее рассказали о том, что и для кого мы делаем сегодня, и показали наши реальные кейсы.

MR — все ждут оптимальный девайс

Рынок железок для MR пока еще изрядно не развился. Текущее состояние электроники и компонентной базы, мощностей автономных процессоров, оптики и экранов по-прежнему — даже в самых лучших образцах типа Microsoft HoloLens 2 — дает посредственный опыт ввиду того, что зона покрытия поля обзора смешанной реальностью весьма и весьма ограничена, как и вычислительные возможности носимого устройства.

Когда у нас в офисе появился первый Magic Leap с его шикарными маркетинговыми материалами и рекламой, мы были удручены, так как кусочек с магией перед глазами оказался размером с почтовую марку. Опыт от этого был очень сильно ограничен.

При этом неожиданно режим Passthrough в Meta* Quest 2, пусть и в виде черно-белого видео, гораздо лучше работает в качестве того, что все бы хотели видеть от устройства смешанной реальности. Потому что в этом случае всё поле твоего зрения является дополненным. Нет такого, что ты видишь часть реального мира, не покрытого аугментацией.

Еще в 2022 году Meta* выпустила профессиональную версию «квеста» — Meta* Quest Pro, которая, конечно, стоит гораздо дороже потребительского Quest 2, но у нее есть цветной Passthrough и камера для трекинга лица, чтобы аватар в каком-то виде передавал эмоции человека.

Благодаря этой маске к нам внезапно быстро приблизился образ того, чего все так давно ждут, при этом на более простом железе, чем предполагалось раньше. Да, мы видим реальный мир через камеры, а не сквозь стекло обычных очков, но такое решение оказалось вполне юзабельным. По крайней мере, для офисной или домашней работы. Ходить по улице в таких очках мы не будем — это слишком киберпанково для большинства людей, для этого разрабатываются более социально приемлемые устройства, например, 2-е поколение волноводной архитектуры Z-Lens от Израильской компании Lumus.

Что касается технологий, то обкатываются они сейчас во многом благодаря AR. Почти в каждом смартфоне есть лидар (обнаружение и определение дальности с помощью света), SLAM (одновременная локализация и построение карты), трекинг тела, одежды, пространства — сейчас это все избыточно и применяется в основном для развлечений. Но если представить, что в определенный момент со стороны технологий все нужное железо будет упаковано в удобные очки, то окажется, что со стороны софта, контента, технологии распознавания и оптики — всё уже готово. Останется найти кейсы эффективности и укоренить это в практике использования.

Это же касается и виртуальной реальности. Например, недавно Meta* показала прототип сенсорной перчатки, которая позволяет человеку ощущать то, что он взял в виртуальной реальности. И это не первый подобный костыль, который нужен, чтобы подготовить нас к очередному технологическому скачку. Теперь мы ждем, когда же этот концепт станет доступен для первых инженерных тестов или появится хоть что-то, из чего можно будет создать свое похожее без очень глубокого RnD.

Кому есть место в новой реальности и как его занять?

Мы подобрались к самой интересной теме — какие вакансии будут появляться в ближайшем будущем в XR-проектах и как стать привлекательным кандидатом. Тут я рассуждаю не только с точки зрения специалиста по технологиям, но и как работодатель — именно таких специалистов с такими навыками я ищу в команду уже сегодня.

Востребованные специальности в XR

Понятно, что XR сейчас — фронтир. Как и в Клондайке, тут нужны два типа людей: продавцы лопат и старатели. С продавцами лопат понятно — это цукерберги и майкрософты, а что же про людей? Какого рода старатели будут востребованы на этой золотой лихорадке в ближайшие 10 лет?

Дизайнеры

Как для веба требуются дизайнеры, так и для метаверса они будут нужны, с одной лишь разницей — для проектирования не плоского мира, а объемного. 3D-дизайнеры, нарративные дизайнеры, UX/UI-дизайнеры, которые продумывают CJM в VR, — аналогия с вебом подозрительно полная.

Процессы будут происходить те же самые, что и в дизайне для веба, который сейчас автоматизируется. Для веба этап, когда требуется талант и мозг, уже пройден, а для метаверса еще нет. Пока это тот же Дикий Запад, который был в вебе 10–15 лет назад, поэтому здесь есть где развернуться человеку.

Фронтендеры

В вебе фронтенд — это верстка. Она, как и дизайн, сегодня все чаще отдается на откуп шаблонизаторам и WYSIWYG-редакторам типа Тильды.

Но даже сейчас видно, что со временем роботы подъедят не только таксистов, но и веб-программистов. В чем можно быть уверенным, так это в том, что работы во фронтенде смешанной реальности хватит на ближайшие 10 лет с лихвой. И знание движков, трехмерки, низкоуровневых API и рендера — это отличная инвестиция в свою привлекательность как программиста на XR-проекты.

Бэкендеры

Если в этой же парадигме говорить про бэкенд, то тут все как всегда: программисты будут нужны еще очень долго. А именно те, у кого есть понимание объектно-ориентированного программирования и кто знает, какие принципы можно нарушить, чтобы все заработало.

Тестировщики

Тестировщик в VR вроде бы то же самое, что тестировщик обычных игр, но нет, там есть свои прихватки, связанные с проблемой сенсорного разрыва (причины, почему в маске может тошнить). То есть тестировщику в VR нужно, помимо прочего, проверить, чтобы то, что человек чувствует в реальности, хорошо сочеталось с тем, что он видит в маске. Отдельная любопытная проблема в том, что, занимаясь этим постоянно, человек прокачивает вестибулярку, поэтому новая важная история в тестировании — это организация потока новичков в VR-тест-зоне.

И никаких революционных специальностей. Пока

Все технологии двигаются поступательно, поэтому чего-то ультрареволюционного, типа программиста нейроинтерфейсов, пока не ожидается.
Например, так как пребывание человека в XR неразрывно связано с его движениями, в тестировании появляются вещи, которые завязаны непосредственно на этом. Тестировать нужно на возможность и удобство использования приложения в разных режимах: сидя, стоя, лежа. Нужно учитывать разные телесные характеристики человека: например, чтобы было удобно как низким, так и высоким пользователям. Ваш ассет, аватар и мир должны выдерживать проверку разными людьми: чтобы любой человек мог дотянуться, куда нужно, чтобы людям лишний раз не пришлось нагибаться, или чтобы у аватара не отрывались руки. Огромное новое поле для экспериментов, исследований и тестирования.

Чему нужно учиться?

Вот какие навыки нужны специалистам, чтобы быть на волне.

1. Теория 3D-графики

Люди, которые делают только 2D-казуалки, — это не те, кто нужны в будущем. Для работы в проектах смешанной реальности полезно знать, как устроена 3D-графика, владеть каким-нибудь пакетом по созданию 3D (например, Blender) и уметь работать с мешами, текстурами, материалами и светом.

2. Оптимизация графики

Необязательно знать кишки OpenGL, но необходимо понимать, как устроена низкоуровневая 3D-графика, как работает видеокарта, основы рендера. Если вы будете знать API конкретного движка типа Unity или Unreal, понимать особенности того или иного рендер-пайплайна, то вы всегда будете в шоколаде.

3. Программинг

Я не призываю изучать все тома Кнута, а вот принципы SOLID, а также (сюрприз!) геометрия и векторная алгебра — это те вещи, которые точно будут очень полезны при трудоустройстве core-программиста на 3D- и VR-проекты.

Где этому учиться?

С профессиональными книгами здесь туговато, потому что скорость, с которой они пишутся, не совпадает со скоростью, с которой развиваются технологии. Поэтому полагаться в обучении на книги просто не получится.
Документация всегда поддерживается в актуальном состоянии, она детализированная. Только нужен английский язык.

А какой арсенал нужен, чтобы разрабатывать проекты с XR?

Поляна производителей оборудования сейчас не очень большая:

1. Есть Meta* Quest 2, который как потребительская железка, по-моему, всех обыгрывает. Если у вас совсем небольшой бюджет, то для разработки можно обойтись только им.

2. Есть Pico (Neo 3 Pro и 4) — тот же второй «квест», только без инфраструктуры Meta*. Эти ребята целятся сразу в корпоративный сегмент. Хорошая машинка для бизнеса.

3. Есть HTC Vive — наиболее популярный вариант для бизнеса. Эта гарнитура вышла первой и первая же приспособилась к нужным именно бизнесу задачам. Еще есть HTC Vive Cosmos, который тоже фокусируется на бизнес-пользователях.

4. Windows Mixed Reality — еще одна вариация пункта 3, но от Microsoft и менее заточенная под корпоративный рынок. Например, наш VR-райд для башни A’DAM сделан под HP Reverb G2.

Есть и гораздо более дорогие железки (например Pimax и Varjo), но они вообще не для всех — так как к дорогой железке нужен еще и очень дорогой компьютер, а также понимание, зачем вам все это. Всё остальное — подвариации. Необязательно иметь под рукой все — можно начать с двух-трех железок.

Что касается нашего XR-продакшена, то у нас в отделе VR-разработки очень много оборудования:

• десять Meta Quest 2 (только гляньте, какие красавцы),

• два Oculus Quest 2,

• WinMR Acer,

• Oculus Rift S,

• HP Reverb G2,

• HTC Vive + TP Cast,

• четыре HTC Vive,

• всякая устаревшая 3DoF-мелочевка типа Oculus Go, Vive FOCUS и так далее.

Наш парк устройств сформировался по мере работы над очень разными XR-проектами: VR-тренажеры, LBE VR-игры, VR-райды, WebVR-сайт с экскурсией по памятнику архитектуры и т. д. Все наши главные кейсы — на странице JetXR.

В общем, если вы хотите повариться во всем этом как разработчик и в описании специалиста будущего узнали самого себя — пишите на jobs@jetstyle. ru.

А если вам нужен XR и вы хотите поговорить об этом — напишите мне в телеграм @alexnashzemlyak или на почту alex@jetstyle. ru.

Ну и, если есть вопросы и комментарии, пишите. Всем отвечу!