Содержание
Дополненная реальность – одна из многих технологий взаимодействия человека и компьютера. Ее специфика заключается в том, что она программным образом визуально совмещает два изначально независимых пространства: мир реальных объектов вокруг нас и виртуальный мир, воссозданный на компьютере.
Новая виртуальная среда образуется путем наложения запрограммированных виртуальных объектов поверх видеосигнала с камеры, и становится интерактивной путем использования специальных маркеров.
Дополненная реальность уже много лет используется в медицине, в рекламной отрасли, в военных технологиях, в играх, для мониторинга объектов и в мобильных устройствах.
Основа технологии дополненной реальности – это система оптического трекинга. Это значит, что «глазами» системы становится камера, а «руками» — маркеры. Камера распознает маркеры в реальном мире, «переносит» их в виртуальную среду, накладывает один слой реальности на другой и таким образом создает мир дополненной реальности.
Существуют три основных направления в развитии этой технологии:
«Безмаркерная» технология AR
«Безмаркерная» технология работает по особым алгоритмам распознавания, где на окружающий ландшафт, снятый камерой, накладывается виртуальная «сетка». На этой сетке программные алгоритмы находят некие опорные точки, по которым определяют точное место, к которому будет «привязана» виртуальная модель. Преимущество такой технологии в том, что объекты реального мира служат маркерами сами по себе и для них не нужно создавать специальных визуальных идентификаторов.
AR технология на базе маркеров
Технология на базе специальных маркеров, или меток, удобна тем, что они проще распознаются камерой и дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо надежнее «безмаркерной» и работает практически без сбоев.
«Пространственная» технология
Кроме маркерной и безмаркерной, существует технология дополненной реальности, основанная на пространственном расположении объекта. В ней используются данные GPS/ГЛОНАСС, гироскопа и компаса, встроенного в мобильный телефон. Место виртуального объекта определяется координатами в пространстве. Активация программы дополненной реальности происходит при совпадении координаты, заложенной в программе, с координатами пользователя.
Стараясь исключить технологические риски и обойти проблемные моменты, при разработке прототипа программного комплекса, мы остановили свой выбор на надежной и проверенной маркерной технологии дополненной реальности.
Так же, использование маркерной технологии имеет дополнительные преимущества в плане внедрения в методическую часть наглядных печатных материалов, используемых в общеобразовательных учреждениях при изучении конкретной темы и проведении практических работ по ней.
Примеры приложений с AR технологиями
Складской учёт с дополненной реальностью
Руководство пользователя с дополненной реальностью
Раскраски с дополненной реальностью
Маркерная AR навигация внутри помещений
Мобильный образовательный комплекс
Промо-приложение и брендирование сок "Добрый"
Живой печатный учебник
Живая полиграфия с AR
Визуализация скрытых объектов
Оборудование для AR технологий
Для работы с технологией дополненной реальности обязательно необходимы следующие компоненты:
- Графическая станция. Это может быть мобильный телефон, ноутбук, персональный компьютер, графическая рабочая станция с профессиональной видеокартой. Одним словом, компьютер.
- Дисплей. Экран телефона, телевизор, монитор, моно или стерео дисплей, проекционный экран.
- Камера. Благодаря камере мы получаем «слепок» реального мира, на который специальное программное обеспечение накладывает виртуальные объекты.
- Метки, или маркеры.
- Программное обеспечение. Математические алгоритмы, которые позволяют камере увидеть и распознать метку (маркер) в окружающем пространстве, а затем определить, какая именно модель программно «привязана» к метке. И, наконец, «положить» эту модель на метку таким образом, чтобы виртуальный 2D или 3D объект повторял любое движение реальной метки.
Технология дополненной реальности это, в основе своей, программное обеспечение. То есть это специальные математические алгоритмы, которые связывают камеру, метки и компьютер в единую интерактивную систему.
Основная задача системы – определить трехмерное положение реальной метки по ее снимку, полученному с помощью камеры. Процесс распознавания происходит поэтапно. Сначала снимается изображение с камеры. Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона – рамки метки. Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача – определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы – построить виртуальную 3D модель в двухмерной системе координат изображения камеры. И привязать ее к метке.
После этого, как бы мы ни передвигали метку в реальном пространстве, виртуальная 3D модель на ней будет точно следовать за движением метки.
К сожалению, маркерная технология, как и любая другая технология, имеет ряд возможных проблем в работе с метками. Бывает, что при движении метки объект может «соскочить» с нее или вовсе исчезнуть с экрана. Это означает, что камера просто перестала «видеть» метку. Есть пять основных причин для этого.
Первое, в чем может заключаться проблема, это освещение. Затемненная зона, слишком яркое направленное освещение, лампа дневного света, светочувствительность камеры, — все эти параметры напрямую влияют на уровень распознавания метки.
Вторая проблема – это расположение реальной метки в пространстве по отношению к камере. Поскольку камера должна четко и целиком видеть рамку метки, она не сможет распознать ее, если метка будет под наклоном или если область рамки будет закрыта, например, рукой. Еще одна причина – слишком быстрое перемещение метки из стороны в сторону. Большинство любительских камер просто не успевает отследить ее перемещения по частоте кадров в секунду и «теряет» метку вместе с моделью.
Если первые две сложности легко устранить, просто следуя инструкции по применению, то есть и третья, более серьезная проблема. Она связана с калибровкой камеры. Калибровка нужна, чтобы построить модель реальной камеры в компьютерном пространстве.
Для того чтобы добавить перспективу и глубину в 2D картинку, которая отображается с камеры на экран, нужно определить параметры перспективной проекции для камеры. Это можно сделать в домашних условиях, используя «шахматную доску» и специальное программное обеспечение.
Еще одна проблема, которая часто относится к web-камерам, — это низкое разрешение камеры. Любительская оптика, тем более встроенные камеры на ноутбуках, как правило, не обладают хорошими объективами с высоким разрешением. Поэтому они дают больше нелинейных искажений и проблем в работе с метками дополненной реальности. Например, если метка будет находиться слишком далеко от камеры или на границе ее видимости, то последняя ее просто «не увидит». Этот вопрос решается покупкой камеры с более высоким разрешением и ее последующей калибровкой.
И последняя проблема – это программное обеспечение. Некоторые алгоритмы распознавания могут иметь ошибки и давать погрешности во время распознавания рамки и «чтения» картинки метки. В этом случае модели могут отображаться некорректно (например, на метке с совой может появиться совсем другой объект) или вовсе исчезать с экрана.
Аппаратная часть, для реализации базовых функций технологии дополненной реальности должна решать 3 основных задачи: получать видеопоток хорошего качества, иметь возможность обработать данный видеопоток и дополнить слоем с виртуальными объектами и, конечно же, вывести обработанные данные на устройства вывода для восприятия конечным пользователем.
Представьте, что граница между виртуальным и реальным мирами исчезла.
Можно отправиться в открытый космос прямо на уроке.
Увидеть прошлое так же ясно, как и настоящее.
Посмотреть на привычные вещи совершенно по-новому.
Всё это можно сделать с помощью iPhone и iPad уже сейчас. Дополненная реальность изменит ваше представление о работе, учёбе, играх и взаимодействии с окружающим миром. И это только начало.
Добро пожаловать в новый мир.
Дополненная реальность + продуктивность
Необычные возможности для обычных дел.
Дополненная реальность — невероятно полезный инструмент
в повседневных делах. Расставьте новую мебель в своём доме и посмотрите, насколько она подходит к вашему интерьеру. Ориентируйтесь в незнакомых местах, даже не глядя на карту. Дополненная реальность открывает возможности, которые вы себе не представляли, и помогает делать повседневные дела совершенно по-новому. Они ещё никогда не были такими интересными.
Сначала представьте, потом поставьте.
Приложение IKEA Place помогает увидеть, как новые вещи будут смотреться в вашем интерьере. Даже если они ещё в магазине.
Мощная помощь в работе.
Компания GE начала использовать дополненную реальность в разных сферах своей деятельности. Например, помогает специалистам по техническому обслуживанию визуализировать промышленное оборудование и проводить его ремонт максимально эффективно.
В любом аэропорту как дома.
Авиакомпания American Airlines разработала прототип приложения с дополненной реальностью, которое показывает информацию об окружающих вас объектах в аэропортах. Вы можете быстро найти ближайшие кафе, туалеты и ваш выход на посадку.
Дополненная реальность + игры
Больше игр в жизни. Больше жизни в играх.
Дополненная реальность превращает весь мир в вашу игровую комнату. Играйте с виртуальными монстрами в ближайшем парке или прямо на кухонном столе. Или наденьте маску и устройте костюмированную вечеринку с друзьями со всего мира. Вы можете взаимодействовать с виртуальными объектами так, будто они находятся рядом с вами. Таких развлечений вы и представить себе не могли. Реальный мир превращается в фантастику.
Новое прочтение.
Наблюдайте за превращением милой гусеницы прямо в вашей комнате. Персонаж из популярной детской книги оживает в реальном мире.
Целая вселенная открытий.
Огромные космические станции, загадочные артефакты и неизведанные планеты ждут вас в новой многопользовательской игре от создателей EVE Online.
Визит к динозавру.
Откройте портал в доисторический мир, чтобы увидеть огромных реалистичных динозавров, — летающие птеранодоны и могучие тираннозавры оживают прямо у вас на глазах.
Дополненная реальность + обучение
Изучайте мир.
Под новым углом.
Самый эффективный способ узнать что-то — увидеть это своими глазами. Дополненная реальность позволит вам увидеть то, что раньше можно было только вообразить. Наблюдайте за работой автомобильного двигателя и разберите его на части без единого инструмента. Или изучите строение человеческого скелета вплоть до мельчайших костей. Теперь возможности для обучения практически безграничны.
Загляните в себя.
Изучите любую часть человеческого тела, чтобы понять, как оно устроено. Рассмотрите вблизи лёгкие, узнайте о строении суставов или просто посчитайте все кости вашей руки.
Живая природа, виртуальная игра.
Управляйте течением реки и наблюдайте за тем, как она влияет на жизнь людей, животных и растений. Узнайте, что происходит после строительства плотины, и используйте различные средства, чтобы защитить экологию реки и сохранить здоровье всех, кто от неё зависит.
Секреты строения земноводных.
Изучите все тонкости анатомии лягушки. Отключайте один за другим слои изображения, чтобы посмотреть строение каждого органа и узнать о стадиях развития организма земноводного — от икринки до головастика и взрослой особи.
Дополненная реальность + iPhone + iPad
Технология, которая делает дополненную реальность реальностью.
Apple разрабатывает устройства и программное обеспечение для них вместе, чтобы вы могли использовать их по максимуму. Благодаря такому подходу к разработке наши устройства уже сегодня могут обеспечить невиданное качество дополненной реальности. iPadOS, iOS 13 и ARKit 3 используют мощности iPhone и iPad, чтобы перенести элементы виртуального мира в реальный.
Дополненная реальность. Реальна настолько, что ею можно поделиться.
ARKit 3 позволяет разработчикам создавать AR‑приложения, которыми можно пользоваться вместе с друзьями. Всё, что вы делаете, можно сохранить, чтобы вернуться и продолжить в любой момент. Пересылайте объекты дополненной реальности в Сообщениях и Почте, а затем рассматривайте их в окружающей обстановке.
Камеры, которые покажут больше.
Камеры на iPhone и iPad отлично работают в условиях низкой освещённости и снимают видео с частотой 60 кадров/с, которая идеально подходит для приложений с дополненной реальностью. Благодаря системе оптической стабилизации изображение получается очень чётким, поэтому виртуальные объекты выглядят естественно в реальной среде.
Графика и производительность. Для нереально реальной картинки.
A13 Bionic — не просто самый мощный и умный процессор, когда-либо разработанный для iPhone. Он создан специально для поддержки дополненной реальности. Несколько высокопроизводительных ядер обеспечивают необходимую вычислительную мощность. А процессор для обработки сигнала изображения оценивает условия освещённости в реальном времени, поэтому виртуальные объекты выглядят невероятно реалистично.
Продвинутые технологии отслеживания движения.
Волшебство дополненной реальности возникает во многом благодаря точному отслеживанию движений. Для создания ощущения, что объект находится в реальном мире, его положение относительно вашего iPhone или iPad необходимо рассчитывать с большой точностью. Для этого системы iOS и iPadOS учитывают текущее положение вашего устройства в пространстве, а также расстояние между камерами и датчиками движения разных iPad и iPhone.
Больше приложений с дополненной реальностью в App Store.
Разработчики постоянно выпускают новые приложения, которые задействуют возможности дополненной реальности. Поддержка этих возможностей также появляется во многих
популярных приложениях. Вы легко найдёте их в App Store.
Сделайте мир волшебнее с ARKit 3.
ARKit 3 и RealityKit — это мощные инструменты, которые позволяют разработчикам создавать приложения с дополненной реальностью для iPhone и iPad. Создайте что-нибудь удивительное уже сегодня.
Для начала поясним, что такое технология дополненной реальности (AR — augmented reality). Её часто путают с виртуальной реальностью (VR — virtual reality).
Понять разницу довольно просто. Виртуальная реальность состоит только из нереальных, созданных в программе объектов.
Надевая VR-шлем, вы полностью оказываетесь в искусственно созданном мире.
Дополненная реальность — это когда нереальные, виртуальные, объекты в восприятии пользователя становятся частью реальной окружающей картины мира.
От «Сенсорамы» к приложениям на iPhone
Разработкой технологии дополненной реальности исследователи занимаются не первый год. В 1961 году кинооператор Мортон Хайлиг представил иммерсивное мультисенсорное устройство, напоминающее своеобразную аркадную игру с вибрацией и воспроизведением стереофонических звуков. В следующем году Хайлиг получил патент на первый в мире виртуальный симулятор под названием "Сенсорама". Огромное устройство, внешне похожее на игровые автоматы 1980-х, позволяло зрителю впервые погрузиться в виртуальную реальность: например, прокатиться на мотоцикле по улицам Бруклина. Однако "Сенсорамой" не заинтересовались инвесторы и разработки пришлось свернуть.
Следующим этапом развития технологии принято считать 1974 год, когда компьютерный специалист Майрон Крюгер разработал лабораторию "искусственной реальности" под названием Videoplace. Она представляла из себя несколько связанных по сети комнат, в каждой из которых находился большой экран с расположенным позади него видеопроектором. Когда человек заходил в комнату, он видел на экране свое собственное изображение в виде примитивного силуэта, а также подобные силуэты людей в остальных комнатах. У всех "теней" можно было менять цвет или размер, а также присоединять к ним различные визуальные объекты.
Возможно, идеи Крюгера и его друзей побудили ученого Тома Кодэлла впервые предложить термин "дополненная реальность" в 1990 году. Работая в компании Boeing Computer Services в Сиэтле, он использовал словосочетание для обозначения цифрового дисплея на голове, используемого электриками самолетов, которые смешивали виртуальную графику с физической реальностью.
В 1992 году первая действующая AR-система начала использоваться военными ВВС США. Она получила название "Виртуальные светильники" и позволила создать новый метод обучения пилотов. С помощью наложения физически реальных объектов на 3D-виртуальные появился первый настоящий опыт дополненной реальности, обеспечивающий картинку, звук и прикосновение.
Примерно в то же время в университете штата Колумбия состоялась презентация системы KARMA ("Помощник в дополненной реальности"), позволяющей через шлем виртуальной реальности увидеть интерактивную инструкцию по обслуживанию принтера.
Но до 1999 года дополненная реальность широко не использовалась, а многими учеными и исследователями даже не понималась. Для ее работы использовались сложные программные решения и громоздкое оборудование. Однако ситуация резко изменилась, когда японский профессор Хироказу Като из Института науки и технологий Нары выпустил уникальное программное обеспечение под названием ARToolKit. Оно позволило отслеживать видеозахват действий в реальном мире и объединить их с виртуальными объектами. Обеспечение могло быть связано с простым карманным устройством: например, камерой и подключением к интернету. Появление ARToolKit привело к тому, что теперь пользователи видели непосредственно сам процесс работы дополненной реальности.
Уже в 2000 году Брюс Томас из лаборатории Wearable Computer разработал первую мобильную игру для открытого пространства с системой дополненной реальности, названную ARQuake. Она позволила пользователю с прикрепленным цифровым дисплеем на голове повернуть голову и увидеть другие объекты виртуального мира. ARQuake с успехом презентовали на Международном симпозиуме по мобильным компьютерам.
Несколько лет спустя в 2008 году первые AR-приложения были созданы для смартфонов, и люди по всему миру мир смогли впервые воспользоваться новейшей технологией. Первое приложение предназначалось для пользователей Android, и это позволило им использовать свои камеры, чтобы увидеть на экране различные объекты виртуальной реальности в 3D. Решение вскоре появилось и на iPhone, и запущено в качестве навигационного приложения, названного Wikitude Drive.
Шум из ничего или действительно полезная технология?
Хотя дополненная реальность в течение многих лет пытается попасть в технологический мейнстрим, многие из ее самых ярых сторонников начали задаваться вопросом, сможет ли она справиться с собственным потенциалом.
Многие исследователи считают, что на самом деле технология уже начала демонстрировать свою истинную ценность благодаря упрощению многих привычных для потребителей вещей. Например, уже существуют приложения по подбору причесок и одежды, широко используемые в индустрии красоты; в автомобильном секторе, где пользователи теперь могут использовать дополненную реальность, чтобы погрузиться в опыт вождения автомобиля, который они хотят приобрести.
Некоторые бренды, такие как Lego и Jurassic World, уже экспериментируют с технологией, и отмечают, что его потенциальное воздействие на аудиторию огромно.
Выйти за пределы вау-эффекта
AR по-прежнему имеет удивительный вау-фактор. Он идеально сработал с игрой Pokemon Go, в которой до сих пор миллионы игроков находят, захватывают и тренируют виртуальных существ, появляющихся на экране, будто они находятся в том же реальном месте, что и игрок.
Ведущие бренды и розничные торговцы, такие как Sephora, Nestlé и Jaguar Land Rover, продемонстрировали особое лидерство в этой области. Они экспериментировали с использованием AR для предоставления персональных консультаций, информации о происхождении товаров или дополнительных услуг для их продуктов, что привело к успешным, вдохновляющим кампаниям, которые выходят далеко за рамки обычных игр.
А, например, Ikea полностью интегрировала AR в свое приложение, с помощью которого позволяет пользователям проверить, как мебель может выглядеть в их домах. Кондитерская марка Cadbury использовала дополненную реальность, чтобы улучшить календарь с рождественскими подарками для своих потребителей. Любители шоколада могут использовать приложение Blippar для сканирования своего календаря и входа в "дополненный мир зимних чудес".
Интерес к AR продолжает расти в геометрической прогрессии. Теперь он подпитывается и искусственным интеллектом, который позволяет камерам "понимать" мир и накладывать на него цифровой контент. В сочетании с оборудованием, становящимся более мощным и легким, ближайшие годы будут ключевыми для развития дополненной реальности.