Содержание
Обзор технологии Intel® RealSense™ и ноутбука с 3D камерой
Здравия! Меня зовут Ярослав. Я — участник конкурса Intel® RealSense™ App Challenge 2014. В этой статье мы поговорим о технологии Intel® RealSense™ и вспомним, как вообще камеры начали проникать в персональные компьютеры. Вы увидите, как с помощью одной руки можно перемещаться в виртуальном 3D пространстве. Я раскрою для вас исходные коды своего суперпроекта и расскажу, что может дать камера глубины встроенная в ноутбук, и помечтаю о возможном развитии технологии.
С чего все начиналось?
Если опустить Большой взрыв, то впервые веб-камера зарегистрирована в 1991 году. Она была установлена в старой компьютерной лаборатории Кембриджского университета и транслировала по локальной сети не что иное, как уровень кофе в кофеварке.
Благодаря этому, сотрудники всегда знали, когда можно идти за свежесваренным кофе.
Эта первая камера передавала черно-белую картинку разрешением 128×128 пикселей.
С тех пор веб-камеры развивались в сторону миниатюризации, увеличения разрешения и улучшения качества картинки. Сейчас нам уже сложно представить ноутбук или смартфон без встроенной камеры. Но компания Intel® решила пойти дальше и разработала революционную технологию Intel® RealSense. Данная технология не просто набор навороченных веб-камер, RealSense™ основана на парадигме Natural Interaction — природное общение человека и машины. Ну, действительно, мы уже собираем миссию на Марс, а до сих пор пользуемся компьютерными мышками, которые еще в прошлом веке разработали в компании Xerox*.
Итак, революция Intel® RealSense
На волне революции Natural Interaction, компания Intel® разработала аппаратно-программный комплекс RealSense.
Основные направления технологии:
— распознавание голоса
— отслеживание рук и пальцев
— распознавание жестов
— распознавание лица и эмоций
— сканирование объектов для 3D печати
Из выше перечисленного списка видно, что компания Intel® решила перевернуть, наше представление о стандартных устройствах ввода.
Технология RealSense™ – это набор высококачественных камер, датчиков и встроенный графический процессор, а также SDK для разработчиков Intel® RealSense™ SDK
— Цветовая камера – просто веб-камера с поддержкой Full HD видео, расширением до 1920×1080 пикселей.
— ИК сенсор глубины – инфракрасный датчик глубины, используется вместе с ИК лазерным проектором. Вообще, лазерный проектор звучит грозно, но если вспомнить физику, то инфракрасные лучи – одни из самых неактивных из доступного нам спектра. То есть для глаз, к примеру, такой лазер безвреден.
Расширение датчика глубины 640×480 пикселей.
— Графический процессор (не путать с ГПУ) – специализированный микрочип для первичной обработки потока данных в таких алгоритмах, как расчет глубины, фильтры помех и т.п. Встроенный графический процессор существенно разгружает центральный процессор компьютера и ускоряет работу камеры в целом. Все алгоритмы, обрабатываемые на встроенном графическом процессоре, реализованы в отдельной прошивке, что позволяет обновлять ‘мозги’ камеры с выходом новых прошивок.
— Также присутствуют стереомикрофоны для качественного распознавания речи.
Для чего датчик глубины вообще нужен?
Простая цветовая камера передает картинку в плоскости. К примеру, если ваша левая рука находится ближе к камере, чем правая, то машина может ‘понять’, что руки находятся на разных расстояниях, только используя специальные алгоритмы распознавания образов. Камера глубины решает этот вопрос намного проще, и работает как летучая мышь или эхолот, отправляя ИК луч и замеряя через сколько времени он вернулся. Зная скорость света, можно легко посчитать расстояние от камеры до объекта.
Картинка глубины — так видит мир зубастая летучая мышь ночью.
А как это все использовать?
Благодаря Intel® RealSense™ SDK, нам простым прикладным программистам, не нужно разбираться в алгоритмах распознавания образов или нормализовать данные с датчика глубины. В RealSense™ SDK это все скрыто на низком уровне, а на верхнем уровне находятся абстрактные модули, к примеру: Hand Tracking, Emotion Detection и прочие. Дергая модули, мы как кукловоды управляем театром. Детальную документация по SDK можно найти здесь.
Также RealSense™ SDK предоставляет доступ к ‘сырым’ данным, полученным непосредственно с датчиков, вот отличная статья: Intel® RealSense Работа с потоками необработанных данных.
В RealSense™ SDK, есть много примеров кода, причем минималистичные примеры есть в документации для каждого модуля. А в самом SDK есть полноценные примеры на разных языках программирования.
На данный момент поддерживаются следующие языки и платформы разработки:
— C++, C#, Java, JavaScript (да да, RealSense™ уже работает в Интернет браузерах!).
— Microsoft Visual Studio 2010-2013 с последними обновлениями
— Microsoft .NET 4.0 Framework для C# разработки
— Unity PRO 4.1.0+ для разработки игр
— Processing 2.1.2+
— Java JDK 1.7.0_11+
Рассмотрим какие модули RealSense, мы имеем в распоряжении:
— Face Tracking and Recognition – [PXCFaceModule] модуль распознавания лица и отслеживания головы человека. Распознание лица, очень хорошо подходит для беспарольной аутентификации пользователя. Отслеживание головы также можно использовать в играх. Модуль содержит информацию о наклоне головы в двух форматах: кватернион и матрица вращения – уже вижу программу: гимнастика для шеи с RealSense.
— Hand Tracking – [PXCHandModule] – модуль отслеживания рук. Сразу нужно сказать, модуль отслеживает не только ладони, но и пальцы, и даже фаланги пальцев. В общем 22 точки на каждой кисти:
Модуль может работать в трех режимах:
— Blob (контур) – определяет только контур рук, данный режим потребляет минимум ресурсов и подходит для интерфейсов пользователя, где рука заменят курсор мыши.
— Extremities (экстремумы) – возвращает информацию о крайних точках кисти. Также определят какая это рука — левая или правая. Ресурсов ест чуть больше, чем Blob режим.
— Full Hand (Детальная рука) – режим использует больше всего ресурсов, но возвращает буквально все: информацию о суставах (положение и вращение), информацию о фалангах пальцев. А главное определяет жесты (gestures).
При определении жестов, чтобы не было ложных срабатываний, рекомендую использовать свой счетчик времени для жестов. Ложное срабатывание длится не дольше четверти секунды, а значит, если жест определен дольше секунды, можно с уверенностью запускать функцию для данного жеста.
Full Hand режим поддерживает много оптимизаций и настроек. К примеру, опция ‘EnableNormalizedJoints’ включает ‘выравнивание’ фаланг пальцев (если они у вас кривые), точнее сказать нормализует длину фаланг даже когда информации недостаточно из-за того что пальцы могут перекрываться.
В своем проекте я использовал именно Full Hand режим и, надо сказать, что на Intel® NUC D54250WYKH с процессором Intel® Core i5 4250U приложение работает превосходно. Это при том, что кроме RealSense™ модулей работали параллельно физический движок Havok Physics и графический движок Ogre3D.
— Emotion Detection – [PXCEmotion] – модуль распознания эмоций пользователя.
В первую очередь модуль полезен для распознания настроения и мимики, что займет свою нишу в игровой и развлекательной индустрии. В этот же модуль будут встроены алгоритмы распознания возраста пользователя.
— Object Tracking – [PXCTracker] – модуль отслеживания объектов. Очень интересный модуль. Задав объект для слежки, модуль передает координаты объекта, даже если объект движется относительно RealSense™ камеры. Может использоваться в приложениях дополнительной реальности как тут.
— Speech Recognition and Synthesis – [PXCSpeechRecognition] – модуль распознавания и синтеза речи.
Синтез речи на мой взгляд не очень распространенное направление. А вот за распознаванием речи – будущее. Вообще Intel® надо будет постараться, чтобы обогнать конкурентов в области распознавание человеческой речи. Но если алгоритм будет работать на встроенном в RealSense™ процессоре, это будет огромный козырь, так как ускорит распознавание слов и разгрузит центральный процессор. Источником звука для модуля может служить микрофон или звуковой файл, что удобно для отладки.
Модуль распознавания может работать в двух режимах:
1) Режим диктанта (The dictation mode) – режим определения слов с заданных словарей в RealSense™ SDK. То есть модуль пытается определить слово из всего языка. На данный момент в RealSense™ SDK есть словари трех языков: американский английский, британский английский и португальский. Словари устанавливаются опционально во время установки RealSense™ SDK.
2) Режим команд (The command and control mode) – модуль распознает слова из заданного вами списка. Понятно, что данный режим работает быстрее, чем диктант. И это идеальный режим для управления программами. Команды задаются в виде строкового списка пример:
‘sr->BuildGrammarFromStringList(1, cmds, 0, 4);’
RealSense™ SDK генерирует звуковые отпечатки на основании произношения букв. По принципу транскрипции как на уроках английского языка. То есть вам не нужно делать эталонную звуковую запись команд.
Модуль распознавания речи еще сыроват, а может мое английское произношение картавит. Но однозначно можно сказать, что в будущем режим голосовых команд будет также встроен для каждого меню программ как сейчас комбинации клавиш, к примеру: Alt+F4, Ctr+A и т.п.
Я бы с радостью купил плагин, для Visual Studio или XCode, где по голосовой команде “Create class” автоматически добавлялись нужные файлы в проект и вставлялся шаблон программного кода.
Имейте ввиду, что SDK достаточно объёмный. Если вы не планируете увлекаться распознаванием речи, то убрав галочку в этом секторе, можно сэкономить время на скачке и установки SDK.
И, как обещал, раскрываю исходный код обработчика RealSense™ из моего проекта: The Mechanics
Видео проекта
Детальное описание проекта (англ.)
The Mechanics – программа виртуальный конструктор, в котором пользователь может строить замки и разрушать их, побить мировой рекорд в домино, или даже проводить реальные физические эксперименты. Приложение представляет спайку технологий Havok Physics + Ogre3D + RealSense. Программа отслеживает руки и пальцы в трех плоскостях, что позволяет отказаться от виртуальных перчаток и позволяет перемещать объекты руками в 3D пространстве без дополнительных проекций (так как мы это делаем в реальном мире).
Программа поддерживает два режима: навигация и редактирование. Режим навигации позволяет перемещаться в трехмерном пространстве, передвижением руки перед камерой (смотри видео). Режим редактирования позволяет перемещать сами объекты в пространстве. Переключение между режимами производится жестом Victory.
Вот исходный код (C++) главного класса для работы с RealSense. В методе init() мы инициализируем камеру и модуль распознавания рук. А метод Update() запускается в отдельном потоке и обновляет информацию о руках в реальном времени:
Поскольку данные поступают с небольшой погрешностью, то для того чтобы виртуальные руки не дергались, а перемещались плавно в RealSense™ SDK есть очень полезный модуль ‘сглаживания’ данных PXCSmoother.
Модуль сглаживания поддерживает несколько алгоритмов. Экспериментальным путем я определил, что для перемещения рук в плоскости монитора (Smoother2D: X/Z) лучше подходит Quadratic Smoother алгоритм. А для передвижения в глубину (Smoother1D: Y) я использую Spring Smoother алгоритм.
И так, моя инновация состоит в том, как перемещаться в виртуальном трехмерном пространстве с помощью одной руки. А благодаря технологии RealSense, у меня получилось реализовать эту идею.
Все это здорово, но чем отличается RealSense™ от того же Kinect*?
Да, Microsoft* тоже создала прибор по принципу Natural Interaction – Kinect*.
Во-первых, Kinect задуман для узкой специализации, а именно, игры и развлекательная индустрия. RealSense™ же позиционируется, кроме игр и развлечений, как полноценное устройство ввода для прикладных приложений. Точность определения частей тела у Kinect на порядок ниже, чем у RealSense. К примеру, стандартно Kinect может определить координаты руки и кисти. RealSense™ на одной только кисти определяет 22 точки, включая положение и направленность всех фаланг пальцев. Это предоставляет отличные возможности для распознавание жестов из пальцев, таких как дуля или Victory.
Понятно, что такая точность в Kinect не достижима, но повторюсь: Kinect позиционируется на другую нишу Natural Interaction приложений. Можно сказать, Kinect для дальнего боя, а RealSense™ для ближнего.
Второе весомое отличие это размер. На данный момент Kinect выпускается как внешнее устройство.
Слева Kinect, справа RealSense™ встраиваемая камера – размер имеет значение! Такой размер позволяет встраивать RealSense™ в ноутбуки и планшеты.
Итак, где реально уже используется технология RealSense
— Отслеживание рук и пальцев в реальном времени – одновременное отслеживание десяти пальцев и восьми жестов:
Пример аудиоредактора, где пользователь создает музыку взмахами рук.
Это пример игры, где герой бросает во врага плазмой.
— Отделение фона, а также фотографии с разным фокусом:
Программа видео-чат, которая благодаря камере глубины, распознает силуэт человека и выделяет задний фон. И пользователь простыми жестами может скрывать, размазывать или заменять фон при общении.
Вот пример фотографии с несколькими фокусами, ведь бывает – сделал снимок года, но авто-фокус лег не на тот объект, что хотелось бы, а технология RealSense™ исправит это:
Поскольку в RealSense™ есть алгоритмы распознавания и отслеживания объектов, можно реализовать полувиртуальные миры, где на реальные физические объекты накладывается виртуальная среда (ясно, что из этой фразы вы ничего не поняли, но перед вставкой ссылок я должен был что-то написать).
Этот пример демонстрирует, как в дополнительной реальности также используется камера глубины, когда фермер начинает взбираться на реальный физический объект в виде горки.
Что дает технология RealSense™ для ноутбуков
Список компьютеров с уже встроенной RealSense™ 3D камерой.
Ноутбук со встроенной RealSense™ камерой
Кроме вышеперечисленных возможностей и таких экзотических, как сканирование объектов для 3D печати.
Также хочу выделить отдельное направление использования RealSense™ в ноутбуках — это удобная работа с частыми функциями, такими, как изменение громкости динамиков и яркости экрана, запуск/остановка проигрывателя.
Сейчас производители ноутбуков делают функциональные клавиши для частых функций, к примеру, Fn + F8. Но, по своему опыту замечу, что каждый раз попадать на нужные клавиши очень неудобно. На некоторых дорогих моделях есть отдельные сенсорные ползунки, но в темноте тянуться к ним тоже нелегко.
А с помощью технологии RealSense™ можно вертикальным взмахом руки менять громкость, горизонтальным – яркость экрана. С помощью простых жестов можно управлять этим вашим Winamp-ом, и все это без скольжения по тачпаду и поисков функциональных клавиш.
Сейчас в моем ноутбуке есть сканер отпечатка пальцев, что очень удобно (Я даже забыл, какой пароль у меня на ноутбуке). Но согласитесь, технология распознавания лица еще лучший вариант аутентификации пользователя. Копания Intel® разрабатывает модуль “True Key”, вот промо-ролик этой технологии.
У программистов в офисах есть даже традиция подшучивать над новичками, не приученными блокировать компьютер, когда уходят. Например, поставить фотографию розовой феи фоном рабочего стола. Но если система сама будет блокироваться, когда хозяина нет перед монитором, это существенно увеличит безопасность и сделает невозможными такие злые шутки.
Поскольку ноутбук часто используется для видеообщения, камера глубины дает прекрасные возможности для разработки приложений с вырезанием фона и управлением жестами, не думая, на каком колене разместить мышку.
Так что в Intel® поступили очень умно, реализовав RealSense™ в максимально компактном форм-факторе, и такую камеру можно встроить даже в самые тонкие ультрабуки.
А что с безопасностью?
Действительно, чем круче камера, тем качественней утечка информации. Поэтому компания Intel® разработала программу “Privacy Notification”, контролирующую приложения, которым разрешено обращаться к RealSense™ камере.
Во-первых, при запуске приложения, запрашивающего доступ к RealSense™ драйверу, Privacy Notification спрашивает у пользователя, к каким модулям данная программа хочет получить доступ. Также как в мобильных платформах iOS и Android.
Во-вторых, Privacy Notification пишет детальный журнал с указанием программы и времени использования модулей RealSense.
Все действительно так хорошо?
Технология RealSense™ только набирает обороты и есть еще не доработки:
— Камеры RealSense™ работают на Intel® процессорах начиная с четвертого поколения и Windows 8x. Компания это объясняет что для нормальной работы некоторых алгоритмов необходимые специальные инструкции процессора для работы с большими массивами данных (по аналогу с набором инструкций SSE). То есть если ваш процессор, к примеру, Core i5 выпущен до 2013-го года то камера на нем не запустится.
— Если использовать одновременно разные модули, к примеру, отслеживание рук и распознание речи, то модули начинают работать не стабильно, хотя, по некоторым источникам, на процессорах Core i7 такое не наблюдается.
— Если в модуле распознавания рук ладонь повернута внешней стороной к камере, то модуль неверно определяет это левая или правая рука. Действительно, ладони у человека зеркальны, и левая рука внешне имеет такой же контур как правая рука изнутри. Посему для определения стороны руки надо вводить дополнительные параметры (к примеру, средний палец обычно немного согнутый и когда ладонь повернута внутренней стороной к камере, то расстояние от кончика среднего пальца до камеры немного меньше, чем от самой ладони. А когда ладонь повернута внешней стороной к камере, то расстояние немного больше).
— Модуль распознавания лица не отточен на бородатых. Я использовал пример, где обводится контур головы и моя борода сливалась с рубашкой — контур моей головы в районе челюсти начинал сильно искажаться. Я думаю это легко решить, задав специальный параметр, что головы у всех приблизительно овальные и неважно сливается подбородок с туловищем или нет, овал не может быть слишком вытянутый.
Но, учитывая как Intel® взялась за технологию RealSense, можно ожидать оперативных исправлений и обновлений.
В каком направлении может развиваться технология RealSense?
Однозначно управление компьютером с помощью жестов и голоса рано или поздно будет вытеснять старые устройства ввода. Хотя, не исключаю, что клавиатура, пусть виртуальная, но будет еще очень долго.
Когда технология Intel® True Key будет отточена, забытые пароли станут архаизмом. Девиз данной технологии: “Лучший пароль это Вы”.
‘Таргетинг’ эмоций. Распознавая эмоции, рекламная площадка сможет показывать баннеры, так сказать под настроение. К примеру, если пользователь загрустил, ему показывают рекламу пляжей с пальмами, а если дюже хорошее настроение, то можно показать и социальную рекламу о вреде курения.
Можно с уверенностью сказать, что если сегодня во всех ноутбуках есть встроенная камера, то в недалеком будущем системы Natural Interaction будет во всех устройствах. И это не будет восприниматься как нечто экзотическое и узкоспециализированное, а станет обычным аксессуаром.
Содержание материала
Исторические сведения
Все данные, предоставляемые камерами Intel RealSense, очень полезны для создания виртуальной реальности и дополненной реальности. Некоторые попытки делать то, что сейчас делается с помощью камеры Intel RealSense, были еще в 80-х годах. Технология отслеживания расположения руки была разработана в 80-х годах в виде перчатки, передающей данные, авторы этого изобретения — Джейсон Ланьер (Jason Lanier) и Томас Циммерман (Thomas G. Zimmerman). В 1987 году компания Nintendo выпустила первый манипулятор для управления играми в виде перчатки, подключаемой по проводам к игровой консоли Nintendo.
Устройства, развитие которых привело к созданию камер Intel RealSense, изначально предназначались для анимации на выступлениях: технологии захвата движения применялись, чтобы преобразовать выступление человека в математические данные, то есть в цифровую информацию. Захват движения применялся еще с 70-х годов в исследовательских проектах в различных университетах, а также в войсках для обучения. Одним из первых анимационных фильмов, созданных с помощью захвата движения, был анимационный ролик Sexy Robot , созданный в 1985 году Робертом Абелем (Robert Abel) и его коллегами. В ролике Sexy Robot использовалось несколько технологий для получения информации, с помощью которой была создана и анимирована цифровая модель робота.
Сначала была создана модель робота. Ее измерили со всех сторон, описывающую ее информацию перевели в цифровой вид: аналогичных результатов камера RealSense добивается при съемке объектов. Для вычисления движения на актере нарисовали точки, движение которых соотнесли с движением цифрового «скелета»: была создана векторная анимация, при помощи которой двигалась цифровая модель. Камера RealSense обладает возможностью инфракрасной съемки и инфракрасным лазерным проектором, что позволяет получать данные для цифровых моделей и отслеживания движений. Возможности отслеживания камеры Intel RealSense достаточно совершенны: можно отслеживать даже движения глаз.
Камеры Intel RealSense
В настоящее время существует две модели камер Intel RealSense. Они выполняют схожие функции, но кое в чем различаются: это камера Intel RealSense F200, для которой предназначены упражнения в этой статье, и камера Intel RealSense R200.
Камера Intel RealSense R200 благодаря своему компактному размеру обладает важными преимуществами. Она предназначена для установки на штатив или на заднюю часть планшета. Таким образом, объектив камеры направлен не на пользователя, а на окружающий мир, а благодаря усовершенствованным возможностям съемки поле зрение камеры охватывает более широкую область. Кроме того, у этой камеры улучшены и возможности измерения глубины.
Эту камеру очень интересно использовать для проектов дополненной реальности, поскольку в ней поддерживается функция восприятия сцены, позволяющая добавлять виртуальные объекты в отснятую сцену реального мира. Также можно накладывать виртуальную информацию на снимаемое изображение в прямом эфире. В отличие от модели F200 камера R200 не поддерживает отслеживания пальцев, рук и лиц. TouchDesigner поддерживает обе модели камер Intel RealSense: и F200, и R200.
Камеры Intel RealSense в TouchDesigner
TouchDesigner идеально сочетается с камерой Intel RealSense: поддерживается прямая связь между мимикой лица пользователя и движениями рук и программным интерфейсом. TouchDesigner может напрямую использовать эти данные отслеживания и положения. TouchDesigner также может использовать данные глубины, цветного изображения и инфракрасного изображения, передаваемые камерой Intel RealSense. Камеры Intel RealSense очень легкие и компактные, особенно модель R200, которую можно легко разместить рядом с исполнителями незаметно для аудитории.
Адам Берг (Adam Berg), исследователь в компании Leviathan, работающий над проектом по использованию камеры Intel RealSense вместе с TouchDesigner для создания интерактивных инсталляций, заявляет: «Благодаря компактному размеру и простой конструкции камера отлично подходит для интерактивных решений.
Камера не бросается в глаза, а требования к инфраструктуре упрощаются, поскольку камере не требуется внешний источник питания. Кроме того, нам понравились низкие задержки при создании изображения глубины.
TouchDesigner — великолепная платформа для работы (от создания первоначального прототипа до разработки финальной версии). Она обладает встроенной поддержкой пяти камер, возможностью высокопроизводительного воспроизведения мультимедиа и удобными возможностями работы с шейдерами. Помимо этого, безусловно, следует отметить и великолепную поддержку».
Использование камеры Intel RealSense в TouchDesigner
Во второй части мы рассматриваем узел CHOP в TouchDesigner для камеры Intel RealSense.
Узел RealSense CHOP
Узел RealSense CHOP управляет трехмерным отслеживанием и данными о положении. Узел CHOP содержит информацию двух типов. (1) Положение в реальном мире (измеряется в метрах, но можно довести точность до единиц миллиметров) используется для преобразования по осям x, y и z. Повороты вокруг осей x, y и z в RealSense CHOP выводятся в виде углов Эйлера по осям x, y и z в градусах. (2) Узел RealSense CHOP также получает пиксели входного изображения и преобразует их в нормализованные UV-координаты. Это полезно для отслеживания изображений.
Узел RealSense CHOP обладает двумя настраиваемыми параметрами: отслеживание пальцев/лица и отслеживание маркера.
- В разделе Finger/Face Tracking можно выбрать отслеживаемые элементы. Можно ограничить список отслеживаемых элементов только одним аспектом, а затем, соединив узел Select CHOP с узлом RealSense CHOP, вновь ограничить список, чтобы отслеживать только движение брови или глаза.
- Отслеживание маркеров позволяет загрузить изображение и отслеживать этот элемент, где бы он ни находился.
Использование узла RealSense CHOP в TouchDesigner
Демонстрация 1: использование отслеживания
Это простая первая демонстрация узла RealSense CHOP показывает, как его можно соединять с другими узлами и использовать для отслеживания и создания движения. Вновь обратите внимание, что для этих демонстраций достаточно крайне поверхностного знания TouchDesigner. Если у вас нет опыта работы с TouchDesigner* и вы собираетесь постепенно разбираться в этой статье, то рекомендую сначала просмотреть документацию, доступную здесь: Изучение TouchDesigner.
- 1. Создайте узлы, которые нам потребуются, и расположение их в горизонтальной строке в следующем порядке: узел Geo COMP, узел RealSense CHOP, узел Select CHOP, узел Math CHOP, узел Lag CHOP, узел Out CHOP и узел Trail CHOP.
- 2. Соедините узел RealSense CHOP с узлом Select CHOP, узел Select CHOP — с узлом Math CHOP, узел Math CHOP — с узлом Lag CHOP, узел Lag CHOP — с узлом Out CHOP Node, а узел Out CHOP — с узлом Trail CHOP.
- 3. Откройте страницу параметров Setup узла RealSense CHOP и убедитесь, что для параметра Hands World Position задано значение On. Выводится расположение отслеживаемых суставов руки в пространстве. Значения указываются в метрах по отношению к камере.
- 4. На странице параметров Select узла Select CHOP установите для параметра Channel Names значение hand_r/wrist:tx, выбрав его среди доступных значений в раскрывающемся списке справа от параметра.
- 5. В параметре Rename From введите hand_r/wrist:tx, затем в параметре Rename To parameter введите x.
-
Рисунок 1. Отбор каналов из узла RealSense CHOP происходит в узле Select CHOP
6. В параметре Range/To Range узла Math CHOP введите 0, 100. Для уменьшенного диапазона движений введите число меньше 100.
Рисунок 2. Здесь вы добавляете анимацию, полученную из RealSense CHOP
Для рендеринга геометрии понадобится узел Camera COMP, узел Material (MAT) (я использовала Wireframe MAT), узел Light COMP и узел Render TOP. Добавьте эти узлы для рендеринга этого проекта.
- 8. В узле Camera COMP на странице параметров Xform установите для параметра Translate Z значение 10. Это позволит лучше видеть движение созданной геометрии, поскольку камера сдвигается назад по оси Z.
- 9. Проведите рукой перед камерой и посмотрите, как геометрическая фигура будет двигаться в узле Render TOP.
Рисунок 3. Как узлы соединены друг с другом. Благодаря узлу Trail CHOP в конце можно просмотреть анимацию в графической форме
Рисунок 4. Значение преобразования x узла Geometry COMP было экспортировано из канала x в узел Out CHOP, который был передан далее по цепочке от узла Select CHOP
- Get Started
- SDK 2.0 & Downloads
- Subscribe for Updates
- Resources
- Documentation
- Code Samples
- Tools
- White papers
- Videos & Tutorials
- FAQs
- 3rd Party Software
- Software for Intel RealSense
- Development Service Vendors
- Community
- Discussions
- Webinars & Events
- Technical Support
- Help Center
- Ask Community
- Regulatory Information
- Store Support
- Contact Customer Support
- Track Your Order
- Store Policies
- Customer Service Information
- Frequently Asked Questions
- Product Returns
Intel® RealSense™ LiDAR Camera L515
The World’s Smallest High‑Resolution LiDAR Depth Camera
Understand the world in 3D
Intel® RealSense™ technologies offer a variety of vision‑based solutions designed to give your products the ability to understand the world in 3D.
LiDAR
Revolutionary solid state LiDAR for high quality depth.
Intel RealSense LiDAR technology uses an advanced miniaturized MEMS mirror to scan the scene. The world’s smallest, most power-efficient, high-resolution LiDAR.
Stereo
Uses dual sensors to extract 3D information from a scene.
In a similar way to how human vision works, stereo depth is calculated using two sensors and our efficient on‑board vision processor for low power and high performance.
Tracking
Inside-out simultaneous localization and mapping technologies.
Using visual feature information and an inertial measurement unit along with our custom tracking algorithms for low power high performance pose streaming.
Coded Light
Projects an infrared pattern onto a scene for 3D reconstruction.
Coded light uses a known pattern projected onto surfaces to understand 3D environments by evaluating discrepancies from the pattern due to deformation.
Start developing with Intel RealSense SDK 2.0
Our open‑source SDK 2.0 offers a variety of wrappers supporting popular programming languages and platforms.
Use Cases
Intel® RealSense™ technology is suitable for a number of wide‑ranging applications. Here are just a few examples of uses that benefit from a true understanding of their environment.
Making Magic — Art and technology working together
Check out an amazing interactive installation created by Array of Stars – a Toronto based creative production agency – using Intel RealSense depth cameras. They have created a branded experience that manages to be interactive, intuitive and magical.
Subscribe here to receive updates about our latest blog posts and other news.
Let’s talk about how Intel RealSense depth sensing cameras can enhance your solution.
- Company Information
- Our Commitment
- Communities
- Investor Relations
- Contact Us
- Newsroom
- Jobs
- Store Policies
- © Intel Corporation
- Terms of Use
- *Trademarks
- Privacy
- Cookies
- Supply Chain Transparency
- Site Map
You are about to leave our website and switch to intel.com.
Click here to proceed
Stay Updated
Keep up to date with Intel® RealSense™ Technology: product updates, upcoming announcements, and events.