Содержание
Компактный нейронный сопроцессор
Компания Movidius, принадлежащая Intel и занимающаяся разработкой визуальных процессоров для интернета вещей, представила миниатюрное компактное устройство Neural Compute Stick. Новинка позиционируется как вычислительный сопроцессор с функциональностью искусственного интеллекта, позволяющий добавить возможность машинного обучения подключенному ПК простым подключением к порту USB.
Ключевая особенность устройства заключается в том, что для процесса машинного обучения или развертывания новой нейронной сети с применением Neural Compute Stick не требуется подключение к интернету: USB-сопроцессор функционирует совершенно автономно.
В сентябре 2016 г. компания Movidius была приобретена Intel за неназванную сумму. По итогам сделки в Intel объявили о планах использовать технологии Movidius при разработке устройств интернета вещей, дополненной, виртуальной и совмещенной реальности, таких как роботах, дронах, автоматических цифровых камерах безопасности и т.д.
Впервые USB-сопроцессор Neural Compute Stick был представлен в качестве прототипа под рабочим названием Fathom в апреле 2016 г. – тогда еще независимой компанией Movidius. Некоторое время после приобретения компании новости о разработках Movidius исчезли со страниц новостных сайтов. Теперь Neural Compute Stick коммерциализирован и официально поступает в продажу, однако технологическая идея устройства претерпела минимальные изменения по сравнению с Fathom.
Устройство Neural Compute Stick выполнено на базе точно такого же процессора, который используется во множестве устройств с машинным зрением — например, автономном дроне DJI. Потребителю или производителю техники, желающему усилить возможности искусственного интеллекта своей системы, достаточно подключить один или несколько сопроцессоров Neural Compute Stick к порту (портам) USB.
Особенности конструкции
Compute Stick базируется на визуальном чипе (Vision Processing Unit, или VPU) под названием Myriad 2, который представляет собой сверхэкономичный процессор с потреблением не более 1 Вт. Чип Myriad 2 базируется на 12 параллельно работающих 128-битных векторных VLIW-ядрах с архитектурой SHAVE, работающих с алгоритмами машинного зрения, такими как детектирование объектов или распознавание лиц.
Процессор Myriad 2 поддерживает 16/32-битные вычисления с плавающей запятой и 8/16/32-битные целочисленные операции. Чип оснащен 2 МБ распределенной памяти, подсистемой памяти с производительностью до 400 Гбит/с и кэш-памятью L2 объемом 256 КБ. Номинальная тактовая частота чипа составляет 600 МГц при питающем напряжении 0,9 В. Производится Myriad 2 с соблюдением норм 28 нм технологического процесса.
Согласно данным официальных представителей Movidius, чип обеспечивает производительность на уровне более чем 100 гигафлопс и способен нативно запускать нейронные сети на базе фреймворка Caffe.
Neural Compute Stick оснащен скоростным портом USB 3.0 Type-A, его габариты составляют 72,5 х 27 х 14 мм. Минимальные требования для запуска устройства на хост-системе с процессором архитектуры x86_64 составляют: ОС Ubuntu версии 16.04, порт USB 2.0 (лучше USB 3.0), 1 ГБ оперативной памяти и 4 ГБ свободного дискового пространства.
Основное визуальное отличие USB-сопроцессора Neural Compute Stick от своего прототипа Fathom заключается в том, что новая розничная версия выполнена в корпусе из алюминия (прототип был представлен в пластике).
USB-сопроцессор Neural Compute Stick доступен для заказа по цене $79 (Fathom в свое время предлагался по $99.
Области применения
USB-сопроцессор Neural Compute Stick может пригодиться разработчикам систем искусственного интеллекта, которые могут его использовать в качестве акселератора уже имеющихся ПК для локального ускорения процесса машинного обучения или создания новых нейронных сетей. По данным Movidius, несколько USB-сопроцессоров Neural Compute Stick, подключенных к системе, увеличивают ее производительность практически линейно.
Compute Stick также может заинтересовать компании, планирующие выпускать собственные продукты с возможностью оперативного локального формирования нейронных сетей с помощью простого подключения USB-совместимого устройства.
Ограничения
Устройства класса Compute Stick имеют определенные ограничения по масштабу вычислительной мощности, не всегда масштабируемые на большие проекты.
Поэтому для корпоративных профильных систем – таких как, например, сеть камер безопасности с искусственным интеллектом, или большие нейронные сети, компаниям будет выгоднее приобрести специализированные процессоры машинного зрения, усилить вычислительную мощность графическими картами или арендовать дополнительные вычислительные ресурсы у облачных провайдеров.
Данной статьей открывается цикл, посвященный Intel Movidius Neural Compute Stick (NCS) . NCS – это устройство, которое подключается по USB к ПК или Rasberry PI и предоставляет в распоряжение мощные ресурсы для запуска нейронных сетей. Представленный материал является ознакомительным, его задача дать общее представление о том, что такое NCS.
Здесь и далее будем рассматривать продукты фирмы Intel , которые используются в задачах машинного обучения, нас, в первую очередь, интересует направление Deep Learning .
Аппаратное обеспечение Intel для машинного обучения
У Intel есть продукты общего назначения – центральные процессоры, которые могут использоваться как для обучения, так и для использования нейронной сети. Для обучения модели предпочтительны серверные микропроцессоры Intel Xeon (https://www.intel.ru/content/www/ru/ru/products/processors/xeon/view-all.html) (в первую очередь это связано со скоростью работы), довольно частая практика – это использование облачных вычислений для тренировки модели, в этом случае, сервера, на которых это облако работает, могут функционировать под управлением Intel Xeon . Для того, чтобы использовать полученную модель подойдут процессоры Intel Xeon , Core , Atom , требования к вычислительным мощностям при работе с готовой моделью ниже, чем к процессу ее обучения, поэтому тут можно обойтись менее производительными устройствами.
Также есть специализированные решения , которые изначально проектировались для работы в рамках направления Deep Learning . В первую очередь хотелось бы сказать про процессор (если его вообще так можно назвать) Intel Nervana , он в первую очередь ориентирован на тренировку нейронных сетей. 
Для запуска натренированной сети предоставляется целый набор различных устройств. Это Intel FPGA – программируемые логические схемы. После покупки Intel фирмы Altera чипы Stratix , Arria , MAX теперь выпускаются под брендом Intel .
Ссылка на изображение
Для этих целей также может использоваться Intel Iris Graphics – интегрированное в микропроцессор графические ядро. Есть специализированные устройства для распознавания речи ( Intel GNA (IP) ). Более подробно про аппаратные и программные средства Intel для работы в области искусственного интеллекта можете прочитать здесь. Для нас наибольший интерес представляют чипы Movidius Myriad , в частности Myriad 2 , на котором построен Movidius NCS , обзору которого будет посвящен данный цикл статей.
Программное обеспечение Intel для машинного обучения
Для работы в области AI Intel предлагает довольно много разного программного обеспечения, список того, что можно использовать приведен ниже на картинке. На ней представлены как решения созданные непосредственно самой Intel , так и библиотеки и языки, разработанные сторонними организациями. Решения “ не-Intel ”, как правило оптимизированы для работы с железом Intel : например дистрибутив Python , библиотеки MXNet , Caffe , TensorFlow и др.
Ссылка на изображение
Нас будут интересовать Intel Movidius SDK и библиотеки Caffe и TensorFlow .
Intel Movidius Neural Compute Stick (NCS)
Если “в двух словах”, NCS – это устройство, которое подключается по USB к вашему компьютеру или Raspberry PI , оно предназначено для запуска на нем уже готовых (обученных) нейросетей, обладающее очень низким энергопотреблением, порядка 1 Вт .
Ссылка на изображение
Данное устройство содержит 4Gb памяти LPDDR3 DRAM и VPU Intel Movidius . В состав Myriad 2 входят 12 VLIW 128-битных векторных процессора SHAVE , конфигурируемые ускорители для обработки изображений, микропроцессор Leon и интерфейсы для организации связи с различными устройствами.
Блок схема устройства показана на рисунке ниже.
Ссылка на изображение
Векторные процессоры SHAVE используются для запуска на них нейросетей. Основное назначение микропроцессора Leon – это координация работы через USB интерфейс (загрузка графа нейросети и изображений для анализа и т.п.), также он выполняет задачу мониторинга температуры и управление устройством, в случае ее повышения.
Ваше программное обеспечение может взаимодействовать с NCS через специальный NCAPI , который входит в состав NCSDK . Разрабатывать ПО можно на языке Python либо C/C++ . В процессе ознакомления с данным продуктом мы будем использовать Python . Схема организации взаимодействия с NCS выглядит так как представлено на следующем рисунке.
Ссылка на изображение
Разработка под Intel NCS
Для разработки под Intel NCS вам потребуется непосредственно само устройство и SDK для него. В состав SDK входит NC Toolkit и NC API . NC Toolkit включает в себя Profiler , Checker и Compiler . Profiler использует готовую нейронную сеть (на базе Caffe или Tensorflow ), позволяет строить для нее графическое представление, выполняет сеть на NCS и собирает различные метрики (количество flops , размер, время работы для каждого слоя). Checker используется для запуска процедуры распознавания для конкретного изображения и проверки результатов классификации. Compiler преобразует Caffe/Tensorflow модель в граф, с которым может работать Intel Movidius . NCAPI используется в приложениях, которые работаю с NCS через USB . Workflow работы с NCS выглядит следующим образом.
Ссылка на изображение
На этом мы закончим краткий обзор Intel Movidius Neural Compute Stick . В следующей статье мы разберем установку NCSDK на VirtualBox и запуск тестового приложения.
P.S.
Если вам интересна тема анализа данных, то мы рекомендуем ознакомиться с библиотекой Pandas. На нашем сайте вы можете найти вводные уроки по этой теме. Все уроки по библиотеке Pandas собраны в книге “Pandas. Работа с данными”. 
Основой Mov >
Компания Intel представила изделие под названием Movidius Neural Compute Stick. По словам производителя, это первое миниатюрное устройство с подключением по USB, реализующее технологию глубокого обучения нейронных сетей и снабженное соответствующим ускорителем.
Новинка адресована широкому кругу разработчиков, исследователей и производителей. Она позволяет снизить порог вхождения применительно к разработке, настройке и развертыванию приложений ИИ.
Основой Movidius Neural Compute Stick служит процессор Myriad 2, хорошо подходящий для указанных задач.
В создании приложений, работающих по принципам искусственного интеллекта, можно выделить два фундаментальных этапа: обучение алгоритма на большом наборе данных и использование алгоритма в приложении для интерпретации реальных данных. Выполнение второго этапа в конечном устройстве, а не в облаке обеспечивает выигрыш с точки зрения задержек, затрат энергии и безопасности данных.