Презентация на тему Кинект – дорога в будущее

работы 2. Аналогичные устройства 3. Сравнение Kinect SDK и OpenNI Framework 4.

Обзор алгоритма используемого для распознавания скелета человека. 5. Сферы применения 3D сенсоров с примерами 6. Создание приложений для Kinect в Unity3D

План

Контроль осуществляется посредством жестов и речи (Natural User Interface

– NUI).

Kinect – 3D сенсор.

Что такое Kinect?

3D-технология от PrimeSense (2005г.), которая использует структурированный свет, инфракрасные

камеры и специализированный процессор для измерения расстояния от камеры до сцены.

Asus Xtion Pro (без RGB) и
Asus Xtion Pro

Live (c RGB)

шнур (3 м). Но: очень большой и тяжелый.

Asus Xtion

Pro
30 fps 640x480,60 fps 320x480.

Asus Xtion Pro Live
как Asus Xtion Pro, плюсRGB-камера.
Все камеры - USB 2.0

Характеристики

уникальный точечный рисунок. Лазерные точки отражаются и фиксируются ИК-камерой

. Объекты сцены, расположенные близко к камере отражаются в точки изображения, которые находятся близко друг к другу, а объекты, расположенные далеко от камеры — отражаются в точки изображения, которые находятся дальше друг от друга.

Принцип работы 3d сенсора

http://robocraft.ru/blog/technology/641.html

500 см, но качественно - от 80см до 350-400

см.

Охват камеры
С расстояния 200 см камера видит по горизонтали область размером примерно в 200 см длиной.

Точность измерений
Принцип измерения дальности в рассматриваемых камерах основан на явлении параллакса. Поэтому с ростом расстояния до объекта точность измерений падает обратно пропорционально расстоянию. На расстоянии 100-200 см от камеры точность в среднем составляет 1 см.

Точность измерений

(по сравнению с обычными стереосистемами).

Минусы:
при ярком свете не работает,

так как камера не видит свет от ИК-лазера (по сравнению с обычными стереосистемами)
не видит стеклянные и зеркальные объекты (по сравнению с сонарами)
- низкая точность (по сравнению с камерами, основанными на лазерных дальномерах)
не ставьте на горячие предметы, внутри инфракрасная камера

Безопасность использования:
Производители говорят, что ИК-излучение, производимое лазером, безопасно для глаз, особенно если не смотреть прямо в лазер

человека

зависит от слежения, а находит части тела, основываясь на

локальном анализе каждого пиксела. Признаки, для идентификации частей тела получаются из простой формулы: f = d( x + u/d(x) ) - d( x + v/d(x))
признаки измеряют нечто, связанное с трехмерной формой области вокруг пиксела

В чем магия?

где u,v — пара векторов смещения, а d(x) — глубина пиксела, то есть расстояние от Kinect до точки, проецирующейся на x.

http://habrahabr.ru/post/116393/

управление мотором. Среди них выделяется
1) https://github.com/avin2/SensorKinect   (драйвер для OpenNI) 2)

freenect
PCL (Point cloud library) библиотека для работы с облаками точек.

OpenNI + NITE
SDK от фирмы PrimeSense, которая и изобрела первоначально класс устройств типа Kinect и Xtion. Платформонезависима.

Microsoft KinectSDK 1.5
Работа с микрофоном: позволяет определить откуда звучит голос человека, Speech Recognition, работа с мотором, 6 человек распознает, у 2х распознает скелет, распознает скелет сидящего человека. Распознавание мимики. Можно использовать только с Xbox и Windows. Читайте лицензионные соглашения!

Средства разработки

компания Surrey Satellite Technology использовала сенсоры популярного манипулятора Xbox

Kinect, оказавшиеся достаточно точными, чтобы предоставить паре спутников всю необходимую информацию об их вращении и взаимном расположении по всем трём осям.

соответствующим разрешению, с которым снимает сенсор (640 х 480)
Что

внутри?

Depth Map
Содержит значения от 0 до 7000(!) – расстояние в миллиметрах до точки, если 0 – глубина не распознана.
У кинекта минимальное значение - 600

Label Map
В ячейке либо 0, либо ID пользователя ( начиная с 1)

Binaries (http://www.openni.org/Downloads/OpenNIModules.aspx) - C#
Закомментировать строки с ошибками
Посмотреть примеры
Плагин

позволяет запускать игры без кинекта, а с ранее записанными файлами с расширением .ONI – удобно для отладки
Записать видео можно с помощью C:\Program Files\OpenNI\Samples\Bin\Release\NiViewer нажатием D попробовать F, в Unity OpenNISettings -> OpenNI configuration -> Recording File Name – тыкать ближе к краю окна

Kinect + Unity3d

устанавливала SensorKinect093-Bin-Win32-v5.1.2.1, скачанный с сайта Openni, а надо было SensorKinect091-Bin-Win32-v5.1.0.25 https://github.com/avin2/SensorKinect/tree/master/Bin

с кинектом (DLL) и подключить ее к Unity. Unity

поддерживает подключение DLL написанных на C, C++, Objective-C (Только в платной версии)

Kinect + Unity3d

3DiVi


Перспективы