KINECT© szenzor intelligens terekben

Az előadások a következő témára: "KINECT© szenzor intelligens terekben"— Előadás másolata:

1 KINECT© szenzor intelligens terekben
Készítette: Pálfalvi József BME VIK Intelligens Rendszerek MSc szakirány Konzulens: Dr. Dobrowiecki Tadeusz BME MIT

2 Mi is a „KINECT”? RGB kamera
eredetileg az XBOX360 kiegészítője vezérlés csak testmozdulatokkal (közvetlen hardveres periféria nélkül) emberi alakok felismerése, követése a 3D térben, és „szkeleton” illesztése kézmozdulatok azonosítása megvilágítás független működés realtime (30FPS) működés RGB kamera 3D mélység érzékelő: IR projektor és IR szenzor

3 működés Mélységtérkép készítése:
IR projektor pszeudorandom mintázatot vetít ki  IR kamera érzékeli  kalibrációs adatok segítségével mélységtérkép készítése: pontok (frelületek) távolsága a szenzortól (Z tengely) korlátos távolságban és látószöggel működik maga a hardver „ennyit tud”

4 A benne rejlő potenciál
alak felismerés és követés nem új keletű téma 2D RGB kép alapján 3D alakfelismerés és követés nehéz feladat (ill-posed problem) MotionCapture technológia: markerek, kalibrált stúdiók KINECT: 2D RGB kép + 3D mélységkép (2+1 dimenzió) kompakt + köré épülő technológia

5 A köré épülő technológia 1.
OpenNI (Natural Interaction): cél az ember-gép interakció megváltoztatása szabványos API-k a KINECT-hez hasonló eszközök integrálására (hardware) magasabb szintű felismerő algoritmusok használata (middleware) a felhasználói programokban (alacsonyszintű adatfeldolgozás eltakarása) támogatott funkciók: kézfej követés gesztus értelmezés teljes alak felismerés színtér elemzés

6 A köré épülő technológia 2.
NITE: Natural Interacion Technology for End-user alacsony szintű adatok (pl. pixel adatok, 3D mélységadatok) helyett magasabb szintű reprezentációt tesz lehetővé: kézfej pozíció teljes alak (szkeleton) pozíció háttérben: algoritmusok, melyek a nyers adatokat feldolgozva nyeri ki az „érdekes adatokat” C, C++, C# támogatás (Java?) kombinálható az OpenCV-vel (C++)

7 Felhasználási lehetőségek 1.
KINECT+OpenNI+NITE nyújtotta lehetőségek kihasználása Robotvezérlés (teleoperation, autonóm) Augmented Realty (kiterjesztett valóság): szórakoztatóipar interaktív online áruház 3D rajzoló programok AAL (Ambient Assisted Living), ADL(Activities of Daily Living): rossz szokások megfigyelése elesés detektálás rehabilitációs program

8 Felhasználási lehetőségek 2.
Intelligens szoba: környezet érzékel és rátanul az emberre gesztusok felismerése (közvetlen vezérlés) automatikus felismerés (testpozíciók, mozdulatsorok felismerése) Biztonságtechnika: RGB kamera (arcfelismerés) + alakfelismerés, mozgásfelismerés  biometria Gesztuskód: testtel végzet egyedi mozgáskombináció

9 konklúzió, Kitekintés Szenzor és a mögöttes technológia megismerése
Létező megoldások megismerése (alakfelismerés, KINECT) Felhasználási lehetőségek feltérképezése Hasznos és innovatív megoldás kidolgozása valamely felhasználási lehetőségre Szenzor képességeinek megismerése a célfeladat tükrében

10 köszönöm a figyelmet!