KINECT© szenzor intelligens terekben Készítette: Pálfalvi József BME VIK Intelligens Rendszerek MSc szakirány Konzulens: Dr. Dobrowiecki Tadeusz BME MIT

Mi is a „KINECT”? RGB kamera eredetileg az XBOX360 kiegészítője vezérlés csak testmozdulatokkal (közvetlen hardveres periféria nélkül) emberi alakok felismerése, követése a 3D térben, és „szkeleton” illesztése kézmozdulatok azonosítása megvilágítás független működés realtime (30FPS) működés RGB kamera 3D mélység érzékelő: IR projektor és IR szenzor

működés Mélységtérkép készítése: IR projektor pszeudorandom mintázatot vetít ki  IR kamera érzékeli  kalibrációs adatok segítségével mélységtérkép készítése: pontok (frelületek) távolsága a szenzortól (Z tengely) korlátos távolságban és látószöggel működik maga a hardver „ennyit tud”

A benne rejlő potenciál alak felismerés és követés nem új keletű téma 2D RGB kép alapján 3D alakfelismerés és követés nehéz feladat (ill-posed problem) MotionCapture technológia: markerek, kalibrált stúdiók KINECT: 2D RGB kép + 3D mélységkép (2+1 dimenzió) kompakt + köré épülő technológia

A köré épülő technológia 1. OpenNI (Natural Interaction): cél az ember-gép interakció megváltoztatása szabványos API-k a KINECT-hez hasonló eszközök integrálására (hardware) magasabb szintű felismerő algoritmusok használata (middleware) a felhasználói programokban (alacsonyszintű adatfeldolgozás eltakarása) támogatott funkciók: kézfej követés gesztus értelmezés teljes alak felismerés színtér elemzés

A köré épülő technológia 2. NITE: Natural Interacion Technology for End-user alacsony szintű adatok (pl. pixel adatok, 3D mélységadatok) helyett magasabb szintű reprezentációt tesz lehetővé: kézfej pozíció teljes alak (szkeleton) pozíció háttérben: algoritmusok, melyek a nyers adatokat feldolgozva nyeri ki az „érdekes adatokat” C, C++, C# támogatás (Java?) kombinálható az OpenCV-vel (C++)

Felhasználási lehetőségek 1. KINECT+OpenNI+NITE nyújtotta lehetőségek kihasználása Robotvezérlés (teleoperation, autonóm) Augmented Realty (kiterjesztett valóság): szórakoztatóipar interaktív online áruház 3D rajzoló programok AAL (Ambient Assisted Living), ADL(Activities of Daily Living): rossz szokások megfigyelése elesés detektálás rehabilitációs program

Felhasználási lehetőségek 2. Intelligens szoba: környezet érzékel és rátanul az emberre gesztusok felismerése (közvetlen vezérlés) automatikus felismerés (testpozíciók, mozdulatsorok felismerése) Biztonságtechnika: RGB kamera (arcfelismerés) + alakfelismerés, mozgásfelismerés  biometria Gesztuskód: testtel végzet egyedi mozgáskombináció

konklúzió, Kitekintés Szenzor és a mögöttes technológia megismerése Létező megoldások megismerése (alakfelismerés, KINECT) Felhasználási lehetőségek feltérképezése Hasznos és innovatív megoldás kidolgozása valamely felhasználási lehetőségre Szenzor képességeinek megismerése a célfeladat tükrében

köszönöm a figyelmet!