KINECT© alapú ambiens intelligencia AAL alkalmazásokban Készítette: Pálfalvi József BME VIK Intelligens Rendszerek MSc szakirány Konzulens: Dr. Dobrowiecki Tadeusz BME MIT

Mi is a „KINECT”? kamera jellegű szenzor, mely eredetileg az XBOX360 kiegészítőjeként jelent meg 2010. végén vezérlés csak testmozdulatokkal (hardveres periféria közvetlen használata nélkül) képes a 3D mélységérzékelésre emberi alakok felismerése, követése a 3D térben, és „szkeleton” illesztése (OpenNI keretrendszer segítségével) valósidejű (30FPS) működés RGB kamera 3D mélység érzékelő: IR projektor és IR szenzor Kinect alapú ambiens intelligencia AAL alkalmazásokban

Célkitűzés Kinect szenzor megismerése, képességeinek felmérése és a szenzor felhasználhatóságának felmérése AAL alkalmazásokban kiválasztott AAL feladatok megoldása a szenzor által szolgáltatott adatokra építve: emberi alakok tartós követése a 3D térben elesés detektálás gesztusfelismerés (pl.: ivás mozdulatsora) AAL rendszer tervezése és megvalósítása („proof of concept”) az elkészült rendszer tesztelése és értékelése Kinect alapú ambiens intelligencia AAL alkalmazásokban

Első tesztelések és az előzetes rendszerterv A szenzorral végzett első tesztek azt mutatták, hogy a szenzor és a keretrendszer által szolgáltatott adatokra építve megvalósíthatók a kitűzött célfeladatok. 3D követés  helyszín (térrészek, bútorok) modellezése, kontextusként való felhasználása elesés detektálás a követett alany tömegközéppontja alapján (szkeleton független) gesztusfelismerés: szkeleton alapján, kontextust is felhasználva következtető rendszer kapcsolja össze a különböző adatokat, generáljon eseményeket kiterjeszthető legyen más szenzorokkal Kinect alapú ambiens intelligencia AAL alkalmazásokban

rendszer tervezése és megvalósítása 1. Kinect és a helyszín kalibrálása, kontextus: koordinátarendszer transzformáció (Kinect  abszolút) Horn „Absolute Orientation” algoritmusa térrészek és bútorok közelítése gömbökkel  egyszerű definíció és gyors kiértékelés Elesés detektálás: tömegközéppont pozíciója alapján számításba veszi a sebességet és az elesés és földön tartózkodás idejét megkülönböztetve: elesés veszélye és elesés Kinect alapú ambiens intelligencia AAL alkalmazásokban

rendszer tervezése és megvalósítása 2. Gesztusfelismerés: általános gesztusfelismerő szkeleton csuklópontok pozíció idősor-adatok alapján, mintamegfeleltetéssel DTW (Dynamic Time Warping) algoritmus Fuzzy következtető rendszer: adatok fuzionálása kimenet alapján események generálása rögzített és dinamikusan felépített szabályok változók értéktartományait és a fuzzy halmazokat kísérletek alapján határoztam meg Kinect alapú ambiens intelligencia AAL alkalmazásokban

Szoftver tervezése és implementálása objektum orientált, komponens alapú  komponensek könnyen cserélhetők, más szenzorokkal egyszerűen bővíthető eseményvezérelt, többszálú, valós-idejű működés  szinkronizáció szenzoradatok  adatfeldolgozó  gesztusfelismerő és következtető rendszer adatok elérése jól definiált, bővíthető interfészeken keresztül  adatok generálása és felhasználása szétválik átlátható, informatív felhasználói felület Kinect alapú ambiens intelligencia AAL alkalmazásokban

elesés detektálás tesztelése „state of the art” az elesés detektálás tesztelésére: előre definiált, sokszor elvégzett tesztek alapján a szenzitivitás (True Recognition Rate) és a specificitás számítása  Szituáció Alany 1 Alany 2 Esés tetszőleges irányba 25/0 (100%) Ájulás (lassú összeesés) 24/1 (96%) 23/2 (92%) Esés kapaszkodással, félig a székre/ágyra Esés bútor mögé 22/3 (88%) 20/5 (80%) Összesítve TRR: 94% TRR: 93% TRR: 93.5% szenzitivitás: 93.5%, specificitás: 89% kitakarásba való esés problémás lehet  további paraméterek felhasználása hirtelen leülés sok esetben hamis pozitív eredményt ad szakirodalomban található megoldásokhoz képest a rendszer jól teljesít valós körülmények között, valós idejű működéssel Kinect alapú ambiens intelligencia AAL alkalmazásokban

gesztusfelismerés tesztelése tesztelés elve ugyan az, mint az elesés detektálásnál két fázisban: DTW algoritmus paraméterezése kísérletek alapján éles tesztek elvégzése objektumhasználatnál nem azonosíthatók a gesztusok ivás mozdulatsora: szenzitivitás: 85%, specificitás: 81.6% vezérlő gesztusok (ideális eset, felhasználó tudatában van a vezérlésnek): szenzitivitás 96.6%, specificitás:100% gesztusfelismerés sebessége nagymértékben lassul a felismerendő gesztusok számával  előszűrés javasolt szkeletonra alapozott gesztusfelismerés ideális esetekben (felismeréséhez szükséges végtagok tisztán látszódnak) használható Kinect alapú ambiens intelligencia AAL alkalmazásokban

adl aktivitás felismerés tesztelése objektumokkal való interakció: térrészek közötti mozgás robosztusságának tesztelése: 5 perces folyamatos mozgás, ebből ~5 másodpercig volt a rendszer „téves” állapotban  ~98% teljesítmény gesztusfelismerés képezi a kontextus-függő ADL aktivitás felismerés alapját szkeleton illesztés és a gesztusfelismerő a szűk keresztmetszet gesztust végző végtagok maradjanak a szenzor látóterében ivás egy adott asztal mellett: 82%-os teljesítmény Objektum Felismert / Nem felismert Asztal 27/3 (90%) Szekrény 25/5 (83,3%) Kis szekrény 28/2 (93,3%) Összesítve TRR: 92.2% Kinect alapú ambiens intelligencia AAL alkalmazásokban

értékelés a Kinect jól használható AAL rendszerekben, de a szoftver keretrendszer adatain felül célszerű lenne más adatokat és szenzorokat is integrálni a rendszerbe elesés detektálás önmagában is megállja a helyét általános gesztusfelismerés nehezen megoldható egy Kinect szenzort használva, és a DTW algoritmus teljesítménye a gesztusok számával romlik vezérlő gesztusokhoz, és ideálisabb körülmények esetében használható a gesztus és ADL aktivitás felismerés 3D térben való mozgás követése jól működik  ez más szenzorokkal kiegészítve jó alap lehet szoftver gondosan megtervezett  alapot képezhet más AAL alkalmazásokhoz és új szenzorok integrálása könnyű Kinect-et kiszolgáló PC viszonylag nagy teljesítménnyel kell, hogy rendelkezzen Kinect alapú ambiens intelligencia AAL alkalmazásokban

kitekintés Kinect mikrofon használata  segítségkérés, hangvezérlés szkeleton és nyers távolságadatok felhasználása gesztusfelismeréshez felismerendő gesztusok szűrése kontextus alapján  teljesítmény növekedés falak és egyéb sík felületek automatikus felismerése a mélységkép alapján (sík illesztő algoritmusok) felhasználói felület kiegészítése: kontextus szerkesztő eszköz következtető rendszer szabályainak példák alapján való tanítása Kinect alapú ambiens intelligencia AAL alkalmazásokban

Köszönöm a figyelmet! Kinect alapú ambiens intelligencia AAL alkalmazásokban