Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Készítette: Pálfalvi József BME VIK Intelligens Rendszerek MSc szakirány KINECT © ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN Konzulens: Dr. Dobrowiecki.

Hasonló előadás


Az előadások a következő témára: "Készítette: Pálfalvi József BME VIK Intelligens Rendszerek MSc szakirány KINECT © ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN Konzulens: Dr. Dobrowiecki."— Előadás másolata:

1 Készítette: Pálfalvi József BME VIK Intelligens Rendszerek MSc szakirány KINECT © ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN Konzulens: Dr. Dobrowiecki Tadeusz BME MIT

2 MI IS A „KINECT”? RGB kamera 3D mélység érzékelő: IR projektor és IR szenzor kamera jellegű szenzor, mely eredetileg az XBOX360 kiegészítőjeként jelent meg végén vezérlés csak testmozdulatokkal (hardveres periféria közvetlen használata nélkül) képes a 3D mélységérzékelésre emberi alakok felismerése, követése a 3D térben, és „szkeleton” illesztése (OpenNI keretrendszer segítségével) valósidejű (30FPS) működés 2 KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN

3 CÉLKITŰZÉS Kinect szenzor megismerése, képességeinek felmérése és a szenzor felhasználhatóságának felmérése AAL alkalmazásokban kiválasztott AAL feladatok megoldása a szenzor által szolgáltatott adatokra építve: emberi alakok tartós követése a 3D térben elesés detektálás gesztusfelismerés (pl.: ivás mozdulatsora) AAL rendszer tervezése és megvalósítása („proof of concept”) az elkészült rendszer tesztelése és értékelése 3 KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN

4 ELSŐ TESZTELÉSEK ÉS AZ ELŐZETES RENDSZERTERV A szenzorral végzett első tesztek azt mutatták, hogy a szenzor és a keretrendszer által szolgáltatott adatokra építve megvalósíthatók a kitűzött célfeladatok. 3D követés  helyszín (térrészek, bútorok) modellezése, kontextusként való felhasználása elesés detektálás a követett alany tömegközéppontja alapján (szkeleton független) gesztusfelismerés: szkeleton alapján, kontextust is felhasználva következtető rendszer kapcsolja össze a különböző adatokat, generáljon eseményeket kiterjeszthető legyen más szenzorokkal 4 KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN

5 RENDSZER TERVEZÉSE ÉS MEGVALÓSÍTÁSA 1. KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN 5 Kinect és a helyszín kalibrálása, kontextus: koordinátarendszer transzformáció (Kinect  abszolút) Horn „Absolute Orientation” algoritmusa térrészek és bútorok közelítése gömbökkel  egyszerű definíció és gyors kiértékelés Elesés detektálás: tömegközéppont pozíciója alapján számításba veszi a sebességet és az elesés és földön tartózkodás idejét megkülönböztetve: elesés veszélye és elesés

6 RENDSZER TERVEZÉSE ÉS MEGVALÓSÍTÁSA 2. KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN 6 Gesztusfelismerés: általános gesztusfelismerő szkeleton csuklópontok pozíció idősor-adatok alapján, mintamegfeleltetéssel DTW (Dynamic Time Warping) algoritmus Fuzzy következtető rendszer: adatok fuzionálása kimenet alapján események generálása rögzített és dinamikusan felépített szabályok változók értéktartományait és a fuzzy halmazokat kísérletek alapján határoztam meg

7 SZOFTVER TERVEZÉSE ÉS IMPLEMENTÁLÁSA KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN 7 objektum orientált, komponens alapú  komponensek könnyen cserélhetők, más szenzorokkal egyszerűen bővíthető eseményvezérelt, többszálú, valós-idejű működés  szinkronizáció szenzoradatok  adatfeldolgozó  gesztusfelismerő és következtető rendszer adatok elérése jól definiált, bővíthető interfészeken keresztül  adatok generálása és felhasználása szétválik átlátható, informatív felhasználói felület

8 ELESÉS DETEKTÁLÁS TESZTELÉSE KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN 8 „state of the art” az elesés detektálás tesztelésére: előre definiált, sokszor elvégzett tesztek alapján a szenzitivitás (True Recognition Rate) és a specificitás számítása SzituációAlany 1Alany 2 Esés tetszőleges irányba 25/0 (100%) Ájulás (lassú összeesés) 24/1 (96%)23/2 (92%) Esés kapaszkodással, félig a székre/ágyra 23/2 (92%)25/0 (100%) Esés bútor mögé 22/3 (88%)20/5 (80%) Összesítve TRR: 94%TRR: 93% TRR: 93.5% szenzitivitás: 93.5%, specificitás: 89% kitakarásba való esés problémás lehet  további paraméterek felhasználása hirtelen leülés sok esetben hamis pozitív eredményt ad szakirodalomban található megoldásokhoz képest a rendszer jól teljesít valós körülmények között, valós idejű működéssel

9 GESZTUSFELISMERÉS TESZTELÉSE KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN 9 tesztelés elve ugyan az, mint az elesés detektálásnál két fázisban: DTW algoritmus paraméterezése kísérletek alapján éles tesztek elvégzése objektumhasználatnál nem azonosíthatók a gesztusok ivás mozdulatsora: szenzitivitás: 85%, specificitás: 81.6% vezérlő gesztusok (ideális eset, felhasználó tudatában van a vezérlésnek): szenzitivitás 96.6%, specificitás:100% gesztusfelismerés sebessége nagymértékben lassul a felismerendő gesztusok számával  előszűrés javasolt szkeletonra alapozott gesztusfelismerés ideális esetekben (felismeréséhez szükséges végtagok tisztán látszódnak) használható

10 ADL AKTIVITÁS FELISMERÉS TESZTELÉSE KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN 10 objektumokkal való interakció: térrészek közötti mozgás robosztusságának tesztelése: 5 perces folyamatos mozgás, ebből ~5 másodpercig volt a rendszer „téves” állapotban  ~98% teljesítmény gesztusfelismerés képezi a kontextus-függő ADL aktivitás felismerés alapját szkeleton illesztés és a gesztusfelismerő a szűk keresztmetszet gesztust végző végtagok maradjanak a szenzor látóterében ivás egy adott asztal mellett: 82%-os teljesítmény ObjektumFelismert / Nem felismert Asztal 27/3 (90%) Szekrény 25/5 (83,3%) Kis szekrény 28/2 (93,3%) Összesítve TRR: 92.2%

11 ÉRTÉKELÉS KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN 11 a Kinect jól használható AAL rendszerekben, de a szoftver keretrendszer adatain felül célszerű lenne más adatokat és szenzorokat is integrálni a rendszerbe elesés detektálás önmagában is megállja a helyét általános gesztusfelismerés nehezen megoldható egy Kinect szenzort használva, és a DTW algoritmus teljesítménye a gesztusok számával romlik vezérlő gesztusokhoz, és ideálisabb körülmények esetében használható a gesztus és ADL aktivitás felismerés 3D térben való mozgás követése jól működik  ez más szenzorokkal kiegészítve jó alap lehet szoftver gondosan megtervezett  alapot képezhet más AAL alkalmazásokhoz és új szenzorok integrálása könnyű Kinect-et kiszolgáló PC viszonylag nagy teljesítménnyel kell, hogy rendelkezzen

12 KITEKINTÉS KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN 12 Kinect mikrofon használata  segítségkérés, hangvezérlés szkeleton és nyers távolságadatok felhasználása gesztusfelismeréshez felismerendő gesztusok szűrése kontextus alapján  teljesítmény növekedés falak és egyéb sík felületek automatikus felismerése a mélységkép alapján (sík illesztő algoritmusok) felhasználói felület kiegészítése: kontextus szerkesztő eszköz következtető rendszer szabályainak példák alapján való tanítása

13 KÖSZÖNÖM A FIGYELMET! KINECT ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN 13


Letölteni ppt "Készítette: Pálfalvi József BME VIK Intelligens Rendszerek MSc szakirány KINECT © ALAPÚ AMBIENS INTELLIGENCIA AAL ALKALMAZÁSOKBAN Konzulens: Dr. Dobrowiecki."

Hasonló előadás


Google Hirdetések