Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Kézmozdulat felismerő rendszer. Jelenlegi iskola: Budapesti Műszaki Főiskola – Neumann János Informatika Kar - Szoftvertechnológia Intézet – Informatikai.

Hasonló előadás


Az előadások a következő témára: "Kézmozdulat felismerő rendszer. Jelenlegi iskola: Budapesti Műszaki Főiskola – Neumann János Informatika Kar - Szoftvertechnológia Intézet – Informatikai."— Előadás másolata:

1 Kézmozdulat felismerő rendszer

2 Jelenlegi iskola: Budapesti Műszaki Főiskola – Neumann János Informatika Kar - Szoftvertechnológia Intézet – Informatikai Automatizált Rendszerek Szakirány Érdeklődési kör: zene, képfeldolgozás 22 / 2

3 Valós idejű gitár szimuláció Szórakoztató, interaktív formában 22 / 3

4 Előfeldolgozás Értelmezés Kamera kép Előfeldolgozott kép Pengetés esemény Előállt hang Hang előállítás 22 / 4

5 Simítás HSV konverzió Szegmentálás Előfeldolgozás Ablakok pozícionálása Értelmezés Kamera kép Előfeldolgozott kép Pengetés esemény Előállt hang Hang előállítás 22 / 5

6 Simítás HSV konverzió Szegmentálás Előfeldolgozás Ablakok pozícionálása Értelmezés Lefogott hang kiszámítása Pengetés esemény felismerése Kamera kép Szegmentált, konvertált kép Kéztávolság és pengetés esemény Előállt hang Hang előállítás 22 / 6

7 Simítás HSV konverzió Szegmentálás Előfeldolgozás Ablakok pozícionálása Értelmezés Lefogott hang kiszámítása Pengetés felismerése Kamera kép Szegmentált, konvertált kép Kéz távolság és pengetés esemény ((()))((())) Hang előállítás Gitárnyak szimulálás (érintőkre számolás) Kiválasztott gitárnyak, skála, elrendezés Hangmagasság, megfelelő fájl kiválasztása Hangbank 22 / 7

8 Szűrés Átlag, Gauss, Medián Színterek Szegmentálás Objektum keresés 22 / 8

9  RGB színtér  HSV színtér 22 / 9

10 22 / 10  Hisztogram alapú szegmentálás  Lokális szegmentálás  Fix küszöb

11 Éldetektálók o Laplace o Sobel o Canny 22 / 11

12 Bőrszín statisztikája Hisztogramban tároljuk a bőrszínről vett adatokat Összevetjük a kép pixeleit a hisztogrammal Statisztikai adatok  szürkeárnyalatos kép 22 / 12

13 Súlypont számolása CamShift algoritmussal Így meg lesz egy pontunk, amiből tudunk következtetni a kéz helyzetére Gradiens hisztogramok használata kutatás alatt 22 / 13

14  Képkockánként szegmentálás  Egymást követő képkockák különbsége  Objektum követés konstans háttérrel  Objektum követés megadott régióban 22 / 14

15 A bal kéz pozíciója alapján ki tudjuk számolni, hogy hanyadik érintőnek megfelelő helyen lenne egy gitár nyakán A jobb kéz mozgása alapján tudunk következtetni a pengetés eseményére 22 / 15

16 „Hangbank” alkalmazásával Tömörített wav fájlok, felvéve gitárról Könnyen bővíthető, kevésbé terheli a CPU-t fájl kell a megfelelő terjedelemhez/hangzás Ebből beállítások után „keletkezik” az aktuális gitár hangbázisa Skálák, alaphang 22 / 16

17 Maga a hang kezelése DirectSoundon keresztül történik Jobban kihasználja a számítógép erőforrásait Egyéb funkciókkal további testre szabási lehetőségek (pl. hangerő, panning, effektek...) Legtöbb gépen megtalálható, mivel a DirectX része 22 / 17

18 A hangok tiszta csatornás gitárhangok Tömörítési eljárások közül többet próbáltunk MS ADPCM lett a legoptimálisabb 44 Khz, mono, 180 kbps mintavételezéssel 200 kByte-os file-ok 22 / 18

19 Irodalomkutatás Rendszerterv Alkalmazás Weblap Tervezett nyári munkálatok 22 / 19

20 Célkitűzés Bemutatkozás Rendszerterv  Rendszer áttekintés  Előfeldolgozás  Képinformáció értelmezése  Hang előállítás Irodalomkutatás  Szűrés  Színterek  Szegmentálás  Objektum keresés Objektum követés Kéz pozicionálás Hangstruktúra Direct Sound Összegzés Tartalomjegyzék Köszönetnyilvánítás Készítők 22 / 20

21 22 / 21

22 Bónis Balázs Gyöngyi Lajos Szabó Attila


Letölteni ppt "Kézmozdulat felismerő rendszer. Jelenlegi iskola: Budapesti Műszaki Főiskola – Neumann János Informatika Kar - Szoftvertechnológia Intézet – Informatikai."

Hasonló előadás


Google Hirdetések