Arcdetektáló és arcfelismerő rendszer Myra Arcdetektáló és arcfelismerő rendszer Szerzők: Kövér Tibor & Vígh Dénes Konzulens: Vámossy Zoltán docens BMF Neumann János Informatikai Főiskolai Kar

Céljaink Olyan rendszer megalkotása, amely jó hatékonysággal képes élő videóképen egy, vagy több arcot detektálni háttértől és póztól függetlenül, megfelelő feltételek esetén az arcok jellemzőit adatbázisba gyűjti illetve fölismeri azokat, a képen nyomonköveti az emberek (arcok) mozgását. Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Felhasználási terület Épületek, termek beléptető rendszerei Számítógépek jelszó nélküli hozzáférése Rendőrségi azonosítás segítése Megfigyelés Tömeg- és térfigyelés Biztonsági rendszerek Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Hol találkozhatunk arcfelismerő rendszerekkel? Repülőtereken Kaszinókban Pénzautomatáknál Stadionokban Tömegközlekedési eszközökben Bankokban Államigazgatási épületekben Üzletekben Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Arcfelismerés előnyei és hátrányai Az arcunk mindig velünk van Passzív módszer (nem igényel kooperációt) Feltűnésmentes: lehet rejtett kamerával is Leggyorsabb biometrikus technológia Olcsó hardware-rel is megoldható Az emberi arc változik Ikrek Fényviszonyokra érzékeny Személy kamerához való helyzete Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Hasonló rendszerek – FaceSnap Neurális hálós technikát alkalmazó arcdetektáló, arckövető, arcfelismerő alkalmazáscsomag Repülőterek, bankok biztonsági rendszere Feladata a 24 órán át működő megfigyelőkamerák felvételeinek kiértékelése Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Az arcdetektálás nehézségei Kép tulajdonságai/technikai háttér (méretarány, irány, felbontás, minőség, világosság, kontraszt, színtulajdonságok) Póz Megvilágítás és textúra (megvilágítás, mozgó fényforrás, arcszőrzet, bőrhibák) Háttér Alakvariációk (arckifejezés, mimika) Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Arcdetektáló technikák Top-down modell Tanulás alapú rendszerek, Neurális hálók Szín-alapú megközelítés Mozgás-alapú megközelítés (pislogás, mozgás, háttér-kivonás) Arcjellemzők keresése (szem, száj, szemöldök, orrlyukak, haj vonala) Mintaillesztés Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Az arcfelismerés általános folyamata Referenciarekord készítése a felismerendő személyről Arclokalizáció Arcnormalizáció Arcrekord készítése Arcrekord összehasonlítása a referencia rekordokkal Küszöbértékszámítás Elvetés vagy felismerés Az arcfelismerés folyamata Az arcfelismerés több lépésből áll, melyek mindig azonos, meghatározott séma szerint zajlanak. -Első lépésben egy referenciarekord készül a felismerendő személyről. Ehhez általában elég néhány fénykép készítése a célszemélyről -Egy regisztrált személy azonosítása során detektálni kell, hogy van-e arc a képen, és ha van, annak elhelyezkedését meg kell határozni -Az arc lokalizációja után az arcot normalizálják, vagyis szabványos nagyságúra méretezik illetve beállítják az arc megfelelő orientációját. -Az arc normalizáció során a szemek jó kiindulópontként szolgálnak -Egy arcrekord készül a normalizált arc jellemzőiből (features) -Az aktuális arcrekord összehasonlításra kerül a már meglévő referencia rekordokkal és ha a rekordok megegyezése egy bizonyos küszöbértéket meghalad, megtörtént a felismerés, a küszöbértéket nem meghaladó rekordokat elvetik Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Arcfelismerő módszerek Jellemzőalapú arcfelismerés Az arc egyes jellemzőit („features”) szűrik ki, melyek alapján az arcot osztályozni lehet. Holisztikus arcfelismerés Az arcot teljes egészében vizsgálják és az osztályozás ennek megfelelően történik Elég felolvasni…. Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Jellemző alapú arcfelismerési technikák Geometrikus jellemzők szerinti arcfelismerés Elastic bunch módszer Geometrikus jellemzők szerinti arcfelismerés: Az orr, szem vagy száj pozícióját és azok egymáshoz való viszonyát számszerűsítve kiszűrik a képből és vektorba mentik. Elastic Bunch módszer Az arc jellemző pontjai segítségével rácshálót feszítenek az arcra A rács csomópontjait különböző szűrők segítségével megvizsgálják és felcímkézik Az eredmény egy gráf lesz, amit az adatbázisban elmentett gráfokhoz hasonlítják Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Holisztikus arcfelismerés Sablon illesztés Fourier Transzformáció Sajátarc módszer Sablon illesztés: Az eljárás során az arcképet szem, száj, orr részekre maszkolják és ezeket a sablonokat hasonlítják össze az adatbázis sablonjaival. Fourier Transzformáció: Az arcképeket fourier transzofmációval frekvenciatartományba transzformálják. Az arc releváns információit tartalmazó fourier együtthatókból vektort képeznek és ezeket hasonlítják az adatbázisban tárolt vektorokhoz. Sajátarc módszer: Az keresett arcot egy többdimenziós arctér vektorává transzformálják. Az arctérben a hozzá legközelebb eső ismert arcot megkeresik. Erről a módszerről még bővebben lesz szó. Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

A Myra rendszer működése (detektálás) Előfeldolgozás Arcszínkeresé Mintaillesztés (AdaBoost) Meghatározás

Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer Színkeresés A YCC színtér előnyösebb (nemlineáris konverzió) A Cb-Cr térben egy ellipszis jelöli a bőrszín-tartományt Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Bőrszín-keresés a gyakorlatban Az arckeresési terület leszűkítése Arc-jelöltek kreálása Más technikák kontrolljaként is használható Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

A Myra rendszer működése (felismerés) Előkészületek: Oktató képhalmaz megválasztása Sajátarcok meghatározása Arcvektortér előállítása Arcadatbázis létrehozása Felismerés : Keresett kép arctérbe vetítése Arctérben a legközelebbi arcvektor megkeresése Eredmény kiértékelése Előkészületek: Oktatóhalmaz kialakítása: Kiválasztunk M darab oktató képet (lehet ismerős vagy ismeretlen kép), majd normalizáljuk és vektorként leképeztük őket. Sajátarcok meghatározása: Az oktató képhalmaz vektoraiból kovarianca mátrixot képzünk és megkeressük a sajátvektorait. Ezeket a sajátvektorokat a szakirodalom sajátarcnak keresztelte el. A sajátarcok szellemszerű arcképek amelyek az oktató arcok legfontosabb jellemzőit tartalmazzák. Arcvektortér előállítása: A sajátarcokból egy ortonormált bázist alkotunk (a bázis egymásra kölcsönösen merőleges és egységnyi hosszúságú bázisvektorokat tartalmaz). Ezt a sokdimenziós vektorteret hívjuk arcvektortérnek. Arcadatbázis létrehozása: Az adatbázisunk vagyis az általunk ismert személyek képeit vektorformára hozzuk és az arctérbe vetítjük. Felismerés: Felismeréshez az input képet az arctérbe vetítjük. Az így kapott vektort az arcadatbázisban tárolt többi arckép vektorral összehasonlítjuk. Azonosítva az a személy lesz amelyik vektorhoz az inputvektor a legjobban hasonlít, vagyis amelyikhez a legkisebb az euklideszi távolsága. Ha arcképünkhöz nincsen elég közeli vektor, akkor a felismerés sikertelen volt. Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Oktató arcképek - átlagarckép Az ábrán látható egy oktató arckép halmaz és az abból számított átlagarckép és a hozzá tartozó képlet, ahogyan kiszámítjuk. Lehet mesélni róla, hogy az átlagarcképek bizonyítottan szépek, mert szimetrikusak… bla bla Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Sajátarc vektortér meghatározása A dián az arcvektortér meghatározásának matematikáját láthatjuk. Átlagtól való eltérésvektorokat számítunk 2. Az eltérésvektorokból kovarianca mátrixot alkotunk 3. Kiszámítjuk a kovarianca mátrix sajátvektorait –erre a jacobi transzformációs eljárást használjuk 4. A legjobb M darab ortnormál bázist alkotó sajátvektort kiválasztjuk A képen egy tipikus arcvektortér sajátvektorait, vagyis sajátarcait látjuk. Fontos, hogy jól legyenek megválasztva, vagyis elég jól lefedjék az emberi arcok változatosságát. Az arcvektortérben ideális esetben bármilyen arcot le lehet képezni, vagyis bármilyen arcot a bázis vektorok lináris kombinációjából elő lehet állítani. Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Felhasználói felület és működés Háromféle nézet A sebesség kérdése A rendszer Delphi alatt készül, és Microsoft Windows XP operációs rendszer alatt fut Külső segítség: OpenCV Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Tesztelés és eredmények Detektálás Bőrszínszűrés: 96%-os találat (minimum kb. 50%-os lefedettség), hibás pozitív detektálás a háttértől függ (18fps) AdaBoost: 89%-os találati arány, 8% hibás pozitív (paraméterektől függően 3-15 fps) Felismerés – Sajátarcok módszer Erősségek: Megfelelő körülmények között hatékony 70%+ Gyengeségek: Érzékeny fényviszonyokra, Érzékeny fej orientációjára, jelenleg még lassú: 3,5 fps Tesztelés: TV Tuner, Kamera, Webcam Gép: Athlon XP 1.8 Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer A jövő… Az eddigi módszerek sebességoptimalizálása A detektálás és a felismerés pontosságának növelése (új módszerek) Arckövetés megvalósítása (jellemző pontok követése, kondenzációs algoritmus) Arcfelismerés kiegészítése egy geometriai jellemzőn alapuló módszerrel Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer Irodalomjegyzék Henry A. Rowley és társai: Neural Network-Based Face Detection IEEE May 1999 (Dia 7-8) Paul Viola, Michael Jones, Robust Real-time Object Detection, Cambridge Research Laboratory, February 2001 (Dia 13) Rein-Lien Hsu, Mohamed Abdel-Mottaleb, Anil K. Jain: Face Detection in Color Images, IEEE (Dia 14) R. Brunelli, T. Poggio, “Face Recognition through Geometrical Features”, Istituto per la Ricerca Scientifica e Tecnologiea, Trento, Italy (Dia 11) Laurenz Wiskott, Jean-Marc Fellous, Norbert Krüger, „Face Recognition by Elastic Bunch Graph Matching”, Institute for Neural Computation Ruhr-University Bochum, Germany 1999 (Dia 11) M. Pötzsch, „Filters/ Wavlets”, Ruhr Universität Bochum (Dia 11) Matthew Turk, Alex Pentland “Eigenfaces for Recognition” Journal of Cognitive Neursience. Vol3. No. 1. 71-86, 1991 (Dia 12, 16-18) Santiago Serrano, „Eigenface Tutorial”, Drexel University (Dia 16-18) Michael Isard and Andrew Blake, Contour tracking by stochastic propagation of conditional density, Proc. European Conf. on Computer Vision, vol. 1, pp. 343--356, Cambridge UK, (1996) (Dia 21) Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer