Vámossy Zoltán 2004 (Stanford, Berkeley, CMU, Birmingham, ELTE, SZTAKI, SzTE anyagok alapján) DIP + CV Bevezető

Egy kép többet jelent, mint tízezer szó!

Vámossy Zoltán IAR CV rendszer általános modellje

Vámossy Zoltán IAR Bevezető n A számítástechnikában korábban az adat numerikus érték volt n Később szöveges n Ma sok más forma: hang, zene, beszéd, kép, … n Ezek az adatok mind jelek n A jel tartalmazhat információt, de ez a feldolgozástól – szubjektumtól - függ

Vámossy Zoltán IAR Mi a DIP (digitális kép fogalma)? n Kép (image): kétdimenziós f(x, y) függvény, ahol az x és y térbeli koordináták; f amplitúdó az (x, y) koordinátákban az intenzitás vagy a szürkeségi szint n Ha x, y és f diszkrét mennyiségek, akkor a képet digitálisnak mondjuk

Vámossy Zoltán IAR Mi a DIP (digitális kép)?

Vámossy Zoltán IAR Mi a DIP (digitális képfeldolgozás)?

Vámossy Zoltán IAR Mi a képfeldolgozás? n A képfeldolgozás a jelfeldolgozás része, amely képekkel foglalkozik n Célja: a kép minőségének javítása az ember, vagy további számítógépes feldolgozás számára n Kép – Képfeldolgozás – “Jobb” kép

Vámossy Zoltán IAR Vázlatos definiciók n Digitális képfeldolgozás (Digital image processing): digitális képek feldolgozása digitális számítógépekkel n Számítógépes látás (Computer Vision): Számítógép használata az emberi látás emulációjára, amely magába foglalja tanulást, következtetést és reagálást n A mesterséges intelligencia (AI) több részét használják a CV-ben, mint a IP-ben

Vámossy Zoltán IAR Képekkel foglalkozó területek n Számítógépes grafika: képek készítése modellekből n Képfeldolgozás: képek fokozása, vagy más manipulálása, az eredmény általában másik kép (és valamilyen jellemzők) n Számítógépes látás: a képtartalom analízise

Vámossy Zoltán IAR Képekkel foglalkozó területek

Vámossy Zoltán IAR Történeti bevezető n A digitális képfeldolgozás története a számítógépek fejlődéséhez igazodott. n Az első képfeldolgozáshoz elegendő teljesítménnyel rendelkező szg.: 1960 (űrprogramok kezdetének ideje) n 1964: űrből érkező képek fokozása szg-pel n DIP ugyanakkortól az orvoslásban, Föld megfigyelésében és a csillagászatban n Computerized Tomography (CT) az egyik legfontosabb eredménye a képfeldolgozásnak

Vámossy Zoltán IAR Mi a Computer Vision? n Olyan elméleti és algoritmikus alapok kifejlesztését jelenti, amelyek segítségével a 3D világról automatikusan nyerhető ki és analizálható hasznos információ - a világ 2D képének egyetlen vagy több példányát felhasználva

Vámossy Zoltán IAR A CV a következő területekre koncentrál n Milyen információt kell kinyerni a vizuális szenzorokból? n Hogyan történik a kinyerés? n Hogyan kell a kinyert adatot reprezentálni? n Hogyan kell az információt használni, annak érdekében, hogy a rendszer a feladatát ellássa?

Vámossy Zoltán IAR Computer Vision-hoz hasonló fogalmak n Kép analízis (Image Analysis) n Jelenet analízis (Scene Analysis) n Kép megértés (Image Understanding)

Vámossy Zoltán IAR Hasonló, kapcsolódó területek n Képfeldolgozás (Image Processing) n Számítógépes grafika (Computer Graphics) n Minta felismerés (Pattern Recognition) n Robotika (Robotics) n Mesterséges intelligencia (Artificial Intelligence)

Vámossy Zoltán IAR Képfeldolgozás (Image Processing) n Képfokozás (Image Enhancement)

Vámossy Zoltán IAR Képfeldolgozás n Kép helyreállítás (Image Restoration) (pl. rosszul fókuszált képek korrekciója )

Vámossy Zoltán IAR n Képtömörítés (Image Compression) Képfeldolgozás

Vámossy Zoltán IAR Számítógépes grafika (Computer Graphics) n Geometriai modellezés

Vámossy Zoltán IAR Computer Vision

Vámossy Zoltán IAR Robotlátás (Robotic Vision) n A CV alkalmazása robotikában n Néhány fontos alkalmazás: –Autonóm robotnavigáció (Autonomous robot navigation) –Szg-es felügyelet és összeszerelés (Inspection and assembly)

Vámossy Zoltán IAR Mintafelismerés (Pattern Recognition) n Tradicionális terület (60-as évek óta kutatási terület) n 2D képekből származó 2D objektumok felismerésével és osztályozásával foglalkozik n Sok klasszikus megközelítés csak szűk területen működik (pl. nem alkalmazható 3D objektumokra) n A legtöbb olyan kutatás innen származik, amely kiváltotta a computer vision fejlődését n Sok mintafelismerés területén kidolgozott elvet a computer vision esetében is használnak

Vámossy Zoltán IAR Mesterséges intelligencia (AI) n Intelligens rendszerek tervezésével és az intelligencia tanulmányozásával foglalkozó terület n Miután a képek feldolgozásával a jellemzőket megkapjuk, a jelenet szimbolikus reprezentációjával analizálhatjuk azt n Sok AI technika jelentős szerepet játszik a computer vision területén is n A computer vision az AI gyakorlati része

Vámossy Zoltán IAR Miért bonyolult a CV? n A nagyszámú felület különböző anyagokból, texturázottsággal, geometriai jellemzőkkel és sokszor inhomogén, vagy eltérő megvilágítási körülmények között rendkívül eltérő képekhez vezet n A 3D világ 2D kép transzformáció rengeteg információt elveszít – az un. Inverz térképezésnek nincs egyértelmű megoldása n Számítástechnikailag “intenzív” n A felismerés menetét még nem értjük pontosan

Vámossy Zoltán IAR Praktikus megfontolások n A jelenet körülményeit vegyük figyelembe –Gyűjtsünk minél több adatot (képet) –A környező világ jellemzőit vegyük figyelembe n Számíthatóság és robosztusság n Ipari computer vision rendszereknél –A megvilágítási feltételeket mi szabályozzuk –Az objektumot mi pozícionáljuk –Az objektum jellemzőiben rejlő lehetőségeket használjuk ki

Vámossy Zoltán IAR Ipari Computer Vision rendszer

Vámossy Zoltán IAR A digitális képfeldolgozás szintjei n A képek szg-es feldolgozását három szintre lehet osztani: alacsony, közép és magas szintű feladatok (low-level, middle-level, high-level) n Low-level: mind az input mind az output kép n Middle-level: az inputok általában képek, de az outputok a képekből nyert attribútumok (pl. egy objektum azonosítói a képen) n High-level: a felismert objektumok együttesének érzékelése

Vámossy Zoltán IAR A három feldolgozási szint n Alacsony szintű (low-level) feldolgozás –Sztenderd eljárások alkalmazása a kép minőségének javítása érdekében – adatvezérelt (zajszűrés, élesítés, …)

Vámossy Zoltán IAR n Középső szintű (intermediate-level) feldolgozás –A kép komponenseinek kiemelése (szegmentálás) és azok jellemzése –Némi intelligencia szükséges A három feldolgozási szint

Vámossy Zoltán IAR n Magas szintű (high-level) feldolgozás –Felismerés és interpretáció –Intelligencia módszerek szükségesek A három feldolgozási szint

Vámossy Zoltán IAR Felismerés nehézségei n Jelenetek megértése, még komplex és rendezetlen kép esetében is egyszerű az ember számára

Vámossy Zoltán IAR Felismerés nehézségei n Hogyan tudjuk megérteni, kivenni a valóságot, vagy a valóság képét? n Mi a nyitja a képek megértésének? n Milyen ismeretet használunk a képek megértéséhez?

Vámossy Zoltán IAR n Mi az objektum? n A színeknek van-e szerepe a felismerésben? n Egyszerűbb-e felismerni a színeket különböző nézetekből? A szín szerepe

Vámossy Zoltán IAR n Karakterisztikus képtextúrák segíthetnek az objektumok felismerésében A textúra szerepe

Vámossy Zoltán IAR Az alak szerepe

Vámossy Zoltán IAR A csoportosítás szerepe

Vámossy Zoltán IAR Matematika szerepe a CV-ben n Kezdetben a CV rendszerek egyszerű heurisztikus módszereket alkalmaztak n Napjainkban a terület keményen hajlik az elméleti, jól megalapozott módszerek felé, amelyek nem triviális matematikát használnak –Analízis –Lineáris algebra –Valószínűségszámítás és statisztika –Jelfeldolgozás –Projektív geometria –Számítógépes geometria –Optimalizálás elmélet –Szabályozás elmélet

Vámossy Zoltán IAR Computer Vision alkalmazások n Ipari felügyelet/minőségellenőrzés n Őrzésvédelem és biztonság n Arcfelismerés n Mozdulat, gesztus felismerés n Űralkalmazások n Orvosi képek analízise n Autonóm járművek navigálása n Virtuális valóság...

Vámossy Zoltán IAR Vizuális minőségellenőrzés

Vámossy Zoltán IAR OCR Karakterfelismerés

Vámossy Zoltán IAR Dokumentum kezelés

Vámossy Zoltán IAR Aláírás ellenőrzés (verification)

Vámossy Zoltán IAR Biometriai azonosítás és verifikálás

Vámossy Zoltán IAR Ujjlenyomat azonosítás

Vámossy Zoltán IAR Ujjnyomat alapú ellenőrzés Minutiae Illesztés Delaunay Triangulation

Vámossy Zoltán IAR Objektum felismerés

Vámossy Zoltán IAR Objektumfelismerés referencia nézet 1 referencia nézet 2 újszerű nézet - felismerendő

Vámossy Zoltán IAR Képi adatbázisok indexelése n Alakok tárolása

Vámossy Zoltán IAR Képi adatbázisok indexelése n Szín, textúra

Vámossy Zoltán IAR Céltárgyak felismerése

Vámossy Zoltán IAR Az űrfelvételek interpretálása alapprobléma a CV-ben és a fotogrammetriában (tárgyak mértani helyzetének meghatározása fényképük alapján) Űrfelvételek interpretálása

Vámossy Zoltán IAR Autonóm járművek Földön, víz alatt, levegőben

Vámossy Zoltán IAR Forgalom monitorozás (Traffic Monitoring)

Vámossy Zoltán IAR Arc (fej)detektálás (Face Detection)

Vámossy Zoltán IAR Arcfelismerés (Face Recognition)

Vámossy Zoltán IAR Face Detection/Recognition

Vámossy Zoltán IAR Arckifejezések felismerése

Vámossy Zoltán IAR Arc-, vagy más tárgyak követése

Vámossy Zoltán IAR Face Tracking (folytatás)

Vámossy Zoltán IAR Kéz és más gesztusok felismerése n Ember-számítógép felhasználói interfész n Jelbeszédek felismerése

Vámossy Zoltán IAR Emberi tevékenység felismerése

Vámossy Zoltán IAR Orvosi alkalmazás (Medical Applications) bőr rák mellrák

Vámossy Zoltán IAR Űralkalmazások

Vámossy Zoltán IAR Morfológia (Morphing)

Vámossy Zoltán IAR Mesterséges objektumok jelenetbe illesztése

Vámossy Zoltán IAR Olvasmányok n Computer Vision, Forsyth and Ponce –Chapter 1 n Introductory Techniques for 3D Computer Vision, Trucco and Verri –Chapter 2

Vámossy Zoltán IAR Néhány honlap CV témakörben n Computer Vision Home Page n Home Page n UNR Computer Vision Laboratory