Vámossy Zoltán 2004 (Stanford, Berkeley, CMU, Birmingham, ELTE, SZTAKI, SzTE anyagok alapján) DIP + CV Bevezető.

Az előadások a következő témára: "Vámossy Zoltán 2004 (Stanford, Berkeley, CMU, Birmingham, ELTE, SZTAKI, SzTE anyagok alapján) DIP + CV Bevezető."— Előadás másolata:

1 Vámossy Zoltán 2004 (Stanford, Berkeley, CMU, Birmingham, ELTE, SZTAKI, SzTE anyagok alapján) DIP + CV Bevezető

2 Egy kép többet jelent, mint tízezer szó!

3 Vámossy Zoltán IAR 2004 3 CV rendszer általános modellje

4 Vámossy Zoltán IAR 2004 4 Bevezető n A számítástechnikában korábban az adat numerikus érték volt n Később szöveges n Ma sok más forma: hang, zene, beszéd, kép, … n Ezek az adatok mind jelek n A jel tartalmazhat információt, de ez a feldolgozástól – szubjektumtól - függ

5 Vámossy Zoltán IAR 2004 5 Mi a DIP (digitális kép fogalma)? n Kép (image): kétdimenziós f(x, y) függvény, ahol az x és y térbeli koordináták; f amplitúdó az (x, y) koordinátákban az intenzitás vagy a szürkeségi szint n Ha x, y és f diszkrét mennyiségek, akkor a képet digitálisnak mondjuk

6 Vámossy Zoltán IAR 2004 6 Mi a DIP (digitális kép)?

7 Vámossy Zoltán IAR 2004 7 Mi a DIP (digitális képfeldolgozás)?

8 Vámossy Zoltán IAR 2004 8 Mi a képfeldolgozás? n A képfeldolgozás a jelfeldolgozás része, amely képekkel foglalkozik n Célja: a kép minőségének javítása az ember, vagy további számítógépes feldolgozás számára n Kép – Képfeldolgozás – “Jobb” kép

9 Vámossy Zoltán IAR 2004 9 Vázlatos definiciók n Digitális képfeldolgozás (Digital image processing): digitális képek feldolgozása digitális számítógépekkel n Számítógépes látás (Computer Vision): Számítógép használata az emberi látás emulációjára, amely magába foglalja tanulást, következtetést és reagálást n A mesterséges intelligencia (AI) több részét használják a CV-ben, mint a IP-ben

10 Vámossy Zoltán IAR 2004 10 Képekkel foglalkozó területek n Számítógépes grafika: képek készítése modellekből n Képfeldolgozás: képek fokozása, vagy más manipulálása, az eredmény általában másik kép (és valamilyen jellemzők) n Számítógépes látás: a képtartalom analízise

11 Vámossy Zoltán IAR 2004 11 Képekkel foglalkozó területek

12 Vámossy Zoltán IAR 2004 12 Történeti bevezető n A digitális képfeldolgozás története a számítógépek fejlődéséhez igazodott. n Az első képfeldolgozáshoz elegendő teljesítménnyel rendelkező szg.: 1960 (űrprogramok kezdetének ideje) n 1964: űrből érkező képek fokozása szg-pel n DIP ugyanakkortól az orvoslásban, Föld megfigyelésében és a csillagászatban n Computerized Tomography (CT) az egyik legfontosabb eredménye a képfeldolgozásnak

13 Vámossy Zoltán IAR 2004 13 Mi a Computer Vision? n Olyan elméleti és algoritmikus alapok kifejlesztését jelenti, amelyek segítségével a 3D világról automatikusan nyerhető ki és analizálható hasznos információ - a világ 2D képének egyetlen vagy több példányát felhasználva

14 Vámossy Zoltán IAR 2004 14 A CV a következő területekre koncentrál n Milyen információt kell kinyerni a vizuális szenzorokból? n Hogyan történik a kinyerés? n Hogyan kell a kinyert adatot reprezentálni? n Hogyan kell az információt használni, annak érdekében, hogy a rendszer a feladatát ellássa?

15 Vámossy Zoltán IAR 2004 15 Computer Vision-hoz hasonló fogalmak n Kép analízis (Image Analysis) n Jelenet analízis (Scene Analysis) n Kép megértés (Image Understanding)

16 Vámossy Zoltán IAR 2004 16 Hasonló, kapcsolódó területek n Képfeldolgozás (Image Processing) n Számítógépes grafika (Computer Graphics) n Minta felismerés (Pattern Recognition) n Robotika (Robotics) n Mesterséges intelligencia (Artificial Intelligence)

17 Vámossy Zoltán IAR 2004 17 Képfeldolgozás (Image Processing) n Képfokozás (Image Enhancement)

18 Vámossy Zoltán IAR 2004 18 Képfeldolgozás n Kép helyreállítás (Image Restoration) (pl. rosszul fókuszált képek korrekciója )

19 Vámossy Zoltán IAR 2004 19 n Képtömörítés (Image Compression) Képfeldolgozás

20 Vámossy Zoltán IAR 2004 20 Számítógépes grafika (Computer Graphics) n Geometriai modellezés

21 Vámossy Zoltán IAR 2004 21 Computer Vision

22 Vámossy Zoltán IAR 2004 22 Robotlátás (Robotic Vision) n A CV alkalmazása robotikában n Néhány fontos alkalmazás: –Autonóm robotnavigáció (Autonomous robot navigation) –Szg-es felügyelet és összeszerelés (Inspection and assembly)

23 Vámossy Zoltán IAR 2004 23 Mintafelismerés (Pattern Recognition) n Tradicionális terület (60-as évek óta kutatási terület) n 2D képekből származó 2D objektumok felismerésével és osztályozásával foglalkozik n Sok klasszikus megközelítés csak szűk területen működik (pl. nem alkalmazható 3D objektumokra) n A legtöbb olyan kutatás innen származik, amely kiváltotta a computer vision fejlődését n Sok mintafelismerés területén kidolgozott elvet a computer vision esetében is használnak

24 Vámossy Zoltán IAR 2004 24 Mesterséges intelligencia (AI) n Intelligens rendszerek tervezésével és az intelligencia tanulmányozásával foglalkozó terület n Miután a képek feldolgozásával a jellemzőket megkapjuk, a jelenet szimbolikus reprezentációjával analizálhatjuk azt n Sok AI technika jelentős szerepet játszik a computer vision területén is n A computer vision az AI gyakorlati része

25 Vámossy Zoltán IAR 2004 25 Miért bonyolult a CV? n A nagyszámú felület különböző anyagokból, texturázottsággal, geometriai jellemzőkkel és sokszor inhomogén, vagy eltérő megvilágítási körülmények között rendkívül eltérő képekhez vezet n A 3D világ 2D kép transzformáció rengeteg információt elveszít – az un. Inverz térképezésnek nincs egyértelmű megoldása n Számítástechnikailag “intenzív” n A felismerés menetét még nem értjük pontosan

26 Vámossy Zoltán IAR 2004 26 Praktikus megfontolások n A jelenet körülményeit vegyük figyelembe –Gyűjtsünk minél több adatot (képet) –A környező világ jellemzőit vegyük figyelembe n Számíthatóság és robosztusság n Ipari computer vision rendszereknél –A megvilágítási feltételeket mi szabályozzuk –Az objektumot mi pozícionáljuk –Az objektum jellemzőiben rejlő lehetőségeket használjuk ki

27 Vámossy Zoltán IAR 2004 27 Ipari Computer Vision rendszer

28 Vámossy Zoltán IAR 2004 28 A digitális képfeldolgozás szintjei n A képek szg-es feldolgozását három szintre lehet osztani: alacsony, közép és magas szintű feladatok (low-level, middle-level, high-level) n Low-level: mind az input mind az output kép n Middle-level: az inputok általában képek, de az outputok a képekből nyert attribútumok (pl. egy objektum azonosítói a képen) n High-level: a felismert objektumok együttesének érzékelése

29 Vámossy Zoltán IAR 2004 29 A három feldolgozási szint n Alacsony szintű (low-level) feldolgozás –Sztenderd eljárások alkalmazása a kép minőségének javítása érdekében – adatvezérelt (zajszűrés, élesítés, …)

30 Vámossy Zoltán IAR 2004 30 n Középső szintű (intermediate-level) feldolgozás –A kép komponenseinek kiemelése (szegmentálás) és azok jellemzése –Némi intelligencia szükséges A három feldolgozási szint

31 Vámossy Zoltán IAR 2004 31 n Magas szintű (high-level) feldolgozás –Felismerés és interpretáció –Intelligencia módszerek szükségesek A három feldolgozási szint

32 Vámossy Zoltán IAR 2004 32 Felismerés nehézségei n Jelenetek megértése, még komplex és rendezetlen kép esetében is egyszerű az ember számára

33 Vámossy Zoltán IAR 2004 33 Felismerés nehézségei n Hogyan tudjuk megérteni, kivenni a valóságot, vagy a valóság képét? n Mi a nyitja a képek megértésének? n Milyen ismeretet használunk a képek megértéséhez?

34 Vámossy Zoltán IAR 2004 34 n Mi az objektum? n A színeknek van-e szerepe a felismerésben? n Egyszerűbb-e felismerni a színeket különböző nézetekből? A szín szerepe

35 Vámossy Zoltán IAR 2004 35 n Karakterisztikus képtextúrák segíthetnek az objektumok felismerésében A textúra szerepe

36 Vámossy Zoltán IAR 2004 36 Az alak szerepe

37 Vámossy Zoltán IAR 2004 37 A csoportosítás szerepe

38 Vámossy Zoltán IAR 2004 38 Matematika szerepe a CV-ben n Kezdetben a CV rendszerek egyszerű heurisztikus módszereket alkalmaztak n Napjainkban a terület keményen hajlik az elméleti, jól megalapozott módszerek felé, amelyek nem triviális matematikát használnak –Analízis –Lineáris algebra –Valószínűségszámítás és statisztika –Jelfeldolgozás –Projektív geometria –Számítógépes geometria –Optimalizálás elmélet –Szabályozás elmélet

39 Vámossy Zoltán IAR 2004 39 Computer Vision alkalmazások n Ipari felügyelet/minőségellenőrzés n Őrzésvédelem és biztonság n Arcfelismerés n Mozdulat, gesztus felismerés n Űralkalmazások n Orvosi képek analízise n Autonóm járművek navigálása n Virtuális valóság...

40 Vámossy Zoltán IAR 2004 40 Vizuális minőségellenőrzés

41 Vámossy Zoltán IAR 2004 41 OCR Karakterfelismerés

42 Vámossy Zoltán IAR 2004 42 Dokumentum kezelés

43 Vámossy Zoltán IAR 2004 43 Aláírás ellenőrzés (verification)

44 Vámossy Zoltán IAR 2004 44 Biometriai azonosítás és verifikálás

45 Vámossy Zoltán IAR 2004 45 Ujjlenyomat azonosítás

46 Vámossy Zoltán IAR 2004 46 Ujjnyomat alapú ellenőrzés Minutiae Illesztés Delaunay Triangulation

47 Vámossy Zoltán IAR 2004 47 Objektum felismerés

48 Vámossy Zoltán IAR 2004 48 Objektumfelismerés referencia nézet 1 referencia nézet 2 újszerű nézet - felismerendő

49 Vámossy Zoltán IAR 2004 49 Képi adatbázisok indexelése n Alakok tárolása

50 Vámossy Zoltán IAR 2004 50 Képi adatbázisok indexelése n Szín, textúra

51 Vámossy Zoltán IAR 2004 51 Céltárgyak felismerése

52 Vámossy Zoltán IAR 2004 52 Az űrfelvételek interpretálása alapprobléma a CV-ben és a fotogrammetriában (tárgyak mértani helyzetének meghatározása fényképük alapján) Űrfelvételek interpretálása

53 Vámossy Zoltán IAR 2004 53 Autonóm járművek Földön, víz alatt, levegőben

54 Vámossy Zoltán IAR 2004 54 Forgalom monitorozás (Traffic Monitoring)

55 Vámossy Zoltán IAR 2004 55 Arc (fej)detektálás (Face Detection)

56 Vámossy Zoltán IAR 2004 56 Arcfelismerés (Face Recognition)

57 Vámossy Zoltán IAR 2004 57 Face Detection/Recognition

58 Vámossy Zoltán IAR 2004 58 Arckifejezések felismerése

59 Vámossy Zoltán IAR 2004 59 Arc-, vagy más tárgyak követése

60 Vámossy Zoltán IAR 2004 60 Face Tracking (folytatás)

61 Vámossy Zoltán IAR 2004 61 Kéz és más gesztusok felismerése n Ember-számítógép felhasználói interfész n Jelbeszédek felismerése

62 Vámossy Zoltán IAR 2004 62 Emberi tevékenység felismerése

63 Vámossy Zoltán IAR 2004 63 Orvosi alkalmazás (Medical Applications) bőr rák mellrák

64 Vámossy Zoltán IAR 2004 64 Űralkalmazások

65 Vámossy Zoltán IAR 2004 65 Morfológia (Morphing)

66 Vámossy Zoltán IAR 2004 66 Mesterséges objektumok jelenetbe illesztése

67 Vámossy Zoltán IAR 2004 67 Olvasmányok n Computer Vision, Forsyth and Ponce –Chapter 1 n Introductory Techniques for 3D Computer Vision, Trucco and Verri –Chapter 2

68 Vámossy Zoltán IAR 2004 68 Néhány honlap CV témakörben n Computer Vision Home Page http://www.cs.cmu.edu/afs/cs/project/cil/ftp/html/vision.html n Home Page http://www.cs.unr.edu/CRCD n UNR Computer Vision Laboratory http://www.cs.unr.edu/CVL