Triclops HW-SW rendszer - 3D felület modellezés Patkó Tamás - Hexium Kft. Radványi András - MTA SzTAKI

u gyors előfeldolgozás az ACE modul segítségével u gyors pontpárkeresés a TriMedia modul segítségével u flexibilis képkezelés a keretprogram segítségével

Korrelációs paraméterek beállítása

Referenciapontok megadása

Számítási igény u Képméret kb x15000 pixel (225 millió pixel) u Teljes számítási igény: kb. 1.2*10 11 korreláció - 5*10 14 elemi művelet ~ 4*10 6 mp ~ 43 nap u Előszűrési gyorsítás 1:15

TRICLOPS 3D Sztereó képfeldolgozás Analogikai - Celluláris Neurális környezetben Analogikai és Neurális Számítások Laboratórium Számítástechnikai és Automatizálási Kutatóintézet (MTA SzTAKI) Magyar Tudományos Akadémia

Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 7 u Processzorok: 64x64 CNN Univerzális Chip, Texas C6201 DSP u Szabványos PCI busz, Windows NT kompatibilis u Program nyelvek: magasszintű: Alfa, alacsonyszintű: AMC K Triclops analogikai hardver modul

Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 8 A 3D Sztereó képfeldolgozás alapproblémája Két-Dimenziós Képek a Három-Dimenziós Világban Képpontok megfeleltetése - geometriai (epipoláris) kritérium - képi (korrelációs) kritériumok A megfeleltetés két fázisa: HOL ÉRDEMES? (CNN) KORRELÁCIÓ (TriMedia) Képpontok megfeleltetése - geometriai (epipoláris) kritérium - képi (korrelációs) kritériumok A megfeleltetés két fázisa: HOL ÉRDEMES? (CNN) KORRELÁCIÓ (TriMedia)

Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 9 Celluláris Neurális Áramkörök (CNN) Elemi analóg processzorok reguláris hálózata (CELLÁK) W1 W2 W3 W5 W4W7 W6 W8 Minden cella néhány (2-3) értéket tárol [pixel: B/W, szürke, színes] PROBLEMA MEGOLDÁS - TRANZIENS SOKRÉTEGŰ EGYRÉTEGŰ A tárolt értékek módosulnak egyensúlyi állapotig BEMENETI KÉP ÁLLAPOT KÉP VÉGSŐ ÁLLAPOT KÉP  A cella értékek a szomszédoktól függenek: CNN PROGRAM [W1-W8] súly mátrix (template) (A and B weight matrices: 19 real numbers) Helyi és terjedő hatások + LOGIKAI MŰVELETEK

Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 10 Template értékek meghatározása Elméleti kiinduló értékből többparaméters optimalizálás K

Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 11 K Template értékek meghatározása Elméleti kiinduló értékből többparaméters optimalizálás

Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 12 ÉLDETEKCIÓ MASZKOLT KORRELÁCIÓ ELTOLÁS = MÉLYSÉGTARTOMÁNYOK Példa: HOL ÉRDEMES? Tónusos éldetekció Példa: HOL ÉRDEMES? Tónusos éldetekció

Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 13 CNN Éldetekció légifelvételen

Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 14 CNN Éldetekció légifelvételen

Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 15 CNN Éldetekció légifelvételen Képméret: 850 * 850 pixel (1:5) CNN időigény: 630 msec = 390 msec számítás 240 msec R/W

Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 16 CNN Éldetekció légifelvételen Képméret: 850 * 850 pixel (1:5) CNN időigény: 630 msec = 390 msec számítás 240 msec R/W