Triclops HW-SW rendszer - 3D felület modellezés Patkó Tamás - Hexium Kft. Radványi András - MTA SzTAKI.

Az előadások a következő témára: "Triclops HW-SW rendszer - 3D felület modellezés Patkó Tamás - Hexium Kft. Radványi András - MTA SzTAKI."— Előadás másolata:

1 Triclops HW-SW rendszer - 3D felület modellezés Patkó Tamás - Hexium Kft. Radványi András - MTA SzTAKI

2 u gyors előfeldolgozás az ACE modul segítségével u gyors pontpárkeresés a TriMedia modul segítségével u flexibilis képkezelés a keretprogram segítségével

3 Korrelációs paraméterek beállítása

4 Referenciapontok megadása

5 Számítási igény u Képméret kb. 15000x15000 pixel (225 millió pixel) u Teljes számítási igény: kb. 1.2*10 11 korreláció - 5*10 14 elemi művelet ~ 4*10 6 mp ~ 43 nap u Előszűrési gyorsítás 1:15

6 TRICLOPS 3D Sztereó képfeldolgozás Analogikai - Celluláris Neurális környezetben Analogikai és Neurális Számítások Laboratórium Számítástechnikai és Automatizálási Kutatóintézet (MTA SzTAKI) Magyar Tudományos Akadémia

7 Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 7 u Processzorok: 64x64 CNN Univerzális Chip, Texas C6201 DSP u Szabványos PCI busz, Windows NT kompatibilis u Program nyelvek: magasszintű: Alfa, alacsonyszintű: AMC K Triclops analogikai hardver modul

8 Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 8 A 3D Sztereó képfeldolgozás alapproblémája Két-Dimenziós Képek a Három-Dimenziós Világban Képpontok megfeleltetése - geometriai (epipoláris) kritérium - képi (korrelációs) kritériumok A megfeleltetés két fázisa: HOL ÉRDEMES? (CNN) KORRELÁCIÓ (TriMedia) Képpontok megfeleltetése - geometriai (epipoláris) kritérium - képi (korrelációs) kritériumok A megfeleltetés két fázisa: HOL ÉRDEMES? (CNN) KORRELÁCIÓ (TriMedia)

9 Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 9 Celluláris Neurális Áramkörök (CNN) Elemi analóg processzorok reguláris hálózata (CELLÁK) W1 W2 W3 W5 W4W7 W6 W8 Minden cella néhány (2-3) értéket tárol [pixel: B/W, szürke, színes] PROBLEMA MEGOLDÁS - TRANZIENS SOKRÉTEGŰ EGYRÉTEGŰ A tárolt értékek módosulnak egyensúlyi állapotig BEMENETI KÉP ÁLLAPOT KÉP VÉGSŐ ÁLLAPOT KÉP  A cella értékek a szomszédoktól függenek: CNN PROGRAM [W1-W8] súly mátrix (template) (A and B weight matrices: 19 real numbers) Helyi és terjedő hatások + LOGIKAI MŰVELETEK

10 Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 10 Template értékek meghatározása Elméleti kiinduló értékből többparaméters optimalizálás K

11 Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 11 K Template értékek meghatározása Elméleti kiinduló értékből többparaméters optimalizálás

12 Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 12 ÉLDETEKCIÓ MASZKOLT KORRELÁCIÓ ELTOLÁS = MÉLYSÉGTARTOMÁNYOK Példa: HOL ÉRDEMES? Tónusos éldetekció Példa: HOL ÉRDEMES? Tónusos éldetekció

13 Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 13 CNN Éldetekció légifelvételen

14 Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 14 CNN Éldetekció légifelvételen

15 Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 15 CNN Éldetekció légifelvételen Képméret: 850 * 850 pixel (1:5) CNN időigény: 630 msec = 390 msec számítás 240 msec R/W

16 Analogikai és Neurális Számítások Laboratórium, MTA SzTAKI, Budapest 16 CNN Éldetekció légifelvételen Képméret: 850 * 850 pixel (1:5) CNN időigény: 630 msec = 390 msec számítás 240 msec R/W