Terepi mozgó és álló tárgyak felismerésére és azonosítására szolgáló integrált gépi látó rendszer.

Az előadások a következő témára: "Terepi mozgó és álló tárgyak felismerésére és azonosítására szolgáló integrált gépi látó rendszer."— Előadás másolata:

1 Terepi mozgó és álló tárgyak felismerésére és azonosítására szolgáló integrált gépi látó rendszer

2 Fő feladatok Különböző hullámhosszon működő kame- ráktól származó képek felvétele és előkészítése további feldolgozásra. A képek digitalizálásának megoldása, a szükséges (számított) hardverteljesítmény kísérleti igazolása. A rendszertervben kidolgozott eljárások szoftveres megvalósításának megkezdése.

3 Hardver eszközök és fejlesztés Négyprocesszoros, amerikai gyártmányú (Alacron). Hazai fejlesztésű Hexium Apolló kártya. Terepi mérőkocsi és elektronikusan vezérelt állvány. Színes RGB kamera, Infravörös hő kamera, 4-13 . 801 x 502 pixel és érzékenység 0.08 K Kamerák és az optikák elektronikus távvezérlése Real time képfelvevő és tároló berendezés, szoftverek laborszintű tesztelésére. Az előfeldolgozást végző 4 processzoros kártya, és a kamera összeépítését elkezdtük. PC- alapú változatot is kidolgozzuk, nem terepi katonai felhasználásoknál is igény van erre.

4 Kifejlesztett és beszerzett eszközök Vezérelhető kameratartó állvány

5 Képdigitalizáló kártyák Hexium Apolló

6 Kamerák Nappali kamerák –fekete/fehér –színes Hőkamerák –4-6  –7-13 

7 Képdigitalizáló kártyák Alacron FastImage 1300 4TM

8 Képdigitalizáló kártyák Data Translation FrameGrabber DT3153

9 II. Szoftver fejlesztés Képelőfeldolgozó gyorsító kártya vezérlő szoftver. Képdigitalizálási módok beállítása, formátum konverzió, geometriai transzformáció, megjelenítés, Szűrések, képintegrálás, régió kijelölés, maszkolás. Megvalósítás az amerikai Alacron Fastimage 1300 típusú 4 processzoros képdigitalizáló és hardvergyorsító kártyával. Pipe line ill. párhuzamos működési módok. Hexium Apolló grabber dll kifejlesztése. Mindkét hardver támogatja a Philips SDE Software Development Environment fejlesztői programot.

10 Főprogram és verifikált szoftver modulok Képmegjelenítő modul A képmegjelenítést a DirectX technikával végezzük. Digitalizált élő és befagyasztott kép megjenítés, felismert objektumok, háttérpontok, eredmények megjelenítése.

11 Képfeldolgozó modul (Multi thread technika ) A képfeldolgozó egység több, egymástól független, de egymás eredményeit felhasználó szálból áll. Az egyes szálak konkurens módon futnak. Többprocesszoros rendszerben, ha az operációs rendszer ezt biztosítja (pl. Windows NT vagy Windows 2000 alatt), az egyes szálak külön processzoron is futhatnak. A szálak összekapcsolása "pipeline" módon, gyors képfeldolgozást eredményez. Az egyes kiviteli formákhoz nem kell új programot generálni.

12 Eddig megvalósított programszálak Grabber.dll Támogatott hardverek és adatforma: DT3153 Datatranslation képdigitalizáló, Hexium Apolló digitalizáló és DSP kártya. Fastimage 1300 4 TM fejlesztés alatt. AVI file formátum támogatás

13 Kép előfeldolgozás Filter.dll Tipikus szürő funkciók: Medián, zaj szűrés, interlace efektusok szűrése, élkiemelés. A szűrések 5x5 ablakban végezzük. RGB->Y transzformáció.

14 Forgató mechanika vezérlés Forgató vezérlés szektoros körkörös programozott, illetve kézi

15 Háttérkövetés, kamera remegés kompenzáció. Jellegzetes pontok és azok szűk környezetének detektálása. Ezen pontok elmozdulásának mérése keresztkorrelációval. Eredő képelmozdulás számítása. Adaptív automatikus háttérpont kiválasztás. Következő kép várható poziciójának predikciója.

16 Mozgásdetektálás Visszaadja azokat a képpontokat és régiókat, ahol elmozdulás történt. A MotionDetect.dll a hardveren és PC-n is fut a kiviteltől függően. Mozgásdetektálási lépések. - az utolsó N kép alapján hátteret képez, majd ebből kivonja a jelenlegi képet, -mozgási küszöb adaptiv számítása a mozgási hisztogram alapján exponenciális illesztéssel -a különbségi képet szegmentálja, -mozgási küszbönél nagyobak megjelölése.

17 A képfeldolgozó modul Mozgásdetektálás és kamera remegés kompenzáció

18 Fejlesztés alatt álló szálak: Template illesztés A template (minta) könyvtár alapján megkeresi a képen az illeszkedő részleteket. Bemenetek: Kép: Pixelenként monokróm intenzitással megadott, látható és infravörös tartományban készült felvétel. Keresési tartományok: befoglaló téglalap, illetve regió maszk. Template könyvtár

19 Nagyítás, eltolás és forgatás független felismerés. Az eltolás függetlenséget a keresztkorreláció biztosítja. A forgatás független felismerés: esetünkben az objektum térbeli elfordulását jelenti. A minta készlet deformálásával biztosítjuk bizonyos tartományban, valamintkülönböző vetületi irányokban tipkus minta készletet állítunk elő. Nagyítás függetlenséget a képpiramis struktúrával biztosítjuk.

20 Mintaillesztési példa

21 Mintahalmaz előállítása és kezelése. Különböző állásban és távolságban felvett minta képek. Deformált template halmaz előállítása. Template halmazok klaszterezése, tipikus mintahalmazok előállítása. Saját templatek előállítása gyors keresés céljára. Template hierarchia létrehozása gyors keresés céljára.

22 Korrelációs technika gyorsítása. Template transzformáció, jellegzetességek kiemelése. Bemeneti élkiemelt kép távolságtranszformáltjának előállítása. A minta kiemelt vonalai és régiói menti korreláció számítása. Néhány nagyságrendnyi sebesség növekedés várható.

23 Mintakeresés gyorsítás