Mobil képek geo-lokalizációja és kollaboratív kompozíciója Kovács Levente MTA SZTAKI, SZTE-IT „Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV A 3D világ érzékelése képekből - Mobil vizuális számítások

A jövő: elosztott/kollaboratív érzékelés Mobil eszközök – Okos mobil eszközök elterjedése – Szenzorok: kamera, pozíció, mozgás, stb. – Kapcsolat: wifi, mobil adatkapcsolat – Egyre növekvő számítási kapacitás Kollaborációs lehetőségek – Hely/idő-kapcsolt képalkotás – Decentralizált, ad-hoc hálózati kapcsolódás – El/megosztott számítási lehetőségek – Adat-megosztás „Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV

Lehetséges alkalmazási területek Vészhelyzetek – Lokális kollaboratív helyzet-felmérés, feltérképezés Kép-alapú navigáció – Navigálás a környezet alapján (GPS jel hiányában, kiegészítve azt) Szintetikus/kibővített nézetek generálása, rekonstrukciója – Új nézőpontok létrehozása, elérhetők összefűzése Biztonság/felügyelet – Rendhagyó események észlelése, követése, szituáció-kiértékelés (döntés-támogatás)

„Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV Fontosabb céljaink Kollaboratív/elosztott, ad-hoc helyszín-rekonstrukció, póz és pozíció becslés – Hálózati szerver/felhő-infrastruktúra nélkül – Kompozit nézetek, panorámák, 3D rekonstrukciók, virtuális nézetek Lokális szenzor- és kép-adatok elosztott feldolgozása – Résztvevő mobil eszközök/felhasználók A szenzor-adatok felhasználásával a szükséges feldolgozandó adat-mennyiség csökkentése Eszközök lokális, ad-hoc kommunikációja mobil adatkapcsolat nélkül – WiFi, WiFi Direct – Minimálisan szükséges adatok propagálása

„Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV Főbb lépések Adott helyszínen készült felvételek csoportosítása – Adatok feldolgozása adott helyszínen felvételt készítő eszközökről – Ugyanazt a „célt” figyelő eszközök – Egy eszközön gyűjtött adatok kiterjesztése a többi résztvevő eszköz adataival Helyfüggő nézet-generálás, 3D rekonstrukció

„Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV Eszközök/felvételek csoportosítása Adott helyszínen lévő eszközök közül melyek „látják” ugyanazt a területet – „Vision graph” konstrukció – Közös tartalmú nézetek keresése szenzor- és kép-adatok alapján Pozíció, orientáció - előszűrés Képi tartalom – jellemző pontok és lokális képi jellemzők

„Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV Kollaborációs feladatok – Városi környezetek 3D rekonstrukciója – Szintetikus nézetek generálása – Panorámák készítése Alapvető nehézségek – Nagy bázistávolságú kép-egyeztetés – Összetartozó képi tartalmak keresése/egyeztetése – Kamerák kalibrálása – Ad-hoc kamera-hálózat kezelése – Kommunikációs infrastruktúra Helyfüggő nézet-generálás, 3D rekonstrukció

„Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV Városi környezetek 3D rekonstrukciója State-of-the-art – 150’000 images; 496 cores; 21 hours, Trevi Fountain: 1’936 images, 656’699 points Building Rome in a Day, S. Agarwal, N. Snavely, I. Simon, S. M. Seitz and R. Szeliski, ICCV, 2009, Kyoto, Japan.

„Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV Városi környezetek 3D rekonstrukciója Előkészítő lépések Felvételek készítése Átfedő nézetek keresése Póz-becslés Sík-régiók szegmentálása Rekonstrukció Sík-régiók képek közötti egyeztetése Rekonstrukció Ellenőrzés/kiértékelés Vizualizáció Interaktív 3D megjelenítés Textúrázás Kamerák pozicionálása H2H2 H3H3 H4H4 H1H1 H5H5

Városi környezetek 3D rekonstrukciója Felvételek – Bármilyen mobil eszköz, amin vannak szenzorok és kamera „Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV

Városi környezetek 3D rekonstrukciója Sík-régiók szegmentálása – Szegmentálás egy eszközön – Régió-jellemzők megosztása a többi résztvevő eszközzel „Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV

Városi környezetek 3D rekonstrukciója Sík-régiók egyeztetése Rekonstrukció – Síkok normálisai a homográfia-mátrixokból számolva „Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV Rektifikáció 2. Egyezések keresése 3D Reconstruction of Planar Surface Patches: A Direct Solution, J. Molnár, R. Huang, Z. Kató, ACCV Big Data in 3D Computer Vision, 2014 Establishing correspondences between planar image patches, A. Tanács, A. Majdik, J. Molnár, A. Rai, Z. Kató, DICTA, 2014.

Városi környezetek 3D rekonstrukciója Általános architektúra – Elosztott számítások az ad-hoc eszköz-hálózatban – Magán-jellegű információk védelme (csak feltétlenül szükséges adatok megosztása) „Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV Calibration matrix K 1 Image AKeypoints+descriptors ASIFT Planar patches S i Segmentation Image BKeypoints+descriptors ASIFT Inlier point pairs Pairing F, E, P 1, P 2 8-point + SBA Calibration matrix K 2 Rectified B F Rectified patches R i Rectification H 1 H i = H 2 -1 A i H 1 Constrained affine region correspondences A i Mobile device #1 Mobile device #2 N i, d i Reconstruction Interactive 3D view E, P 2 Interactive 3D view

Városi környezetek 3D rekonstrukciója Kollaborativitás – Sok kamera közös sík-régióinak megosztása – Közös kiterjesztett vizualizáció készítése, megosztása „Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV A B C D E C1C1 C2C2 C3C3 C4C4

H2H2 H3H3 H1H1

H2H2 H3H3 H1H1 H4H4 H5H5

H2H2 H3H3 H1H1 H4H4

Közreműködők Képfeldolgozás és Számítógépes Grafika Tanszék, Szegedi Egyetem – Kató Zoltán - koordinátor Elosztott Események Elemzése Kutatólaboratórium, MTA SZTAKI – Szirányi Tamás Geometriai Modellezés és Számítógépes Látás Kutatólaboratórium, MTA SZTAKI – Dmitrij Csetverikov Tanács Attila Fröhlich Róbert Sánta Zsolt Molnár Zoltán Laczik Sándor Rácz Péter Rui Huang Atul Rai Majdik András Kovács Levente Molnár József Hajder Levente Eichhardt Iván

„Infocommunication technologies and the society of future (FuturICT.hu)” TÁMOP C-11/1/KONV Publikációk - J. Molnár, D. Chetverikov: Quadratic Transformation for Planar Mapping of Implicit Surfaces, In Journal of Mathematical Imaging and Vision, 48(1), pp , J. Molnár, R. Huang, Z. Kató: 3D Reconstruction of Planar Surface Patches: A Direct Solution, in Proceedings of ACCV Workshop on Big Data in 3D Computer Vision, LNCS, ACCV J. Molnár, R. Fröhlich, D. Chetverikov, Z. Kató: 3D Reconstruction of Planar Patches Seen by Omnidirectional Cameras. In Proceedings of International Conference on Digital Image Computing: Techniques and Applications (DICTA), Wollongong, Australia, November A Tanács, A. Majdik, J. Molnár, A. Rai, Z. Kató: Establishing Correspondences between Planar Image Patches. In Proceedings of International Conference on Digital Image Computing: Techniques and Applications (DICTA), Wollongong, Australia, November A. Tanács, A. Majdik, L. Hajder, J. Molnár, Zs. Sánta, Z. Kató: Collaborative Mobile 3D Reconstruction of Urban Scenes. In Proceedings of the ACCV Workshop on Intelligent Mobile and Egocentric Vision (ACCV-IMEV), LNCS, Singapore, November L. Tamás, R. Fröhlich, Z. Kató: Relative Pose Estimation and Fusion of Omnidirectional and Lidar Cameras. In Proceedings of the ECCV Workshop on Computer Vision for Road Scene Understanding and Autonomous Driving (ECCV-CVRSUAD), Lecture Notes in Computer Science, Zurich, Switzerland, September Springer. - R. Fröhlich, L. Tamás, Z. Kató: Homography Estimation between Omnidirectional Cameras without Point Correspondences, In Proceedings of IEEE ICRA Workshop on Omnidirectional Vision, Camera Networks and Non-classical Cameras, Zs. Sánta, Z. Kató: Pose Estimation of Ad-hoc Mobile Camera Networks, In Proceedings of IEEE International Conference on Digital Image Computing: Techniques and Applications (DICTA), pp. 1-8, Zs. Sánta, Z. Kató: Háromszöghálók nemlineáris illesztése megfeleltetések nélkül. Képfeldolgozók és Alakfelismerők IX. Konferenciájának kiadványa (KépAf), pp , V. Varjas, A. Tanács: Gépkocsi felismerés elölnézeti képek alapján. Képfeldolgozók és Alakfelismerők IX. Konferenciájának kiadványa (KépAf), pp , A. Tanács, J. Lindblad, N. Sladoje, Z. Kató: 2D és 3D bináris objektumok lineáris deformáció-becslésének numerikus megoldási lehetőségei. Képfeldolgozók és Alakfelismerők IX. Konferenciájának kiadványa (KépAf), pp , Z. Kató: A Unifying Framework for Correspondence-Less Shape Alignment and Its Medical Applications. Proceedings of the Second International Conference on Intelligent Interactive Technologies and Multimedia (IITM), Lecture Notes in Computer Science, pp , L. Tamás, Z. Kató: Targetless Calibration of a Lidar - Perspective Camera Pair, in Proc. of 2013 IEEE Intl. Conference on Computer Vision Workshops (Big Data in 3D Computer Vision in conjunction with ICCV 2013), pp , L. Kovács: Processing Geotagged Image Sets for Collaborative Compositing and View Construction, in Proc. of 2013 IEEE Intl. Conference on Computer Vision Workshops (IEEE Intl. Workshop on Computer Vision for Converging Perspectives in conjunction with ICCV 2013), pp , E. Juhász, A. Tanács, Z. Kató: Evaluation of Point Matching Methods for Wide-baseline Stereo Correspondence on Mobile Platforms, In Proceedings of International Symposium on Image and Signal Processing and Analysis (ISPA), pp , Köszönetnyilvánítás: A munkát a FuturICT.hu nevű (Infokommunikációs technológiák és a jövő társadalma), TÁMOP C- 11/1/KONV azonosítószámú projekt támogatta az Európai Unió és az Európai Szociális Alap társfinanszírozása mellett.