AMBER Automatikus Robotkörnyezet Feltérképezés BMF - NIK Automated Mapping of roBot EnviRonment BMF - NIK Informatikai és Automatizált Rendszerek szakirány Berecz Szabolcs, Kovács Róbert, Kúthy Előd Konzulens: Vámossy Zoltán A projekt célja egy olyan rendszer létrehozása, amely három dimenziós modellt készít a környezetéről úgy, hogy ezt elősegítendő képes a környezetében célzottan mozogni. 2005. március 22.

AMBER BMF-NIK IAR szakirány Általános bemutatás Modellépítés két kamera segítségével Autószerű hordozójármű Automatikus, háromdimenziós navigáció 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány A rendszer felépítése 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány A rendszer felépítése Képfeldolgozás 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány Mélységérzékelés Amennyiben egy térbeli pontot levetítünk egy kamera képsíkjára, úgy egy kétdimenziós pontot kapunk, mely pontot ha összekötünk a kamera középpontjával, úgy egy egyenest kapunk, melyen a térbeli pontnak kell elhelyezkednie. Ha egy másik kamera képsíkjára is levetítjük 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány Token kiemelés Token = kép jellemző, kiemelkedő tulajdonságokkal bíró pontja Szögletes tárgyak sarokpontjai Felszíni egyenetlenségek, „rücskök” Felületek mintázata Kiemelés Harris sarokdetektáló algoritmusával 2005. március 22. AMBER BMF-NIK IAR szakirány

Harris sarokdetektáló algoritmusa Intenzitás kovariancia mátrixának sajátértékei – sarkosságot jelöl Lokális maximum keresés Empirikus paraméterek Érték küszöb Távolság küszöb Harris, C. and Stephens, M. 1988. A combined corner and edge detector. In Fourth Alvey Vision Conference,Manchester, UK, pages. 147-151. 2005. március 22. AMBER BMF-NIK IAR szakirány

Példa token kiemelésre 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány Token párosítás Képpontok és környezetük intenzitásának összehasonlítása a két képen Megszorítások: Nincs vagy nagyon kicsi függőleges eltérés Vízszintes irányú maximális eltérés Lehetséges és biztos párok 2005. március 22. AMBER BMF-NIK IAR szakirány

Példa token párosításra 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány A rendszer felépítése Modellkezelés 2005. március 22. AMBER BMF-NIK IAR szakirány

Az ICP (Iterated Closest Point) algoritmus Kellően jó kiindulási transzformáció szükséges Pontpárokat távolság alapján választ Pontpárosítás, transzformáció meghatározás Paul J. Besl and Neil D. McKay. A Method for Registration of 3-D Shapes. IEEE Trans. Pattern Anal. Mach. Intell., 14(2):239–256, 1992. 2005. március 22. AMBER BMF-NIK IAR szakirány

A Spin-image algoritmus Pontpárok meghatározása az egyes pontokat környező felületek hasonlósága alapján Transzformáció meghatározása ICP-vel további pontosítás Andrew Johnson and Martial Hebert. Surface registration by matching oriented points. In International Conference on Recent Advances in 3-D Digital Imaging and Modeling, pages 121–128, May 1997. 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány Modellépítés - 1 Egy felületre eső pontpárok keresése A modell építéséhez tudnunk kell, hogy mely pontok esnek egy felületre. Ehhez azt használjuk ki, hogy amennyiben két pont egy felületre esik, úgy az általuk meghatározott szakasz alatti mintázat bármely szögből nagy hasonlóságot mutat. Látható, hogy a kékkel jelölt szakasz a bal oldali képen tartalmaz egy nagy fekete részt, míg a jobb oldalin ez nem található meg. 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány Modellépítés - 2 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány Modellépítés - 3 Felületépítés Delaunay háromszögelés segítségével Sarokpontok koordinátáinak folyamatos pontosítása Felületek beépítése megerősítéses tanulással Csak statikus környezetben alkalmazható 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány A modell 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány A rendszer felépítése Navigáció 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány 3D-2D konverzió Többszintes térkép készítése Lehetőség van pl. egy asztal lapja és az alatta fekvő terület bejárására Használhatóak a gyors, két dimenziós útkereső algoritmusok 2005. március 22. AMBER BMF-NIK IAR szakirány

A 3D-2D konverzió módszere A kapott háromszögek osztályozása dőlés szerint Jelenlegi pozíció (háromszög) meghatározása Csatlakozó háromszögek keresése iteratív módon A létrejött, talajt reprezentáló felület vetítése 2D-s térképekre Ha a felületrészek fedik egymást, úgy nem egy térképre kerülnek A térképeken jelöljük a csatlakozási pontokat Nagy dőlésű háromszögeket tereptárgyként tüntetünk fel 2005. március 22. AMBER BMF-NIK IAR szakirány

A Parti-Game algoritmus Nagy méretű cellákra bontás Cellák céltól való távolságának meghatározása Ügynök elindítása a cél felé Ha akadályba ütközik, távolságok frissítése Ha nincs cellák közepein keresztül vezető út a célba, a megfelelő cellák kettéosztása Andrew W. Moore. The parti-game algorithm for variable resolution reinforcement learning in multidimensional state-spaces. In Jack D. Cowan, Gerald Tesauro, and Joshua Alspector, editors, Advances in Neural Information Processing Systems, volume 6, pages 711–718. Morgan Kaufmann Publishers, Inc., 1994. 2005. március 22. AMBER BMF-NIK IAR szakirány

Valósághoz közelítő térkép 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány Bonyolult térkép 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány Eredményeink Sarokpontok kiemelése és párosítása Két modell közötti transzformáció meghatározása Háromdimenziós modell létrehozása Többszintes 3D-2D konverzió Útvonalkeresés adott pontok között 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány További feladatok Más token kiemelő algoritmusok kipróbálása Sűrű diszparitás-térkép felhasználása Alkalmazhatóság dinamikus környezetben További útkereső algoritmusok implementálása A rendszer hordozójárműre ültetése 2005. március 22. AMBER BMF-NIK IAR szakirány

AMBER BMF-NIK IAR szakirány Irodalomjegyzék AndrewW.Moore. The parti-game algorithm for variable resolution reinforcementlearning in multidimensional state-spaces. In Jack D. Cowan, Gerald Tesauro, and Joshua Alspector, editors, Advances in Neural Information Processing Systems, volume 6, pages 711–718. Morgan Kaufmann Publishers, Inc., 1994. Jean-Claude Latombe. Robot Motion Planning. Kluwer Academic Publishers, 1991. M. A. Al-Ansari and R. J.Williams. Modifying the parti-game algorithm for increased robustness, higher efficiency, and better policies. In Proceedings of the Tenth Yale Workshop on Adaptive and Learning Systems, pages 204–209, June 1998. New Haven, CT. Paul J. Besl and Neil D. McKay. A Method for Registration of 3-D Shapes. IEEE Trans. Pattern Anal. Mach. Intell., 14(2):239–256, 1992. B. K. P. Horn. Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical Society of America A, 4(4):629–642, April 1987. Ross J. Micheals and Terrance E. Boult. A new closed-form approach to the absolute orientation problem, 1999. Master’s thesis, Lehigh University. Andrew Johnson and Martial Hebert. Surface registration by matching oriented points. In International Conference on Recent Advances in 3-D Digital Imaging and Modeling, pages 121–128, May 1997. 2005. március 22. AMBER BMF-NIK IAR szakirány

Köszönjük a figyelmet! Berecz Szabolcs – szabi@mplayerhq.hu Kovács Róbert – bsmith@vnet.hu Kúthy Előd Zoltán – kuthyelod@freemail.hu