AMBER Automatikus Robotkörnyezet Feltérképezés BMF - NIK

Az előadások a következő témára: "AMBER Automatikus Robotkörnyezet Feltérképezés BMF - NIK"— Előadás másolata:

1 AMBER Automatikus Robotkörnyezet Feltérképezés BMF - NIK
Automated Mapping of roBot EnviRonment BMF - NIK Informatikai és Automatizált Rendszerek szakirány Berecz Szabolcs, Kovács Róbert, Kúthy Előd Konzulens: Vámossy Zoltán A projekt célja egy olyan rendszer létrehozása, amely három dimenziós modellt készít a környezetéről úgy, hogy ezt elősegítendő képes a környezetében célzottan mozogni. 2005. március 22.

2 AMBER BMF-NIK IAR szakirány
Általános bemutatás Modellépítés két kamera segítségével Autószerű hordozójármű Automatikus, háromdimenziós navigáció 2005. március 22. AMBER BMF-NIK IAR szakirány

3 AMBER BMF-NIK IAR szakirány
A rendszer felépítése 2005. március 22. AMBER BMF-NIK IAR szakirány

4 AMBER BMF-NIK IAR szakirány
A rendszer felépítése Képfeldolgozás 2005. március 22. AMBER BMF-NIK IAR szakirány

5 AMBER BMF-NIK IAR szakirány
Mélységérzékelés Amennyiben egy térbeli pontot levetítünk egy kamera képsíkjára, úgy egy kétdimenziós pontot kapunk, mely pontot ha összekötünk a kamera középpontjával, úgy egy egyenest kapunk, melyen a térbeli pontnak kell elhelyezkednie. Ha egy másik kamera képsíkjára is levetítjük 2005. március 22. AMBER BMF-NIK IAR szakirány

6 AMBER BMF-NIK IAR szakirány
Token kiemelés Token = kép jellemző, kiemelkedő tulajdonságokkal bíró pontja Szögletes tárgyak sarokpontjai Felszíni egyenetlenségek, „rücskök” Felületek mintázata Kiemelés Harris sarokdetektáló algoritmusával 2005. március 22. AMBER BMF-NIK IAR szakirány

7 Harris sarokdetektáló algoritmusa
Intenzitás kovariancia mátrixának sajátértékei – sarkosságot jelöl Lokális maximum keresés Empirikus paraméterek Érték küszöb Távolság küszöb Harris, C. and Stephens, M A combined corner and edge detector. In Fourth Alvey Vision Conference,Manchester, UK, pages 2005. március 22. AMBER BMF-NIK IAR szakirány

8 Példa token kiemelésre
2005. március 22. AMBER BMF-NIK IAR szakirány

9 AMBER BMF-NIK IAR szakirány
Token párosítás Képpontok és környezetük intenzitásának összehasonlítása a két képen Megszorítások: Nincs vagy nagyon kicsi függőleges eltérés Vízszintes irányú maximális eltérés Lehetséges és biztos párok 2005. március 22. AMBER BMF-NIK IAR szakirány

10 Példa token párosításra
2005. március 22. AMBER BMF-NIK IAR szakirány

11 AMBER BMF-NIK IAR szakirány
A rendszer felépítése Modellkezelés 2005. március 22. AMBER BMF-NIK IAR szakirány

12 Az ICP (Iterated Closest Point) algoritmus
Kellően jó kiindulási transzformáció szükséges Pontpárokat távolság alapján választ Pontpárosítás, transzformáció meghatározás Paul J. Besl and Neil D. McKay. A Method for Registration of 3-D Shapes. IEEE Trans. Pattern Anal. Mach. Intell., 14(2):239–256, 1992. 2005. március 22. AMBER BMF-NIK IAR szakirány

13 A Spin-image algoritmus
Pontpárok meghatározása az egyes pontokat környező felületek hasonlósága alapján Transzformáció meghatározása ICP-vel további pontosítás Andrew Johnson and Martial Hebert. Surface registration by matching oriented points. In International Conference on Recent Advances in 3-D Digital Imaging and Modeling, pages 121–128, May 1997. 2005. március 22. AMBER BMF-NIK IAR szakirány

14 AMBER BMF-NIK IAR szakirány
Modellépítés - 1 Egy felületre eső pontpárok keresése A modell építéséhez tudnunk kell, hogy mely pontok esnek egy felületre. Ehhez azt használjuk ki, hogy amennyiben két pont egy felületre esik, úgy az általuk meghatározott szakasz alatti mintázat bármely szögből nagy hasonlóságot mutat. Látható, hogy a kékkel jelölt szakasz a bal oldali képen tartalmaz egy nagy fekete részt, míg a jobb oldalin ez nem található meg. 2005. március 22. AMBER BMF-NIK IAR szakirány

15 AMBER BMF-NIK IAR szakirány
Modellépítés - 2 2005. március 22. AMBER BMF-NIK IAR szakirány

16 AMBER BMF-NIK IAR szakirány
Modellépítés - 3 Felületépítés Delaunay háromszögelés segítségével Sarokpontok koordinátáinak folyamatos pontosítása Felületek beépítése megerősítéses tanulással Csak statikus környezetben alkalmazható 2005. március 22. AMBER BMF-NIK IAR szakirány

17 AMBER BMF-NIK IAR szakirány
A modell 2005. március 22. AMBER BMF-NIK IAR szakirány

18 AMBER BMF-NIK IAR szakirány
A rendszer felépítése Navigáció 2005. március 22. AMBER BMF-NIK IAR szakirány

19 AMBER BMF-NIK IAR szakirány
3D-2D konverzió Többszintes térkép készítése Lehetőség van pl. egy asztal lapja és az alatta fekvő terület bejárására Használhatóak a gyors, két dimenziós útkereső algoritmusok 2005. március 22. AMBER BMF-NIK IAR szakirány

20 A 3D-2D konverzió módszere
A kapott háromszögek osztályozása dőlés szerint Jelenlegi pozíció (háromszög) meghatározása Csatlakozó háromszögek keresése iteratív módon A létrejött, talajt reprezentáló felület vetítése 2D-s térképekre Ha a felületrészek fedik egymást, úgy nem egy térképre kerülnek A térképeken jelöljük a csatlakozási pontokat Nagy dőlésű háromszögeket tereptárgyként tüntetünk fel 2005. március 22. AMBER BMF-NIK IAR szakirány

21 A Parti-Game algoritmus
Nagy méretű cellákra bontás Cellák céltól való távolságának meghatározása Ügynök elindítása a cél felé Ha akadályba ütközik, távolságok frissítése Ha nincs cellák közepein keresztül vezető út a célba, a megfelelő cellák kettéosztása Andrew W. Moore. The parti-game algorithm for variable resolution reinforcement learning in multidimensional state-spaces. In Jack D. Cowan, Gerald Tesauro, and Joshua Alspector, editors, Advances in Neural Information Processing Systems, volume 6, pages 711–718. Morgan Kaufmann Publishers, Inc., 1994. 2005. március 22. AMBER BMF-NIK IAR szakirány

22 Valósághoz közelítő térkép
2005. március 22. AMBER BMF-NIK IAR szakirány

23 AMBER BMF-NIK IAR szakirány
Bonyolult térkép 2005. március 22. AMBER BMF-NIK IAR szakirány

24 AMBER BMF-NIK IAR szakirány
Eredményeink Sarokpontok kiemelése és párosítása Két modell közötti transzformáció meghatározása Háromdimenziós modell létrehozása Többszintes 3D-2D konverzió Útvonalkeresés adott pontok között 2005. március 22. AMBER BMF-NIK IAR szakirány

25 AMBER BMF-NIK IAR szakirány
További feladatok Más token kiemelő algoritmusok kipróbálása Sűrű diszparitás-térkép felhasználása Alkalmazhatóság dinamikus környezetben További útkereső algoritmusok implementálása A rendszer hordozójárműre ültetése 2005. március 22. AMBER BMF-NIK IAR szakirány

26 AMBER BMF-NIK IAR szakirány
Irodalomjegyzék AndrewW.Moore. The parti-game algorithm for variable resolution reinforcementlearning in multidimensional state-spaces. In Jack D. Cowan, Gerald Tesauro, and Joshua Alspector, editors, Advances in Neural Information Processing Systems, volume 6, pages 711–718. Morgan Kaufmann Publishers, Inc., 1994. Jean-Claude Latombe. Robot Motion Planning. Kluwer Academic Publishers, 1991. M. A. Al-Ansari and R. J.Williams. Modifying the parti-game algorithm for increased robustness, higher efficiency, and better policies. In Proceedings of the Tenth Yale Workshop on Adaptive and Learning Systems, pages 204–209, June New Haven, CT. Paul J. Besl and Neil D. McKay. A Method for Registration of 3-D Shapes. IEEE Trans. Pattern Anal. Mach. Intell., 14(2):239–256, 1992. B. K. P. Horn. Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical Society of America A, 4(4):629–642, April 1987. Ross J. Micheals and Terrance E. Boult. A new closed-form approach to the absolute orientation problem, Master’s thesis, Lehigh University. Andrew Johnson and Martial Hebert. Surface registration by matching oriented points. In International Conference on Recent Advances in 3-D Digital Imaging and Modeling, pages 121–128, May 1997. 2005. március 22. AMBER BMF-NIK IAR szakirány

27 Köszönjük a figyelmet! Berecz Szabolcs – szabi@mplayerhq.hu
Kovács Róbert – Kúthy Előd Zoltán –