Analogical and Neural Computing Laboratory Computer and Automation Research Institute Hungarian Academy of Sciences, Budapest 1 CNN template dekompozíció  analogikai algoritmusok implementációjának egy lehetséges eszköze Ph.D. értekezés tézisei írta: Kék László Témavezető: Dr. Roska Tamás akadémikus

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 2 Tartalom u Celluláris Neurális Hálózatok (CNN) alapjai u Motiváció u Tézisek u Összefoglaló u Köszönetnyilvánítás

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 3 u L. Chua & L. Yang, 1988 u N-dimenziós processzor tömb u Cellák állapota folytonos, funkciójuk egyszerű u Lokális kölcsönhatás (lineáris ill. nemlineáris) u Számos, sokrétű alkalmazási terület u Analogikai algoritmusok a CNN Univerzális Gépen u A CNN-UM analóg VLSI implementációja Celluláris Neurális Hálózatok (CNN)

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 4 Celluláris Neurális Hálózat (CNN) u ij - bemenet x ij - állapot/ y ij - kimenet z ij - áram B B A A i i j j Template: [A B z]

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 5 CNN számítás bemenet állapot/kimenet B A z z

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 6 CNN-UM architektúrája CNNUNIVERZÁLISGÉPCNNUNIVERZÁLISGÉP

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 7 Motiváció Cél: A CNN chipek architektúrájából fakadó korlátok algoritmikus úton történő feloldása Korlátok: u 3x3-as lokális összeköttetés (r=1) u lineáris template-ek Nehézségek (problémák): u Nemlineáris template-ek u Nagyméretű (r>1) template-ek u Analóg CNN-UM implementációk inhomogenitása

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 8 Tézisek 1. 3x3-as nemlineáris template-dekompozíció 2. Nagyméretű template-dekompozíció 3. Hibatűrő template-dekompozíció

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 9 1. tézis 3x3-as nemlineáris template-dekompozíció u Analogikai algoritmust dolgoztam ki a 3x3-as nemlineáris template-ek egy osztályának (lineáris A, nemlineáris - szakaszonként lineáris - B) olyan CNN architekrúrán való implementálására, amely csak 3x3-as lineáris template-ek futtatására alkalmas u Az algoritmus korlátai: analóg be- és kimenet, fixed state, bias map u Kísérletileg igazoltam egy egyszerű nemlineáris template olyan CNN-UM chipen (cP400) való implementálhatóságát, amely csak bináris be- és kimenettel rendelkezik, nincs fixed state-je sem bias map-je

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 10 u Megfogalmaztam a nemlineáris A template-dekomozíció irányelveit folytonos idejű CNN-re u Megmutattam, hogy DTCNN esetében a 3x3-as nemlineáris B template-dekompozíció módszere nemlineáris A template-re is alkalmazható Nemlineáris A template dekompozíció 1

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 11 Elméleti alapok 1

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest tézis (folyt.) Elméleti alapok 1

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 13 CONTOUR1 Módosított template (B=0): Kezdeti állapot Kiszámított Bias Kimenet Kísérleti (szimulációs) eredmények 1 b

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 14 LEFTEDGE template Kimenet 1 cP400-on végzett kísérlet Bemenet Kezdeti állapot cP400 (CNN-UM chip)

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 15 u L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, International Journal of Circuit Theory and Applications, Vol. 26, No.6, pp , u L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Proceedings of the European Conference on Circuit Theory and Design (ECCTD’97), pp , Budapest, u L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS , Budapest, Kapcsolódó publikációk 1

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 16 u Eljárást adtam nagyméretű nemlineáris template-ek egy osztályának (NxN-es lineáris A (a ij =0, ahol r>1) és nemlineáris - szakaszonként lineáris - B) 3x3-as lineáris template-ekkel való helyettesítésére u Az algoritmus korlátai: analóg be- és kimenet, fixed state, bias map u Megmutattam, hogy DTCNN esetében a módszer olyan template- ekre is alkalmazható, amely nagyméretű lineáris vagy nemlineáris A template-et tartalmaz u Kísérletileg igazoltam egy 5x5-ös lineáris template olyan CNN-UM chipen (cP400) való implementálhatóságát, amely csak bináris be- és kimenettel rendelkezik, nincs fixed state-je sem bias map-je 2. tézis Nagyméretű template-dekompozíció

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 17 u Problémák: u nemlinearitás u nagyméretűség u Megoldás: u Partition-Shift algoritmus (K. Crounse, 1996) u az 1. tézisben megfogalmazott 3x3-as nemlineáris template dekompozíció 2 Elméleti alapok u Alapgondolat: u Bias mappel helyettesíteni (kiváltani) a B template-et

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest tézis (folyt.) Elméleti alapok 2

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 19 Diagonális vonaldetektor Dekomponáló 3x3-as template-ek 2 Kísérleti (szimulációs) eredmények

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 20 Módosított template Kiszámított Bias Kimenet 2 Kísérleti (szimulációs) eredmények (folyt.) Bemenet Kezdeti állapot

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 21 5 pixelnél nem rövidebb vízszintes vonaldetekció cP400 (CNN-UM chip) Kimenet Bemenet Kezdeti állapot cP400-on végzett kísérlet 2

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 22 u L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, International Journal of Circuit Theory and Applications, Vol. 26, No.6, pp , u L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Proceedings of the European Conference on Circuit Theory and Design (ECCTD’97), pp , Budapest, u L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS , Budapest, Kapcsolódó publikációk 2

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 23  Megmutattam, hogy a CNN-UM chipek esetleges pontatlan m ű ködése tetsz ő leges csatolatlan bináris be- és kimenetű template esetén kiküszöbölhet ő több, kisebb komplexitású csatolatlan template felhasználásával  Kidolgoztam két hibatűr ő template-dekompozíciós eljárást  I. eljárás: a template által meghatározott Boole függvény diszjunkt normál alakjából el ő állítja azt az utód-template szekvenciát, amelyek segítségével kiváltjuk a kiinduló template-et u II. eljárás: iteratív módon csökkenti a megvalósítandó template nehézségi fokát (növeli annak robusztusságát) 3. tézis Hibatűrő template-dekompozíció

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 24 u Definiáltam a template robusztusság-érték fogalmát u Bebizonyítottam, hogy dimenziócsökkentéssel a template robusztusság-értéke nem csökken, általános esetben növekszik  Igazoltam, hogy a Shannon-kifejtés lineárisan szeparálható Boole- függvények esetén 4-r ő l 3 tagra egyszer ű södik  Kísérletileg igazoltam, hogy a CNN template könyvtárban található és a cP400-as chipen dekompozíciót igényl ő összes 3x3- as bináris be- és kimenet ű template maximum 2 utód-template felhasználásával dekomponálható  Memutattam, hogy a cP400-as chip robusztusságérték-határa megközelít ő en 0.5-el egyenl ő 3

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest tézis (folyt.) Elméleti alapok 3

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 26 LCP TEM1 AND TEM2 TEM1: TEM2: 3 LCP template dekompozíciója

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 27 LCP cP400 TEM1 * AND TEM2 * TEM1 * : TEM2 * : 3 LCP template dekompozíciója (folyt.)

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 28 u P. Földesy, L. Kék, Á. Zarándy, T. Roska, and G. Bártfai, “Fault Tolerant Design of Analogic CNN Templates and Algorithms Part I: The Binary Output Case”, IEEE Transactions on Circuits and Systems special issue on Bio-Inspired Processors and Cellular Neural Networks for Vision, Vol. 46, No. 2, pp , February u P. Földesy, L. Kék, T. Roska, Á. Zarándy, and G. Bártfai, “Fault Tolerant CNN Template Design and Optimatization Based on Chip Measurements”, Proceedings of the IEEE International Workshop on Cellular Neural Networks and their Applications (CNNA’98), pp , London, u P. Földesy, L. Kék, Á. Zarándy, T. Roska, and G. Bártfai, “Fault Tolerant Design of Analogic CNN Templates and Algorithms Part I: The Binary Output Case”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS , Budapest, Kapcsolódó publikációk 3

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 29 Tudományos eredményeim: u 3x3-as nemlineáris (A - lineáris, B - szakaszonként lineáris) template-ek csak lineáris template-ek futtatására alkalmas architektúrán való implementálása u NxN-es (nemlineáris) template-ek 3x3-as lineáris template-ekké való dekompozíciója  3x3-as csatolatlan bináris be- és kimenet ű template-ek hibat ű r ő dekompozíciója Összefoglaló

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 30 u MTA Doktori Tanács, MTA SzTAKI u BME Műszaki Informatika Szak Doktori Tanácsa u Feleségem, szülők, család u Analogikai és Neurális Számítások Laboratórium munkatársai (Dr. Zarándy Ákos, Dr. Szolgay Péter, Dr. Radványi András, Dr. Szirányi Tamás, Földesy Péter, Bártfai Guszti, Dr. Venetianer Péter, Nemes László, Rekeczky Csaba, Dr. Kozek Tibor,...) u Dr. Arató Péter, a BME Irányítástechnika és Informatika Tanszék vezetője u Bírálók: Dr. Rudas Imre, Dr. Jobbágy Ákos u Cikkek bírálói u Dr. Holovács József, Dr. Naum Aizenberg, Dr. Igor Aizenberg u Neubauer Ferenc Köszönetnyilvánítás u Dr. Roska Tamás

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest 31 Köszönöm figyelmüket.