Mesterséges Neurális Hálózatok Tematika Póczos Barnabás NIPG ELTE-IK

Tematika Bevezetés Óra célja NIPG csoport MI helyzete ANN definíció ANN felhasználási lehetőségei ANN története Hilbert 13. problémája Univerzális approximátorok reprezentációs tételek

Az első neurális hálók Őskori algoritmusok Perceptron perceptron Adaline LMS Hebb szabály Widrow Többrétegű perceptron backpropagation Alkalmazás osztályozási feladatok univerzális függvény-approximátor

Mintavételezések, és alkalmazásaik Hasting Gibbs nagy dimenziós terek mintavételezése Szimulált kihűtés (SA) Globális optimalizálás Monte Carló Trajektória Mintavételezés (MCTS), ConDensation Objektum követés Hepatitis B elleni oltások vizsgálata

MCTS alkalmazások

Expectation-Maximisation (EM) MoG hálózat paraméter becslés HMM paraméter becslés LDS paraméterbecslés Alkalmazás: Positron Emission Tomography (PET) képfeldolgozás AIDS fertőzöttek számának becslése

Kalman Filter (KF) Kiterjesztett Kalman Filter (EKF) KF, EKF alkalmazások Tengerészeti navigáció Rakéta elhárítás Arckövetés Robot irányítás Látókéreg modellezés Változatok: Unscented KF Sigma point KF Neurális megvalósítás: Rekurzív Predikciós Hibamódszer (RPE) „Matematikus kalandorok paradicsoma” (Ljung)

Tematika, Szabó Zoltán Kernel módszerek SVM Alkalmazás osztályozási feladatok

Főkomponens Analízis (PCA) Független komponens Analízis (ICA) PCA, ICA, MICA Ritka kódolás ICA, SVM, Sparse coding kapcsolata Kernel módszerek PCA ICA MICA Alkalmazás Koktélparti probléma EEG adatok feldolgozása Látókérgi sejtek modellezése

Bayes hálók Vélekedés propagálás (BP) Alkalmazás Várható érték propagálás (EP) Alkalmazás Orvosi diagnózis Szakértő rendszerek Hibajavító kódolás

Markov dinamika Markov modellek Rejtett Markov modellek (HMM) Folytonos diszkrét Viterbi algoritmus Baum Welch algoritmus

HMM alkalmazások Alkalmazás Dasher szövegbevitel Hang feldolgozás DNA elemzés Arckifejezés felismerés Országúti forgalom modellezés Viselkedési formák elemzése Dasher adatok Irodai tevékenység Otthoni tevékenység

Topológiát tanuló neurális hálók Lokálisan Lineáris Beágyazás (LLE) Általános Topografikus Leképezés (GTM) Önszervező hálózatok (SOM) Kohonen hálózatok

Topológiát tanuló neurális hálók

Arcképek feldolgozása NMF Arcrészletek keresése ADABOOST Arc detektálás, követés Szem detektálás, követés

Arc detektálás

Szemdetektálás

Statisztikus fizikán alapuló hálózatok Hopfield hálózat Boltzmann hálózat Meanfield hálózat Alkalmazás globális minimalizálás NP nehéz kombinatorikus problémák utazó ügynök 8 királynő

Rekurrens Neurális Hálózatok (Szita István) Rekurrens Neurális Hálózatok (RNN) Echo State Network (ESN) PIRANHA algoritmus Alkalmazás Kaotikus sorozatok megtanulása

EC-HC modellezés (Lőrincz András) Biológiai relevancia Az értelmezés kérdése és a homunculus paradoxon feloldása mesterséges neuronhálókkal Az architektúra származtatása Az architektúra jóslatai, kísérleti eredmények

Felhasznált irodalom Horváth Gábor: Neurális hálók és műszaki alkalmazásaik, Műegyetemi Kiadó 1995 Simon Haykin: Neural Networks: A Comprehensive Foundation (2nd Edition) Howard Demuth, Mark Beale: Neural Network Toolbox L. Ljung, T. Soderstrom: Theory and Practice of Recursive Identification, MIT Press, 1983 N. Cristianini and J. Shawe-Taylor: An introduction to support vector machines (and other kernel-based learning methods) Cambridge University Press

Felhasznált irodalom Michael I. Jordan: Learning in graphical models 2000 ISBN: 0 521 78019 5 A. Hyvarinen, J. Karhunen, E. Oja: Independent Component Analysis G. J. McLachlan and T. Krishnan: The EM Algorithm and Extensions T.M. Cover and J.A. Thomas: Elements of Information Theory Brendan Frey: Graphical Models for Machine Learning and Digital Communication David J.C. MacKay: Information Theory, Inference, and Learning Algorithms

Felhasznált irodalom Jegyzetek: Jaakkola, Tommi: http://ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/6-867Machine-LearningFall2002/LectureNotes/index.htm Levendowszky János: http://www.hit.bme.hu/people/levendov/Neuralis/ Lőrincz András: http://people.inf.elte.hu/lorincz/scripts/Eloadas/ANN_Word_v_0.9.zip Peng, Yun: http://www.csee.umbc.edu/~ypeng/#PTR0 Welling, Max: http://www.vision.caltech.edu/welling/class/LearningSystems156B.html