Az Alakfelismerés és gépi tanulás ELEMEI

Slides:



Advertisements
Hasonló előadás
Lineáris regressziós MODELLEK
Advertisements

Események formális leírása, műveletek
Valószínűségszámítás
Függvények Egyenlőre csak valós-valós függvényekkel foglalkozunk.
MI 2003/9 - 1 Alakfelismerés alapproblémája: adott objektumok egy halmaza, továbbá osztályok (kategóriák) egy halmaza. Feladatunk: az objektumokat - valamilyen.
MI 2003/ A következőkben más megközelítés: nem közvetlenül az eloszlásokból indulunk ki, hanem a diszkriminancia függvényeket keressük. Legegyszerűbb:
Kötelező alapkérdések
Közbevetve: témakörök eddig 1-3. Közbevetve: a témakörök eddig 1. Sztohasztikus folyamatok: főként a fogalmak definiciója (sztoh. foly.; val. sűrűségek-eloszlások,
Sűrűségfüggvény Parzen becslés Mintapontszám, szigma.
A konformációs entrópia becslése Gauss-keverék függvények segítségével
Bayes hálók október 20. Farkas Richárd
Bevezetés a gépi tanulásba február 16.. Mesterséges Intelligencia „A számítógépes tudományok egy ága, amely az intelligens viselkedés automatizálásával.
Gépi tanulási módszerek febr. 13.
Lineáris és nemlineáris regressziók, logisztikus regresszió
Gépi tanulási módszerek
Osztályozás -- KNN Példa alapú tanulás: 1 legközelebbi szomszéd, illetve K-legközelebbi szomszéd alapú osztályozó eljárások.
Gépi tanulási módszerek febr. 20.
Statisztika II. VI. Dr. Szalka Éva, Ph.D..
Előadó: Prof. Dr. Besenyei Lajos
Radványi Mihály Gergely Sándor Alpár Antal 2006
Bayes becslések Boha Roland november 21. PPKE-ITK.
III. előadás.
Lineáris korreláció és lineáris regresszió. A probléma felvetése y = 1,138x + 80,778r = 0,8962.
Regresszióanalízis 10. gyakorlat.
Játékelméleti alapfogalmak előadás
Dr. Szalka Éva, Ph.D.1 Statisztika II. VI.. Dr. Szalka Éva, Ph.D.2 Regresszióanalízis.
Bizonytalanság melletti döntések
Valószínűségszámítás
Készítette: Kosztyán Zsolt Tibor
Kvantitatív módszerek
Biostatisztika, MS Excel
Kvantitatív Módszerek
Kvantitatív módszerek
Idősor elemzés Idősor : időben ekvidisztáns elemekből álló sorozat
Statisztikai döntésfüggvények elméletének elemei
$ Információ Következmény Döntés Statisztikai X.  Gyakorlati problémák megoldásának alapja  Elemzéseink célja és eredménye  Központi szerep az egyén.
Gazdaságstatisztika 11. előadás.
Hipotézis vizsgálat (2)
Többváltozós adatelemzés
Fraktálok Szirmay-Kalos László.
Következtető statisztika 9.
A sztochasztikus kapcsolatok (Folyt). Korreláció, regresszió
Alapsokaság (populáció)
Lineáris regresszió.
Két kvantitatív változó kapcsolatának vizsgálata
Költség-minimalizálás az ellenőrző kártyák alkalmazásánál Feladatmegoldás, kiegészítés.
Bevezetés a méréskiértékelésbe (BMETE80ME19) Intervallumbecslések 2014/
Bevezetés a méréskiértékelésbe (BMETE80ME19) 2014/
x1 xi 10.Szemnagyság: A szemnagyság megadásának nehézségei
Valószínűségszámítás II.
Többdimenziós valószínűségi eloszlások
Bevezetés a méréskiértékelésbe (BMETE80ME19) 2014/
Bevezetés a méréskiértékelésbe (BMETE80ME19)
MI 2003/8 - 1 Alakfelismerés alapproblémája: adott objektumok egy halmaza, továbbá osztályok (kategóriák) egy halmaza. Feladatunk: az objektumokat - valamilyen.
Bevezetés a méréskiértékelésbe (BMETE80ME19) 2014/
Struktúra predikció Struktúra lehet Felügyelt tanulási probléma
Bevezetés a méréskiértékelésbe (BMETE80ME19) 2014/
Gépi tanulási módszerek
Kockázat és megbízhatóság
Kvantitatív módszerek MBA és Számvitel mesterszak
III. előadás.
Gépi tanulási módszerek febr. 18.
Trendelemzés előadó: Ketskeméty László
Emlékeztető Az előző órán az adatok eloszlását Gauss-eloszlással közelítettük Célfüggvénynek a Maximum Likelihood kritériumot használtuk A paramétereket.
Valószínűségi változók együttes eloszlása
Gazdaságinformatikus MSc
A mesterséges neuronhálók alapjai
Mérések adatfeldolgozási gyakorlata vegyész technikusok számára
A Bayes-döntéselmélet alapjai
2. Regresszióanalízis Korreláció analízis: milyen irányú, milyen erős összefüggés van két változó között. Regresszióanalízis: kvantitatív kapcsolat meghatározása.
Előadás másolata:

Az Alakfelismerés és gépi tanulás ELEMEI Adatbányászati alkalmazások Az Alakfelismerés és gépi tanulás ELEMEI Bevezetés

Példa Kézzel írt számjegyek felismerése

Polinom illesztése

Négyzet-összeg hibafüggvény

0-ad fokú polinom

1ső fokú polinom

3ad fokú polinom

9ed fokú polinom

Túlillesztés Átlagos négyzetes hiba gyöke (RMS):

Polinom együtthatók

Adatállomány mérete: 9ed fokú polinom

Adatállomány mérete: 9ed fokú polinom

Regularizáció Büntessük a nagy értékű együtthatókat:

Regularizáció:

Regularizáció:

Regularizáció: vs.

Polinom együtthatók

Valószínűségelmélet Almák és Narancsok

Valószínűségelmélet Marginális valószínűség Feltételes valószínűség Együttes valószínűség

Valószínűségelmélet Összeg szabály Szorzat szabály

A valószínűségszámítás szabályai Összeg szabály Szorzat szabály

Bayes tétel a poszterior  likelihood × a prior

Valószínűségi sűrűségek

Transzformált sűrűségek

Várható értékek Feltételes várható érték (diszkrét eset) A várható érték közelítése (diszkrét és folytonos)

Varianciák és kovarianciák

Normális (Gauss) eloszlás

Gauss eloszlás várható értéke és varianciája

Többdimenziós normális eloszlás

Normális eloszlás paramétereinek becslése Likelihood függvény

(Log) Likelihood függvény maximalizálása

A és becslések tulajdonságai

Sztochasztikus görbeillesztés

Maximum Likelihood Határozzuk meg -t az négyzetes hiba maximalizálásával.

Előrejelző eloszlások

MAP: egy lépés a Bayes szemlélet felé Határozzuk meg -t az regularizált legkisebb négyzetek minimalizálásával.

Bayes-féle görbeillesztés

Bayes-féle előrejelző eloszlások

Modell-választás Keresztellenőrzés

A dimenzió probléma

A dimenzió probléma Polinom görbe illesztése M = 3 Gauss sűrűségek magas dimenzióban

Döntéselmélet Következtetés Határozzuk meg -t vagy -t. Döntés Adott x esetén határozzuk meg az optimális t-t.

Minimális téves osztályozási arány

Minimális várható veszteség Példa: osztályozzunk orvosi képeket mint rákos (cancer) vagy normális (normal) Döntés Igazság

Minimális várható veszteség Az tartományt úgy választjuk, hogy minimalizáljuk:

Elutasítás

Miért különítsük el a következtetést és döntést? Rizikó minimalizálás (a veszteség mátrix változhat az idővel) Elutasítási lehetőség Kiegyensúlyozatlan osztályok Modellek egyesítése

Döntéselmélet regressziónál Következtetés Határozzuk meg -t. Döntés Adott x esetén találjunk y(x) optimális előrejelzést t-re. Veszteségfüggvény:

Négyzetes veszteségfüggvény

Generatív vagy diszkriminatív Generatív megközelítés: Modell Használjuk a Bayes tételt Diszkriminatív megközelítés: Modellezzük -t közvetlenül

Entrópia Alapvető mennyiség az alábbi területeken: kódelmélet statisztikus fizika gépi tanulás

Entrópia Kódelmélet: x diszkrét 8 lehetséges állapottal; mennyi bit szükséges x átviteléhez? Minden állapot egyenlően valószínű

Entrópia

Entrópia Hányféleképpen lehet N azonos objektumot elhelyezni M számú dobozba? Entrópia akkor maximális ha

Entrópia

Folytonos entrópia Helyezzünk ¢ hosszú dobozokat a valós egyenesre A folytonos entrópia akkor maximális (adott mellett) amikor Amely esetben

Feltételes entrópia

Kullback-Leibler divergencia

Kölcsönös információ