Bevezetés a mély tanulásba

Slides:



Advertisements
Hasonló előadás
Szimmetriák szerepe a szilárdtestfizikában
Advertisements

Kauzális modellek Randall Munroe.
A TUDOMÁNYOS KUTATÁS MÓDSZERTANA
2.1Jelátalakítás - kódolás
Az úttervezési előírások változásai
Fizika II..
Számítógépes Hálózatok
Profitmaximalizálás  = TR – TC
A járműfenntartás valószínűségi alapjai
Szenzorok Bevezetés és alapfogalmak
Végeselemes modellezés matematikai alapjai
A magas baleseti kockázatú útszakaszok rangsorolása
Szerkezetek Dinamikája
MÉZHAMISÍTÁS.
Hőtan BMegeenatmh 5. Többfázisú rendszerek
BMEGEENATMH Hőátadás.
AUTOMATIKAI ÉPÍTŐELEMEK Széchenyi István Egyetem
Skandináv dizájn Hisnyay – Heinzelmann Luca FG58PY.
VÁLLALATI Pénzügyek 2 – MM
Hőtan BMEGEENATMH 4. Gázkörfolyamatok.
Szerkezetek Dinamikája
Összeállította: Polák József
A TUDOMÁNYOS KUTATÁS MÓDSZERTANA
Csáfordi, Zsolt – Kiss, Károly Miklós – Lengyel, Balázs
Tisztelt Hallgatók! Az alábbi példamegoldások segítségével felkészülhetnek a 15 pontos zárthelyi dolgozatra, ahol azt kell majd bizonyítaniuk, hogy a vállalati.
J. Caesar hatalomra jutása atl. 16d
Anyagforgalom a vizekben
Kováts András MTA TK KI Menedék Egyesület
Az eljárás megindítása; eljárási döntések az eljárás megindítása után
Melanóma Hakkel Tamás PPKE-ITK
Az új közbeszerzési szabályozás – jó és rossz gyakorlatok
Képzőművészet Zene Tánc
Penicillin származékok szabadgyökös reakciói
Boros Sándor, Batta Gyula
Bevezetés az alvás-és álomkutatásba
Kalandozások az álomkutatás területén
TANKERÜLETI (JÁRÁSI) SZAKÉRTŐI BIZOTTSÁG
Nemzetközi tapasztalatok kihűléssel kapcsolatban
Gajdácsi József Főigazgató-helyettes
Követelmények Szorgalmi időszakban:
Brachmann Krisztina Országos Epidemiológiai Központ
A nyelvtechnológia eszközei és nyersanyagai 2016/ félév
Járványügyi teendők meningococcus betegség esetén
Kezdetek októberében a könyvtár TÁMOP (3.2.4/08/01) pályázatának keretében vette kezdetét a Mentori szolgálat.
Poszt transzlációs módosulások
Vitaminok.
A sebész fő ellensége: a vérzés
Pharmanex ® Bone Formula
Data Mining Machine Learning a gyakorlatban - eszközök és technikák
VÁLLALATI PÉNZÜGYEK I. Dr. Tóth Tamás.
Pontos, precíz és hatékony elméleti módszerek az anion-pi kölcsönhatási energiák számítására modell szerkezetekben előadó: Mezei Pál Dániel Ph. D. hallgató.
Bevezetés a pszichológiába
MOSZKVA ZENE: KALINKA –HELMUT LOTTI AUTOMATA.
Bőrimpedancia A bőr fajlagos ellenállásának és kapacitásának meghatározása Impedancia (Z): Ohmos ellenállást, frekvenciafüggő elemeket (kondenzátort, tekercset)
Poimenika SRTA –
Végeselemes modellezés matematikai alapjai
Összefoglalás.
Az energiarendszerek jellemzői, hatékonysága
Varga Júlia MTA KRTK KTI Szirák,
Konzerváló fogászat Dr. Szabó Balázs
Outlier detektálás nagyméretű adathalmazokon
További MapReduce szemelvények: gráfproblémák
Ráhagyások, Mérés, adatgyűjtés
Járműcsarnokok technológiai méretezése
Grafikai művészet Victor Vasarely Maurits Cornelis Escher.
VÁLLALATI PÉNZÜGYEK I. Dr. Tóth Tamás.
RÉSZEKRE BONTOTT SOKASÁG VIZSGÁLATA
Az anyagok fejlesztésével a méretek csökkennek [Feynman, 1959].
Bevezetés a színek elméletébe és a fényképezéssel kapcsolatos fogalmak
Minőségmenedzsment alapjai
Előadás másolata:

Bevezetés a mély tanulásba

Idősorok modellezése Eddig csak nem időbeli bemenettel foglalkoztunk A példák sorrendje tetszőleges Ha bemenetek időben egymást követik: Hasznos lehet a szomszédos bemeneteket is figyelembe venni Érdemes lehet memóriát használni régebbi események megjegyzésére Példák: beszéd, írás, videó, tőzsdei adatok …

Rekurrens hálók (RNN) Alapötlet: az aktuális kimenet számításához vegyük figyelembe a korábbi kimenetet ℎ 𝑡 =𝑊𝑥+𝑈 ℎ 𝑡−1 Ezen visszacsatolással memóriát adunk a neuronnak, azaz emlékezhet a korábbi kimenetére

Backpropagation through time Hogyan tanítsuk az RNN hálót? Válasz: terítsük ki időben a hálót

Backpropagation through time A kiterítés után tudunk gradienst számolni De, különböző időben ugyanazokat a súlyokat kell használnunk A keletkező gradienseket összegezni kell A kiterítést nem csinálhatjuk a végtelenségig (memória!) Ha végtelenségig/sokáig kiterítenénk instabillá válna a tanítás Hosszú gradiens utak esetén vanishing gradient Gyakorlatban csak néhány lépésen keresztül terítünk ki

Long short term memory (LSTM)

Long short term memory (LSTM) Rekurrens hálók hatékonyabb működésére találták ki A szimpla neuront lecserélhetjük LSTM cellákra Minden cellában 4 „kapu” található: Input Forget Cell memory Output A kapuk szabályozzák, hogy mely bemenetet mennyire vegye figyelembe az LSTM cella

Long short term memory (LSTM)

Modern LSTM hálók Manapság nagyon elterjedtek az LSTM háló változatai Gated Recurrent Unit (GRU) Az LSTM leegyszerűsített változata, kevesebb kapuval Bidirectional LSTM Nem csak egyik irányba van csatolva, hanem mindkét időirányban