Megerősítéses tanulás máj. 15. Copyrights: Szepesvári Csaba: Megerősítéses tanulás (2004) Szita István, Lőrincz András: Megerősítéses tanulás (2005) Richard.

Az előadások a következő témára: "Megerősítéses tanulás máj. 15. Copyrights: Szepesvári Csaba: Megerősítéses tanulás (2004) Szita István, Lőrincz András: Megerősítéses tanulás (2005) Richard."— Előadás másolata:

1 Megerősítéses tanulás máj. 15. Copyrights: Szepesvári Csaba: Megerősítéses tanulás (2004) Szita István, Lőrincz András: Megerősítéses tanulás (2005) Richard S. Sutton and Andrew G. Barto: Reinforcement Learning: An Introduction (1998)

2 Megerősítéses tanulás (reinforcement learning) http://www.youtube.com/watch?v=mRpX9DFCdwI http://www.youtube.com/watch?v=VCdxqn0fcnE

3 Megerősítéses tanulás (reinforcement learning) Póker Célok: mesterszintű játék játék aspektusok ellenfél modellezés Autóverseny-szimulátor Célok: Emberi teljesítmény mesteri reprodukciója Autóvezetés forgalomban

4 Megerősítéses tanulás (reinforcement learning)

5 Robot navigációs feladat Pavlov: Nomad 200 robot Nomad 200 simulator Sridhar Mahadevan UMass

6 Megerősítéses tanulás Interakcióból tanul –büntetés/jutalom alapján megfigyelések a környezetről (állapotok) Célorientált! A jutalom egy függvényét maximalizáljuk. s9s9 s5s5 s4s4 s2s2 …… … s3s3 +50 +3 r9r9 r5r5 r4r4 r1r1 s1s1 a9a9 a5a5 a4a4 a2a2 … a3a3 a1a1

7 Megerősítéses tanulás idő: állapot: akció: jutalom: eljárásmód (policy, stratégia): –determinisztikus: –szochasztikus: –  ( s, a ) annak a valószínűsége, hogy s -ben a -t lép (végtelen horizont)

8 interakció: környezet modellje: átmeneti valószínűségek és jutalmak cél: maximális várható jutalom:

9 A Markov-feltevés feltesszük, hogy a régmúlt nem számít: a környezet dinamikája leírható az átmenetivalószínűség-mátrixszal:

10 Markov Döntési Folyamatok Markov Decision Processes (MDPs) Állapotok, véletlentől függő átmenetekkel Átmenetvalószínűségek aktuális állapottól függnek r = 2 2 1 1 r = 0 a1a1 a2a2

11 A felderítés-kiaknázás dilemma (exploration – exploitation) A k-karú bandita probléma Ágens Akciók Átlagos kifizetés (jutalom) 10 -5 100 0, 0, 5, 10, 35 5, 10, -15, -15, -10 -20, 0, 50 Ahhoz, hogy sok jutalmat kapjunk tudnunk kell milyen akciókkal szerezhetjük meg, azaz meg kell ismerni a környezetet (felderítés), majd a tudás alapján összegyűjteni a jutalmat (kiaknázás).

12 Célfüggvény epizodikus, fix idejű feladat epizodikus, nem fix idejű feladat folytonos feladat –gond:  r t végtelen lehet! –megoldás: diszkontálás.  r t helyett  t r t,  <1 –garantáltan véges diszkontálás kényelmes, epizodikus feladatra is használni fogjuk!

13 Markov döntési folyamat megoldása környezet lépked P és R szerint: ágens lépked  szerint: optimális eljárásmód: olyan , amelyre maximális.

14 Hosszútávú jutalom Ágens politikája rögzített:  Az R t kifizetés a t pillanat utáni össz- jutalom +50 +3 r9r9 r5r5 r4r4 r1r1

15 Érték = Hasznosság = Várható kifizetés R t valószínűségi változó Vehetjük a várható értékét! Politikától függ R t ! Feladat: találjuk meg azt a    politikát amelyik a várható értéket maximalizálja, minden állapotban

16 16 Az eddigi sztori.. –Több lépéses döntési feladatok –Cél  *-ot megtalálni –Kritérium: Rövid távú Hosszú távú r t+1 r t+2 r t+3 atat a t+1 a t+2 stst s t+1 s t+2 s t+3

17 A Bellman egyenletek A Markov tulajdonság miatt a várható összjutalmat egy rekurzív egyenlettel is kifejezhető: s 4 3 5  (s)

18 Eljárásmódok összehasonlítása  1 ≥  2, ha részbenrendezés  * optimális, ha  * ≥  minden eljárásmódra létezik ilyen?

19 Példa: egy nagyon egyszerű MDP 4 állapot, 2 akció 10% eséllyel rossz irányba megy -10 A D C B cél 1 2 2 1 1 2 -10 +100 2 1

20 Példa: eljárásmódok értéke A D C B cél 1 2 1 2 1 1 2 2 -10 +100 2 1  (A,1) = 1  (A,2) = 0  (B,1) = 1  (B,2) = 0  (C,1) = 1  (C,2) = 0  (D,1) = 1  (D,2) = 0

21 Példa: eljárásmódok értéke

22 Példa: eljárásmód értéke megoldás:  2 stratégia: mindig 2-t lép

23 Példa: egy 3. eljárásmód értéke   (A,1) = 0,4   (A,2) = 0,6  3 (B,1) = 1  3 (B,2) = 0  3 (C,1) = 0  3 (C,2) = 1  3 (D,1) = 1  3 (D,2) = 0 A D C B cél 1 2 1 2 1 1 2 2 -10 +100 2 1

24 Példa: egy 3. eljárásmód értéke

25 megoldás:

26 Összehasonlítás  1 ≤  3 és  2 ≤  3  3 optimális eljárásmód sok optimális eljárásmód van! az optimális értékelőfüggvény (V) egyértelmű 11 22 33 A75.61 77.78 B87.5668.0587.78 C68.0587.5687.78 D100

27 Az optimális értékelőfüggvény Bellman-egyenlete Optimális értékelő függvény Mohó eljárásmód: mindig a Q* szerinti legjobb akciót választja: argmax a Q*(s,a) Ez optimális eljárásmód!!!

28 Az optimális értékelőfüggvény Bellman-egyenlete nemlineáris! van egyértelmű megoldása megoldja a hosszútávú tervezés problémáját

29 MDP megoldása dinamikus programozással Tfh. P és R ismer-t Kerssük  -t Eljárásmód iteráció Értékiteráció

30 Eljárásmód iteráció

31 Jack's Car Rental Problem: Jack manages two locations for a nationwide car rental company. Each day, some number of customers arrive at each location to rent cars. If Jack has a car available, he rents it out and is credited $10 by the national company. If he is out of cars at that location, then the business is lost. Cars become available for renting the day after they are returned. To help ensure that cars are available where they are needed, Jack can move them between the two locations overnight, at a cost of $2 per car moved. We assume that the number of cars requested and returned at each location are Poisson random variables with parameter λ. Suppose λ is 3 and 4 for rental requests at the first and second locations and 3 and 2 for returns. To simplify the problem slightly, we assume that there can be no more than 20 cars at each location (any additional cars are returned to the nationwide company, and thus disappear from the problem) and a maximum of five cars can be moved from one location to the other in one night. We take the discount rate to be 0.9 and formulate this as a continuing finite MDP, where the time steps are days, the state is the number of cars at each location at the end of the day, and the actions are the net numbers of cars moved between the two locations overnight.

32 Értékiteráció

33 Eljárásmóditeráció vs. értékiteráció melyik jobb? –eljárásmóditerációnak kevesebb lépés elég –de azok a lépések sokáig tartanak Értékiteráció polinom időben  -optimális értékelőfüggvényhez konvergál Eljárásmóditeráció: konvergál, de nem ismert, hogy polinomiális-e gyakorlatban: problémafüggő

34 Eljárásmód kiértékelése modell (P és R) nélkül keressük V  -t R(s) : „nyereség s -ből”, valószínűségi változó várható értéke: V  (s)

35 V  (s) becslése Monte Carlo módszer, MC R(s) modell nélkül számítható, szimulációval tapasztalati átlag: veszünk N darab s - ből induló utat, a nyereségek:

36 Monte Carlo értékelőbecslés

37 Az időbeli differenciák módszere (Temporal Differences, TD) az időbeli differencia: előnyök –nem kell modell (szemben a DP-vel) –nem kell megvárni az epizód végét (szemben az MC-vel) –MC-hez képest kisebb a szórás a becsléshez egy másik becslést használunk

38 Az időbeli differenciák módszere értékelőbecslésre

39 Összehasonlítás: DP, MC, TD 3 módszer V  becslésére: DP: –a Bellman-egyenletből származik –a várható értéket a modell alapján pontosan számoljuk MC: –az epizód végén a várható értéket mintavételezzük –a mintavétel zajos, ezért csak  -nyi mértékben vesszük figyelembe TD: –1 lépés alapján a várható értéket mintavételezzük –a mintavétel zajos, ezért csak  -nyi mértékben vesszük figyelembe

40 TD tanulás – Sarsa Mohó akció  valószínűséggel Véletlen akció 1-  valószínűséggel

41 Az explorációs stratégia javítása az  -mohó stratégia nagyon rossz! –a felfedező lépések véletlen bolyongások példa jobb módszerre: explorációs bónuszok –jutalom, ha ritkán látogatott állapotba jut az ügynök –jutalom pl. legutóbbi látogatás ideje, TD hiba nagysága, stb. egyszerű módszer a felderítés bátorítására: –optimista kezdőértékek –eleinte minden akciót végigpróbál, mert sok jutalmat remél

42 Regresszió alapú RL Ha az állapotok és akciók száma túl nagy kezelhetetlen lesz a probléma –túl sok epizód kell a jó becsléshez Eddig csak diszkrét állapot és akcióterekről beszétünk (folytonos esetek?)

43 Egy különösen sikeres példa: TD-gammon TD( ) tanulás, 1 rejtett rétegű neuronháló, Backprop 1,500,000 játék (saját magával) A legjobb játékosokkal azonos képességek (világbajnok) Backgammon állapottere: ~10 20, DP nem megy!!