Pókerkártya játék algoritmusa

Póker out számítás A legnagyobb problémát (főleg az online póker során) az jelenti, hogy kevés az időnk a matematikai műveletekre, számolásokra. Mindössze az outok (megmutatja az esélyét, hogy milyen gyakran jön turnben vagy riverben egy várt lap) vagy a biztos nyerést jelentő [nut]? lap érkezési esélyének számítására van időnk optimális esetben. A számítás tehát csak annyit árul el, mennyi eséllyel javul a meglévő lapunk Jó lap érkezési esélyének kiszámítása: Számunkra jó outok száma × 2 × hátralévő lapok száma

Matematika és póker A matematika pókerben való hasznosítása tehát több korlátba ütközik. A biztos valószínűség kiszámítása jelenlegi tudásunk szerint szinte lehetetlen, csak egyszerű műveletek elvégzésére van lehetőségünk. A komolyabb matematikai műveletek alkalmazása a póker játék során azért is nehézkes, mert a matematikai képletek, algoritmusok nem „számolnak” az ellenfelek irracionális vagy váratlan döntéseivel. Az értékelési folyamat nagyon bonyolult, és a mostani törvényszerűségek szerint nem lehet egzakt algoritmusokkal leírni. A pókerben tehát nincs is pontos valószínűség, mert az ellenfelek is irracionális vagy intuitív döntéseket hoznak gyakran, amiket racionális eszközökkel nehéz megfogni. A pókerben tehát inkább a játékrutin és az outok tippelése segíthet.

Kanadai és finn kutatók lényegében verhetetlen pókerjátékost konstruáltak. A matematikusok most egy valós játék megoldásáig jutottak el – a Texas hold’em póker HULHE nevű változatát vizsgálták meg. Michael Bowling és társai egy viszonylag új algoritmussal estek neki a feladatnak, mely a CFR+ nevet viseli (counterfactual regret minimization – kb. "utólagos megbánás minimalizálása", a + pedig az eredeti algoritmus fejlesztett változatára utal). Ez az algoritmus azonban nem maga a nyerő stratégia volt, hanem egy tanulási eljárás, amely egy sor gépi játék lejátszása során a teljesen véletlenszerű működéstől indulva finomította a viselkedését.

Végül nem sokkal több, mint 1500 edzőmérkőzés után lényegében legyőzhetetlenné vált, miközben teljes természetességgel belejött a blöffölésbe is. A tanulás lényegét az adta, hogy az algoritmus minden játék végén kiértékelte a döntéseit, és ha valami ballépésnek bizonyult, valamekkora “megbánásértéket” rendelt hozzá. A stratégia (ellenfél általi) “kihasználhatóságát” folyamatosan mérték, míg egy olyan kicsiny érték alá szorult, hogy statisztikai értelemben verhetetlennek nyilváníthatták. Az algoritmus legnagyobb kihívása az volt, hogy átlássa a játék lehetséges állapotait, melyek száma 1017 nagyságrendű. Ez ugyan nagyságrendekkel kevesebb a dámajátékban kapott állapotszámhoz képest, a véletlenszerűség azonban rengeteg többletszámítást igényel, mivel az állapotok bizonytalanságot is tartalmaznak.