Lokális optimalizáció Feladat: f(x) lokális minimumának meghatározása 0.Adott egy kezdeti pont: x 0 1.Jelöljünk ki egy új x i pontot, ahol (lehetőleg) f (x i ) ≤ f (x i-1 ) 2.Vizsgáljuk meg a leállási kritériumot: Ha teljesül, akkor előre a 3. pontba Ha nem, akkor vissza az 1. pontba 3.Vége

Lokális optimalizáció Amire figyelni kell : A kezdőpont kijelölésétől függ a végeredmény (ha egyáltalán lesz) Az egyes módszerek konvergencia tulajdonságai eltérőek A nem megfelelő leállási kritérium következménye : Rossz eredmény / végtelen számítás

Lokális optimalizáció A módszerek csoportosítása: „Direkt” vagy „derivált mentes” módszerek : csak f (x) kell „Gradiens alapú” módszerek : f ’(x) illetve f ’’(x) is kell A módszer kiválasztásánál felmerülő kérdések: Deriválható-e egyáltalán f (x) ? Mekkora f (x) kiszámításának a költsége ? Mekkora f ’(x) kiszámításának a kötsége ?

Lokális optimalizáció Direkt módszerek : Intervallum felezés Nelder-Mead szimplex módszer ( NEM LP! ) Gradiens alapú módszerek : Legmeredekebb ereszkedés módszere

Nelder-Mead szimplex módszer Lokális optimalizáció 2D Szimplex n dimenzióban: n+1 csúcspontból álló poligon. Minden csúcsra kiszámítjuk f (x) -et. Műveletek: Tükrözés Zsugorítás Nyújtás

Nelder-Mead szimplex módszer Lokális optimalizáció Jellemzők: Rendkívül stabil Olcsó f (x) esetén jó Rosszul konvergál

Lokális optimalizáció Intervallum felezés („Golden Section Search”) Rokon : Függvény zérushelyeinek keresése intervallum felezéssel Különbség : A minimum 2 helyett csak 3 ponttal képezhető le Zérushely : f (x 1 ) × f (x 2 ) < 0 Minimum : f (x 2 ) < f (x 1 ) és f (x 2 ) < f (x 3 )

Lokális optimalizáció x0 x1x2x3 1.A középső pontok f (x) értékei alapján jelöljük ki az új pontot 2.Mégpedig a kisebb fv. értékű középső és a szélső pont közé 3.A túloldali szélső pont kiesik 4.Az új pont kijelölésénél az aranymetszés szabályai szerint osztjuk ketté az intervallumot G ≈ x2’ x0’x1’x3’ x2’ – x1’ = G · (x3 – x2)

Lokális optimalizáció Legmeredekebb ereszkedés („Steepest descent”) Csak deriválható függvények esetén alkalmazható Számtalan módszer alapját adja Valamelyik rokonát célszerű alkalmazni

Lokális optimalizáció Gradiens függvényKezdőpont

Lokális optimalizáció Metszet a legnagyobb lejtés d = - g (x1, x2) irányában Az f (x1, x2) függvény értéke a metszet mentén az α lépés- nagyság függvényében

Lokális optimalizáció A legkisebb f (x1, x2)- t eredményező lépés után Ha a minimumot választottuk, ott az irány menti derivált 0, ezért a következő lépés merőleges lesz

Lokális optimalizáció Cikk-cakk a lokális minimumig

Lokális optimalizáció Lehetőségek Hibrid módszerek létrehozása Lendület ill. adaptivitás bevezetése a konvergencia gyorsítására Kezdeti pont intelligens kiválasztása Leállási feltételek fejlesztése …