Algoritmusok komplexitása Március 15. Ünnepség PÉNTEKEN PI DAY: Március 14

2 Algoritmusok komplexitása Mit lehet és mit nem lehet megoldani a számítógépek használatával? Ha egy probléma megoldható, milyen könnyű illetve milyen nehéz azt megoldani? Mennyi ideig tart megoldani? - időkomplexitás Mekkora tár kell hozzá? - tárkomplexitás A komplexitás elmélet ezekre e kérdésekre próbál válaszolni

Algoritmus fogalma Az algoritmus pontos utasítások halmaza, amelyeket elvégezve (akár személyesen, akár számítógéppel) valamely probléma megoldását kapjuk. MEGÁLL!! Az algoritmusokat aszerint hasonlítjuk össze, hogy mennyi ideig futnak,mekkora a tárigényük. Run-time amalízis: a futási idő miként változik a bemeneti adatok számának növelésével? 3

Komplexitás számtechn. fajtái Idő komplexitás: nagyságrendi becslés a megoldáshoz szükséges műveletek számára vonatkozóan, a bemenő adatok függvényében. Egy műveletet egy időegység alatt végrehajthatónak képzelünk el, ezért nevezzük időkomplexitásnak, hiszen így a futási időre kapunk információt. Ez az időegység ugyan függ a konkrét géptől, de emberi érzékeléssel nemigen tudunk különbséget tenni –ezért a függvényen NÖVEKEDÉSE az input adatmennyiség függvényében a lényeges! Tár komplexitás-ld. Adatszerkezetek: a probléma megoldásához szükséges memória nagyságrendi becslése. 4

5 Ism.: Aszimptotikus szoros korlát f(n)f(n) c 1 g(n) f(n) = O(g(n)) és f(n) =  (g(n)) n0n0 c 2 g(n)

Aszimptotikus alsó és felső korlátok egymáshoz való viszonya 6  ( f ) o( f )  ( f ) f Ism.: Aszimptotikus korlátok

7 Ism.: Függvények növekedése f(n) =  (g(n) másképpen azt is jelenti, hogy f(n) = O(g(n) ÉS g(n) = O(f(n)) Ekkor azt mondjuk, hogy a két függvény NAGYSÁGRENDJE megegyezik Tulajdonképpen a lényeg ezen nagyságrendi egyezés megállapítása

8 Nagy Ordo „rendezés”

Nagy Ordó – Big Oh! 9

10 Néhány függvény időkomplexitása Komplexitás n 1  sec 2  sec 3  sec 4  sec 5  sec 6  sec n sec sec sec sec sec sec n sec sec sec sec sec sec n sec 3.2 sec 24.3 sec 1.7 perc 5.2 perc 13.0 perc 2 n 0.001sec 1.0 sec 17.9 perc 12.7 nap 35.7 év 366 évsz 3 n 0.59sec 58 perc 6.5 év 3855 évsz 2  10 8 évsz 1.3  évsz log 2 n3  sec 4  sec 5  sec 5  sec 6  sec 6  sec n log 2 n3  sec 9  sec sec sec sec sec

11 NAGY ORDO/Big-O

12 Futási idő A legtöbb algoritmus bemeneti objektumokat alakít kimeneti objektumokká. A futási idő tipikusan növekszik az input méretének növekedésével. Az átlagos esetet nehéz elemezni. A legrosszabb ( worst case) helyzetet vesszük jellemzőnek. Ezt könnyebb elemezni, és fontosabb is. (robotika, közgazdaságtan)

Worst, best, average Worst-case (legrosszabb eset ): A műveletek maximális száma, garantáltan ennyi lépés után eredményt ad,bármilyen input esetén Best-case (legjobb eset): A műveletek minimális szám – nem praktikus Average-case (átlagos eset): Nehéz jól megbecsülni, bármilyen inputra elkpzeljük (vagy valószínűségi eloszlást rakhatunk az inputra) ennek függvényében a várható átlagos lépésszám 13

Egyszerű példa legrosszabb, átlagos, legjobb esetekre Lineáris (szekvenciális keresés): A lista /tömb elejétől kezdve megnézzük az elemeket és megállunk, ha megtaláltuk. Worst case: utolsónak találjuk meg, ez n elem esetén n lépés Best case: elsőre megtaláljuk, ez 1 lépés Average case: 14

Lineáris keresés C++ program - O (n) bool LinSearch(double x[ ], int n, double item){ for(int i=0;i<n;i++){ if(x[i]==item) return true; else return false; } return false; } O (n): hiszen a ciklus – ebben a megvalósításban n- szer fut, ez az algoritmus lineáris (cn-nel egyenlő nagyságrendű) 15

16 A lineáris keresés Előny: - Könnyű megérteni - A tömb elemeit nem kell rendezni Hátrány: -Lassú, átlagosan n/2 lépés

17 Adott egy szám, value, és egy rendezett tömb a[], meg kell találni azt az i indexet, amely tömbelem azt az értéket tartalmazza, mint a value: a[i] = value, vagy, ha nincs ilyen, akkor kiírni, hogy nincs. Az algoritmus működése: a felénél megnézzük a tartalmat, ha kisebb a keresett számnál, akkor a középső index lesz az intervallum bal oldala, az eredeti a jobboldala: a[bal]  value  a[jobb] Bináris keresés O(log 2 n)

Bináris keresés lo Példa: 14 elemű tömbben a 33-at keressük meg jobb

Bináris keresés jobb felező

Bináris keresés bal felező

Bináris keresés bal felező jobb

Bináris keresés baljobb

Bináris keresés baljobbfele

Bináris keresés bal jobb

Bináris keresés bal jobb felező

Bináris keresés bal jobb felező

Bináris keresés C++ program bool BinSearch(double list[ ], int n, double item, int&index){ int left=0; int right=n-1; int mid; while(left<=right){ mid=(left+right)/2; if(item> list [mid]){ left=mid+1; } else if(item< list [mid]){right=mid-1;} else{ item= list [mid]; index=mid; return true; } }// while return false; 27

Bináris keresés Előny: Gyors, O(log 2 n) Hátrány: Rendezni kell a tömböt nagyság / ábécé sorrendben 28

Bináris keresés O(log2n) n jelölje az összes elem számát, amelyek közül meg akarunk keresni egyet. k jelölje a keresés lépéseinek számát. A keresés során minden lépésben megfelezzük az elemek számát. 29 Lépések száma elemek száma, amik közül keresünk 0n 1n/2 2(n/2)/2=n/2 2 … k(n/2)/2…/2=n/2 k =1 Legrosszabb esetben felezéskor már csak egy, éppen a keresett elemünk maradt, ezért n/2 k =1 n=2 k k=log 2 n

30 Algoritmusok Akkor is nehéz két algoritmust öszehasonlítani, ha ugyanazt a problémát oldják meg, pl. két rendező algoritmus. Az első lehet gyorsabb kis n-ekre a második pedig nagyobb n-re Az első lehet gyorsabb, ha pl. az n szám már csaknem rendezve van, a második pedig általános esetben.

Lin és bin. Keresések összehasonlítása Az iterációk átlagos számaAz iterációk átlagos száma Darabszám Lineáris keresés Bináris keresésDarabszám Lineáris keresés Bináris keresés , , , ,

Jobb a bin. ker. mint a lin. ker.? Az iterációnként elvégzett műveletek szám a nagyobb a binárisnál. Kisebb számokra jobb a lineáris, nagyobbakra pedig a bináris. (HF: mekkora kis számokra? ) 32

33 O(1) – konstans futási idő Program: x = 3*y + 2; z = z + 1; Ennek végrehajtása konstans ideig tart, azt nehéz lenne megmondani, hogy hány sec egy adott számítógépen, de akárhányszor fut, egyformának vehető a futási idő O(1) azt jelenti, hogy VALAMILYEN konstans, lehet ez 5, 7, vagy akár 7,234,817. Lehetne O(c)-t is írni.

34 O(n) - Linear Time-lineáris idejű alg. Program: for (i = 0; i < n; i++) v[ i ] = v[ i ] + 1; Ez a ciklus pontosan n-szer fut le, tehát feltételezve, hogy a ciklus belsejének végrehajtása konstansnyi idő, akkor a teljes futási idő n-nel arányos: O(n). Az éppen aktuális utasításszám lehet pl. 50, és a futási idő 17n microsec, de lehet éppen 17n+3 is Ameddig ez az n-nek lineáris függvénye mindig O(n)-t írunk, és azt mondjuk, hogy lineáris a futási idő. Példa: lineáris keresés

35 Kis n-ekre mi a jobb? Azt várjuk, hogy a lineáris idejű algoritmus jobb,mint a négyzetes idejű. Ez nagyjából így is van, de: TFH, egyik program O(n 2 ) = n 2 +4, a másik pedig O(n) = 4n+92 n 2 +4 > 4n+92? vagy n 2 > 4n+88? n=10: 100>128 HAMIS n=11: 121>132 HAMIS n=12: 144>136 IGAZ Minden n<12 –re az O(n 2 ) – es program gyorsabb

36 O(n 2 ) – kvadratikus, négyzetes futási idő Egymásba ágyazott hurkoknál:: for (i = 0; i < n; i++) for (j = 0; j < n; j++) a[ i ][ j ] = b[ i ][ j ] * x; A külső ciklus n-szer fut le,és minden egyes futásánál a belső is n-szer: n*n = n 2 Ennek tehát O(n 2 ) a futási ideje. Azt mondjuk, hogy ez négyzetes, vagy kvadratikus futási idejű program.

37 Egy program mátrix szorzásra for (i = 0; i < n; i++) { for (j = 0; j < n; j++) { C[ i ][ j ] = 0; for (k = 0; k < n; k++) { C[ i ][ j ] = C[ i ][ j ] + A[ i ][ k ] * B[ k ][ j ]; } } } 3 egymásba ágyazott hurok: n*n*n = n 3. A legbelső: számok szorzása és összege O(1) idejű. Így e program összességében O(n 3 ) idejű.

Különböző programszerkezetek kompl. 38

39 Futási idők elnevezése Nagy Ordo/Big- O jelentésn=4n=16 O(1)konstans idejű11 O(log n)logaritmikus idejű24 O(n)lineáris idejű416 O(nlogn)nlogn idejű864 O(n 2 )négyzetes idejű16256 O(n 3 )köbös idejű O(n k )polinomiális idejű4k4k 16 k O(2 n )exponenciális idejű 1665,536

40 Szabályok szorzásra és összeadásra Ha T1(n) = O(f(n)) és T2(n) = O(g(n)), akkor T1(n) * T2(n) = O(f(n) * g(n)). T1(n) + T2(n) = O( max {f(n), g(n)} )

41 P Ha adott egy bizonyítás, arról (algoritmikusan) könnyű eldönteni, hogy jó-e Ha a tétel adott, annak bizonyítását algoritmikusan lehetetlen megkeresni. P A feladatoknak azt az osztályát, amelyek polinomiális idejű algoritmussal megoldhatók, P- nek nevezzük Ezek tehát azok az algoritmusok, amelyek valójában „kivárhatók”

42 NP (co-NP) Azokat a feladatokat, melyeknél a megoldás helyességét tudjuk polinomiális idő alatt ellenőrizni, NP-vel jelöljük. (Itt a P a polinomiális szó kezdőbetűje, N pedig a nem- determinisztikusé.) Tulajdonképpen azok a polinomidőben tesztelhető feladatok, melyeknél az igenlő válasz külső segítséggel eldönthető. A külső segítség az ún. tanu. (Amelyekre pedig a nemleges választ lehet eldönteni polinomiális idő alatt, azok az ún. co-NP nevű osztályba tartoznak. )

43 NP példák NP-beli feladat például n lányt és n fiút összeházasítani úgy, hogy csak ismerősök házasodhatnak. Ha valaki a hozzárendelést megcsinálja, akkor gyorsan tudjuk ellenőrizni hogy az tényleg helyes-e. NP-beli az utazó ügynök problémája is: n városból bizonyosak között van repülőjárat. Van-e olyan repülős körút, amely minden várost pontosan egyszer érint? Adott néhány fajta csempénk, ki tudunk tölteni velük szabályosan egy n-szer n-es négyzetet? Adott egy összetett szám, írjuk fel két egynél nagyobb egész szám szorzataként (faktorizáció).

44 ?P?=?NP? Általánosságban az a sejtés, hogy P nem egyenlő NP-vel, és P=(NP  co-NP). !! DOLLÁROS FELADAT!!

?P?=?NP? 45 cs.iupui.edu/~xkzou/teaching/CS580/NP-Completeness.ppt+np+np- complete+np-hard+figure+ppt&cd=2&hl=hu&ct=clnk&gl=hu

46 P, NP, NP nehéz, NP teljes Az A feladat B-re visszavezethető: ha létezik A-nak egy polinomidejű megoldása, ami szubrutinként használhatja a B megoldását. NP-nehéz feladat: ha minden NP-beli probléma visszavezethető rá Protein design NP nehéz – 2002-ben biz NP-teljes feladat: amik maguk is benne vannak NP-ben. NP-teljes feladatokra példák: - Hamilton-kör - egy gráf pontjai kiszínezhetők-e maximum 3 színnel úgy, hogy bármely él két vége különböző színű legyen - De ilyen a kielégíthetőségi probléma is, amely azt kérdezi, hogy lehet-e logikai változóknak értéket adni, hogy egy egyszerű formula (pl. KNF: és-ekkel összekapcsolt vagyok) igaz legyen.

Shortest superstring (genes) NP-complete 47

Reducing SST TO TSP 48

49 Nem megoldható problémák létezése Gödel eredménye: Hilbert eldöntésproblémájának megoldhatatlanságát bizonyítja: ha adott egy kellő kifejezőerővel rendelkező, kezelhetô formális rendszer, ahhoz nem található olyan algoritmus, ami minden állításról megmondaná, hogy a rendszer szabályainak megfelelôen levezethetô-e vagy sem. Példák: - a Peano aritmetika formulahalmaza a megfelelő levezetési szabályokkal - vagy a halmazelmélet valamely axiómarendszer - csoportok és gyűrűk elméletével is: nem létezik algoritmus, amely mondjuk minden csoportelméleti állításról megmondaná, hogy teljesül-e vagy sem az összes csoportban.

Traveling Salesman Traveling Salesman Problem Az utazó ügynök probléma NP-teljes. TSP Adottak: - G = (V,E), n csúcsú gráf. - c(e): egész értékű költség függvény az éleken - K természetes szám Kérdés: Van-e olyan Hamilton kör, melynek költsége legfeljebb k? 50

TSP NP-teljes Hamilton körre lehet visszavezetni G = (V,E), H legyen teljes gráf V-n, a c költség c(e)= A legolcsóbb útvonal H-ban n akkor és csak akkor, ha G-ben van Hamilton kör. Ha nincs, akkor egy olyan élet használtunk, ami eredetileg nem tartozott a gráfhoz, s annak költsége 2. Ezért ez esetben a költség n + 1. Forrás: algorithms/BOOK/BOOK3/NODE108.HTM#SECTI ON http://www8.cs.umu.se/kurser/TDBAfl/VT06/ algorithms/BOOK/BOOK3/NODE108.HTM#SECTI ON , ha e  E 2, ha e  E

52 Nem megoldható problémák létezése Gödel eredménye: Hilbert eldöntésproblémájának megoldhatatlanságát bizonyítja: ha adott egy kellő kifejezőerővel rendelkező, kezelhetô formális rendszer, ahhoz nem található olyan algoritmus, ami minden állításról megmondaná, hogy a rendszer szabályainak megfelelôen levezethetô-e vagy sem. Példák: - a Peano aritmetika formulahalmaza a megfelelő levezetési szabályokkal - vagy a halmazelmélet valamely axiómarendszer - csoportok és gyűrűk elméletével is: nem létezik algoritmus, amely mondjuk minden csoportelméleti állításról megmondaná, hogy teljesül-e vagy sem az összes csoportban.

53 Gyakorlat Természetesen az, hogy egy algoritmus polinomiális idejű nem jelenti azt, hogy a gyakorlatban is hatékonynak kellene tekintenünk, vagy hogy az ellenkezôje automatikusan kizárja a használható eljárások közül. Például a lineáris programozási feladatok megoldására ma is legszélesebb körben alkalmazott eljárás  a szimplex módszer  nem polinomiális idejű. A polinomiális algoritmusok vizsgálata azonban ebbôl a szempontból is sikeres: ilyen algoritmus keresése gyakran a gyakorlatban is fontos és használható eredményre vezetett  ahogyan ez a lineáris programozás esetében is történt. A talált polinomiális algoritmus segítségével egy sor olyan feladatot is sikerült gyors algoritmussal megoldani, melyekre korábban ilyen nem volt ismert.

54 Turing gépek Turing gép=számítási modell Miért fontos ez a modell? Be lehet bizonyítani, hogy minden olyan kiszámítható probléma, amit a másik számítógépek ki tudnak számítani, kiszámítható a Turing modellel. Vagyis: Ha olyan problémát találunk, ami Turing géppel NEM számítható ki, akkor az MEGOLDHATATLAN (ELDÖNTHETETLEN) probléma. (MA –De quantum szg? ND) Turing gép : szalag, helyekkel, jobbra- balra mozog, egy pozíciót ír, egy pozíciót olvas

55 Megállási probléma/HALTing problem Nem magától értetődő, hogy valamely program esetén MEGÁLL a számítógép. Megállási probléma/Halting problem: Adott program és adott input esetén meg lehet-e határozni, hogy a program megáll ezen input esetén? Ez ELDÖNTHETETLEN probléma. BIZ.: EGY példát kell adni olyan programra és bemenetre, amely esetén ezt nem lehet eldönteni.

56 Megállási probléma Indirekt, TFH, létezik olyan Turing gép program, hívjuk Megállási Problémát Megoldó Programnak=MPMP Ennek bemenete egy program (PéldaProgram=PP) és annak egy inputja (Példa adat=PA). A kimenet pedig az a sztring, hogy ezekre az adatokra a PP program megáll (Halt), vagy nem áll meg: (Loop) A megállási problémát megoldó program terve PP + PA MPMP Halt vagy Loop

57 Megállási probléma Írjunk egy új programot, legyen UP a neve. UP bemenő adata legyen ugyanaz a Példaprogram a Példa adatokkal együtt, és használja az MPMP algoritmust, annak eldöntésére, hogy a Példaprogram megáll-e ezekre az adatokra, vagy sem. Ha az MPMP azt adja hogy Halt, akkor UP azt írja ki hogy Loop, ha pedig MPMP azt adja, hogy Loop, akkor azt írja ki hogy Halt. Akárhogyan is, mindig rossz választ fog adni.

58 Megállási probléma UP konstrukciója PP PA Halt (  ) Loop Halt UP, használva a MPMP algoritmust InputOutputUP program

59 Megállási probléma Tegyük fel, hogy a PP bemenete valamely PA-val jelölt sztring. Jelölés: P(PA) legyen a P program eredménye valamely PA bemeneti sztringgel – ez is sztring, ez is lehet egy program bemenete.

60 Megállási probléma MPMP(PP) HALT, ha PP megáll a PA-bemenetre LOOP, ha PP nem áll meg a PA- bemenetre UP(PP) (szubrutinként használja az MPMP-t) HALT, ha a bemenetre MPMP Loop- ot ír ki LOOP, ha a bemenetre MPMP Halt-ot ír UP(UP) –??? (Ha MPMP azt írná ki, hogy Loop, akkor ő Haltot ad ki, ha viszont MPMP azt írnáki hogy Halt, akkor ő Loop-ot ír ki)-vagyis ha áll, akkor megy, és ha megy akkor áll – átlós eljárás

62 Erős Church - Turing Tézis Minden ÉSSZERŰ számítástechnikai modell polinom idő/tár ekvivalens (mindegy milyen (de adekvát) modellt használunk) NEM ésszerű: pl. a fizikai lehetőségeket nem helyesen írja le

63 IDŐ KOMPLEXITÁS Definíció: M legyen olyan Turing gép (program), amire a Turing gép megáll, bármilyen input esetén. A futási idő, vagy más néven az M idő komplexitása az f : N -> N, ahol f(n) az a maximális lépésszám, amit M használ valamely n bemenő adat esetén.

64 TÁR KOMPLEXITÁS Definíció: Legyen M (determinisztikus) Turing gép (program), amely minden inputra megáll. Az M tár komplexitása az az f: N->N függvény, ahol f(n)=a legjobboldali szalag pozíció, melyet a gép elér akármilyen n db input esetén.