INTELLIGENS KOMMUNIKÁCIÓS ALGORITMUSOK Levendovszky János, BME Híradástechnikai Tanszék

A dolgozat hozzájárulása Célok és motivációk A távközlési hálózatok teljesítőképességének növelése hozzáadott, „algoritmikus intelligencia” segítségével Sávszélesség Új algoritmusok Jó kihasználtság, összetett szolgáltatások „e-world” (e-business,e-learning, e-administration) Szélessávú, összetett szolgáltatások, magas hálózatkihasználtság mellett A dolgozat hozzájárulása Kommunikációs hálózatok Szolgáltatások Erőforrások (infrastruktúra) Algoritmusok (protokollok) Alacsony anyagi megtérülés, gazdaságtalan ! Olcsók, nagysebességű számítási platformok és új paradigmák rendelkezésre állnak !

Info-kommunikációs szolgáltatások csomagkapcsolt platformon !!! Kutatási módszerek Csomagkapcsolt hálózat (komplex, véletlen rendszer) Algoritmikus modell Optimalizálás Bonyolult feladat (tradicionálisan nehezen kezelhető) Rossz kihaszn. Alacsonyszintű szolg. Magas hálózatkihasználtság Előírt minőségű szolgáltatások Polinomiális megoldás + real-time implementáció Új számítási paradigmák: neurális hálózatok, tanuló algoritmusok „soft” optimalizálás Info-kommunikációs szolgáltatások csomagkapcsolt platformon !!!

Konkrét hozzájárulások

I. TÉZIS - adaptív jelfeldolgozás a spektrális hatékonyság növelésére Nyitott kérdés : Hogyan lehet a spektrális hatékonyságot a jelenlegi 0.52 bit/sec/Hz - r ő l tovább növelni ?

Zajos és torzított vett jel Motiváció Spektrális hatékonyság [bit/sec/Hz]: adott adatátviteli sebességű szolgáltatáshoz mekkora fizikai sávszélességre van szükség ? Jelenleg SE=0.52 bit/sec/Hz szemben az elméleti 5bit/sec/Hz-el Nem gazdaságos a szélessávú szolgáltatások bevezetése !!! Hogyan lehet ezen adaptív detekciós és kiegyenlítési algoritmusokkal javítani ? CSATORNA (fading + zaj) 1. felh 2. felh n. felh Zajos és torzított vett jel vett jel ISI+MUI leadott jel zaj

Optimális detekció Csatorna (interferenciák: H) Zaj: Csatorna (interferenciák: H) x Opt. detektor Információs sorozat y Következmény: Exponenciális komplexitás (nincs real-time detekció) Új módszerek - Hyst NN detektor - Sztoch NN detektor - FFNNdetektor Hogyan lehet polinomiális komplexitásban detektálni ?

Hiszterézises HN Sztochasztikus HN FFNN detektor Neurális dektorok Új eredmények I: detekció polinomiális komplexitással (Altézis I.1, I.2, I.3) Hiszterézises HN Hibavalószínűség: Sztochasztikus HN Stac.eloszlás FFNN detektor Minimális komplexitású kód, amelyre FFNN = Bayes Neurális dektorok Torzított zajos vett jel Jó minőségű detekció nagy torzítású csatorna esetén is

Numerikus eredmények

A spektrális hatékonyság növelése új kiegyenlítő algoritmusokkal (Altézis I.4, I.5, I.6) Zaj „vak” algoritmusok Csatorna Kiegyenlítő Küszöb-detektor Új kiegyenlítés Tradicionális stratégiák (MMSE, ZF): nincs direkt kapcsolat a BER-el Ismeretlen csatorna jó minőségű kiegyenlítése, sztoch. approximációval !!! gradiens polinomiális komplexitásban A gradiens statisztikus becslése csak a vételi oldalon megfigyelhető jelekből Új vak kiegyenlítő algoritmusok

Numerikus eredmények

Összefoglaló és az I. Tézis eredményeinek súlyozása Hogyan lehet a spektrális hatékonyság értékét növelni ? Neurális alapú detektorok (Altézis I.1.,I.2,I.3) Adaptív csatornakiegyenlítők (Altézis I.4.,I.5,I.6) Spektrális hatékonyság 0.52 bit/sec/Hz 0.9 bit/sec/Hz A terület már meglévő eredményeivel való összehasonlítás: Eredeti Hopfield háló alkalmazása rossz hatásfokkal (Aazhang, Varanasi), Boltzman Machine, és „mean field theory” (Kirkpatrick, Aarts, van den Berg) általános komb. opt. csak logisztikai eloszlású zajjal Kaotikus nurális hálózatok (Nakamura, Hayakawa) csak kombinatorikus optimalizálásra (TSP, vagy n- királynő probléma) teljesítőképesség analízis szintjén

II. TÉZIS - Új útvonalkereső algoritmusok csomagkapcsolt hálózatokban Nyitott kérdés: Hogyan lehet a kommunikációs hálózatok „áteresztőképességét” növelni új útvonalkereső algoritmusokkal, véletlen linkleírók esetén ?

Technológiai motiváció OSPF, PNNI protokollokban „információ-aggregáció” miatt, illetve a sorállások következtében a link-leírók véletlen mennyiségek véletlen linkleírók a linkleírók sűrűsége Hálózat: Tradicionális algoritmusok determinisztikus gráfokon való útvonalkeresésre polinomiális időben (Dijkstra, Bellman-Ford, Floyd Warshall) Új útvonalkereső algoritmusok kifejlesztése véletlen gráfokon, amelyek jó minőségű megoldást garantálnak polinomiális időben A gráfelmélet kiterjesztésével ? ? ?

Optimális útvonalkeresés véletlen gráfon Adott: „end-to-end QoS paraméterek” T,W Nem additív célfüggvények Opt. útvonal additív leírók szerint ??? Új linkmértékek BF algoritmus polinomiális komplexitással Opt. útvonal bottleneck leírók szerint

Új eredmények I: Opt. útvonal mértéktranszformációval (Altézis II Új eredmények I: Opt. útvonal mértéktranszformációval (Altézis II.1, II.2, II.3) Opt. útvonal késl. típusú leírók esetén Opt. útvonal „large deviation theory”-val s optimalizálása Opt. útvonal bottleneck típusú leírók esetén Belman-Ford algoritmus lépésben Additív célfüggvény: Polinomiális algoritmusok egy tradicionális útvonalkeresésnél általánosabb problémára

Teljesítőképesség Sávszélességi Késleltetési linkmérték (normális appr.) (Chernoff)

Új eredmények II: Véletlen útvonal keresés diszkrét kvadratikus optimalizálással (Altézis II.4.) ??? Útvonalkeresési probléma Opt. megold. polin. komp. Kvadratikus programozás HystHNN SHN

Tejesítőképesség Hyst. Hopfield Stoch. Hopfield

Új eredmények III: kiterjesztés több folyamra(Altézis II.5, II.6) alternatív útvonalak + terhelésmegosztás ??? NP hard KOMMUNIKÁCIÓS HÁLÓZAT felh1 felh n . Load entrópia = f(elvezetések, terh. megosztás) Optimális terhelésmegosztás analítikus módszerekkel determinisztikus és véletlen gráfokra

Összefoglaló és II. Tézis eredményeinek súlyozása Hogyan lehet véletlen gráfokon opt. útvonalakat találni a kommunikációs hálózatok áteresztőképességének a növelése érdekében? Polinomiális úvonalkeresés mértéktranszformációval (Tézis II.1,II.2., II.3) Opt. Terhelésmegosztás (Tézis II.5,II.6.) Polinomiális útvonalkeresés neurális hálóval (Tézis II.4.) Fontos hozzájárulás új megközelítés alapján Heurisztikus módszer Csak terh. megosztás optimalizálás Hálózatkihasználtság 63 % 94 % A terület már meglévő eredményeivel való összehasonlítás: Gráfoptimalizálás polinomiális komplexitással determinisztikus gráfokon Lagrange relaxációval, (multicommodity flow, constrained path problem - Feng, Eppstein, Günlük) Kognitív csomagkapcsolt hálózatok útvonalkeresése – intelligencia a csomagokban (Gelenbe, Kocak) Hálózatok küszöbmegbízhatósága – homogén link val. & összekötöttség vizsgálata (Krivelevich, Sudakov)

III. TÉZIS - Hívásengedélyezés csomagkapcsolt hálózatokban Nyitott kérdés: Hogyan lehet a hálózatkihasz-náltságot a jelenlegi 68% fölé növelni előírt minőségi paraméterek megtartása mellett ?

Technológiai motiváció Statisztikus MUX QoS csat. Infokom. Szolgáltatás y C A n Előírt késlelt. és cella-vesztés For rá sok Az erőforrások jó kihasználtsága QoS ??? Cellavesztési valószínűség Forgalmi állapot Accept/Reject ??

CAC forg. állapottól független s paraméterrel Új eredmények I (Altézis III.1, III.2)– CAC a Chernoff határ optimalizálásával CAC: CAC univerzális s paraméterrel CAC többszörös Chernoff határral CAC forg. állapottól független s paraméterrel az eredeti Chernoff határt megközelítő kihasználtság forgalmi állapotvektor

Numerikus eredmények Nem megvalósítható Real-time CAC

Neurális alapú CAC - a hívásengedélyezés mint halmazszeparálás Elveszett forgalom Optimális súlyok ? : min. elveszett forgalom nem engedhető be a QoS-t nem kielégítő forgalom az eredeti szeparáló felület ismeretlen Tanulás kényszeres optimalizálással a minták alapján (tradicionális BP algoritmus nem alklamazható) Kihívás:

Új eredmények II – Altézis III.3. 1.Tanulás irányított gradienssel 2. Tanulás büntetőfüggvényekkel 3. Tanulás prototípusok alapján forgalmi leírók Neurális CAC új tanuló algoritmusokkal Magas hálózatkihasználtság + garantált QoS 96 %

Kiterjesztések CAC CNN hálózattal: halmazszeparálás a legközlebbi társszabály alapján, triggerelt hullámokkal (Altézis III.4); CAC ismeretlen forgalmi leírókkal (parametrikus és nem-parametrikus döntéselmélet) (Altézis III.5); CAC többszörös QoS paraméterekre sorállási modellek alapján (Altézis III.6); CAC kétirányú forgalomra és hozzáférési hálózatokra (Altézis III.7) Az eredmények validálása mérésekkel: EU EXPERT testbed, Basel Switzerland, Ericsson Traffic Laboratory (Altézis III.8);

Numerikus eredmények Hoeffding Csernov FFNN CNN CNN (büntetőfv.-es tanulás) CNN (nulladrendű interpoláció) CNN (lineáris interpoláció)

Rangsor (EU COP579 SPR12 report)

Összefoglaló és a III. Tézis eredményeinek súlyozása Lehetséges-e a hálózatkihasználtságot növelő új CAC algoritmusokat bevezetni ? A Chernoff határ továbbfejlesztése CAC-re (Altézis III.1., III.2, III.7) Neurális CAC előrecsatolt hálóval és CNN-el (Altézis III.3, III.4.) Kiterjesztés ismeretlen forgalmi lerókra és többszörös QoS-re (Altézis III.5.,III.6) Validálás mérésekkel az EU baseli testbed-jén (Altézis III.8.) Fontos hozzájárulások a csomagkapcsolt hálózatokhoz Mérésekkel is kipróbált eredmények a mérnöki implementációhoz Real Time CAC 96 % -os hálózatkihasználtsággal ! A terület már meglévő eredményeivel való összehasonlítás: Regularizáció büntetőfüggvényekkel – opt. neurális hálózat méret, nem a másodfajú hiba elkerülése (Setiono, Larsen, Tikhonov) Mérésalapú CAC – centrális határeloszlási tétel, szórás becslése (Grossgaluser, Tse) Döntéselméleti CAC – csak homogén esetre, csak parametrikus algoritmus (Gibbens, Kelly)

IV. TÉZIS - Megbízhatóságanalízis kommunikációs hálózatokban Nyitott kérdés: Hogyan lehet real-time megbízhatóságanalízist végrehajtani a mintaszám csökkentésével (hatékony becslés az állapottér egy töredéke alapján) ?

Technológiai motiváció Igény: a forgalom elvezetése adott megbízhatósággal Kihívás: Real-time megbízhatóságanalízis egy hatalmas hálózaton sokezer komponenssel Állapottér (sok milliárd hibakonfiguráció) A megízhatósági függvény „átlagolása a teljes” tér felett A megbízhatósági mérték pontos értéke Mintavételezési technika Mintatér (kis számú mintával) A megbízhatósági mérték becslése ??

Real-time megbízhat. analízis A feladat leírása Elemi statisztikák Real-time megbízhat. analízis ?? Mintavételezési technikák Állapottér Hálózati funkcionalitás: Telj. képesség csökkenés egy adott hiba hatására Megbízhatósági mértékek: Átlagos veszteség: Kiesési valószínűség: Asztronómikus méretű szummák !!!

Új megközelítés - Adaptív approximáció kis komplexitású jó approximátor Minta generálás: Adott: a mintaszám K Tanulóhalmaz előállítása Approximáció: A megbízhatósági mérték kiszámolása tanulási komplexitás <<

Real-time megbízhatóság-analízis kis mintaszám alapján Új eredmények I: Adaptív approximátorok megbízhatóság-analízisre (Altézis IV1., IV.2, IV.3) Szakaszonként lineáris approximátor: Real-time megbízhatóság-analízis kis mintaszám alapján (az RBF becslési hibája 0.1%-a a tradicionális módszereknek) Multidimenzionális polinomok: Radiális bázis függvények: Adott mintaszám esetén bizonyítottan jobb mint az eddigi módszerek (Li-Sylvester, Fontosság szerinti mintavételezés)

Kiterjesztések Kiterjesztés függő meghibásodásokra (Altézis IV.4); Kiesési valószínűség becslése „large deviation theory”-val lineáris approximáció esetén (Altézis IV.5); Jó minőségű véletlenszámgenerátorok periodicitás vizsgálata Rey algoritmusa alapján (Altézis IV.6).

Összefoglaló és a IV. Tézis eredményeinek súlyozása Lehetséges-e távközlési hálózatok real-time megbízhatóságanalízise? Adaptív approximációs technikák (Tézis IV.1., IV.2, IV.3) Chernoff technikák a kiesési valószínűség becslésére (Tézis III.3, III.4.) Kiterjesztés függő mintákra (Tézis IV.5.) RNG peridocitása a alapján stat. szimulációkhoz (Tézis IV.6.) Az RBF approximáció ami igazán fontos Marginális jelentőségű Gyors és jó eredmények Elvi eredmény a kipróbálás még hátra van Megbízhatóság az eddig használatos mintaszám 0.1 %-ával ! A terület már meglévő eredményeivel való összehasonlítás: Ritka események szimulációja sorállás során - csak buffertúlcsordulás becslésre (Nicola, de Boer, Rubinstein) Fontosság szerinti mintavételezés – heurisztika a mintavevő eloszlás meghatározásában (Melcher, Carlier) Struktúrált mintavételezés – heurisztika az optimális minta-allokáció meghatározásban (Lutton, Jereb)

Összefoglaló Neurális modellek A vizsgált kérdések egysége Fizikai réteg Adatkapcsolati réteg Hálózati réteg Erőforrások minimalizálása algoritmusokkal A vizsgálati módszerek egysége Halmaz szeparalás Nagy eltérések elmélete Multidim. optimalizálás Tanulás, alul-reprezentált rendszerek Neurális modellek

A tézisek főbb állításai 1. Neurális detekcióval és kiegyenlítéssel a spektrális hatékonyság növelhető (i) neurális detektorok; (ii) kiegyenlítés új célfüggvény szerint; (iii) „vak” algoritmusok 2. Új polinomiális komplexitású útvonalkeresési algoritmusokkal véletlen leírókra a hálózat áteresztő képessége növelhető (i) linkmérték tarnszformáció; (ii) kvadratikus programozás ; (iii) load-entrópia 3. Új hívásengedélyezési algoritmusokkal a hálózat kihasználtsága növelhető (i) módosított Chernoff ; (ii) FNN CAC; (iii) CNN CAC; (iv) döntéselméleti CAC; (v) CAC hozzáférési hálózatokra; (vi) validálás mérésekkel 4. Adaptív approximációs technikákkal a hálózat megbízhatóságanalízise kis mintaszám mellett elvégezhető (i) MA RBF approximációval ; (ii) KV becslése Chernoff technikákkal; (iii) kiterjesztés függő mintákra ; (iv) RNG periodicitás vizsgálata véletlen szimulációkhoz;