Prímrekord, 2005 Csajbók Tímea, Farkas Gábor, Kasza János

Összefoglaló Hardware Software-ek Fordítóprogramok Párhuzamosítás Adatfeldolgozás Mentés Vészleállítás Betöltés Végső összegzés

Hardware Intel Itanium 2 3 MB cache 128 db processzorregiszter 1 GB memória ~5 TB háttérkapacitás ~400 db processzor

Software-ek Redhat GNU/Linux (ia64), 2.4-es kernel Fordítóprogramok (C): GNU C Compiler (gcc) Intel C Compiler (icc) Párhuzamosító software-ek: PVM library MPI library

Fordítóprogramok Kezdetben mind gcc-vel, mind icc-vel kipróbáltuk a programot Késöbb, az optimalizáláskor az icc 2x-3x gyorsabb kódot tudott előállítani

Párhuzamosítás Egy vezérlő processz Csak az intervallumok kiosztása a feladata Ha az összes elkészült, STOP signal-t küld a szitálóknak Sok szitáló processz Csak saját intervallumát szitálja A vezérlő processztől kér egy új intervallumot, mindaddig, amíg van hátra Ha STOP signal-t kap, minden adatot a merevlemezre elment.

Adatfeldolgozás Hogy tároljuk a számokat a szitatáblában? Leggazdaságosabb módja, hogy minden szám egyetlen bitnek felel meg Mi jelentsen, hogy az adott h még szóba jöhet? Egy intervallumot minnél több prímmel szitálunk meg, annál kevesebb h marad, így jobb, ha az 1 jelenti.

Adatfeldolgozás 2 Ezen aprócska észrevétellel a merevlemezen rengeteg helyet megspórolhatunk, hiszen a szóbajövő h-k száma több század részére csökken Ami 1 szónyi h esetén általában 0, az ellenkező esetben lenne... (2^64)

Mentés Az ún. batch node-ok instabilak voltak 2-3 naponta megszakadt a futás Adatvesztés lép fel, a futási idő pedig fogy Mi lett volna, ha az utolsó pillanatban az adatok mentése elött megszakad a futás?

Mentés 2 Menteni kell! A szitáló processzek 10 intervallumonként automatikusan mentenek, azaz a h értékeket egy az egyben a merevlemezre írja Vészhelyzet esetén mentés és maximum 5 percen belül vészleállás

Vészleállítás Egy egyszerű `touch stop` parancs hatására a vezérlő nem ad új intervallumot Amikor egy szitáló processz új intervallumért fordul a kiszolgálóhoz, STOP signal-t kap Ekkor azonnali mentés indul Ha minden mentés befejeződött, a program (szabályosan) leáll

Betöltés Helytakarékossági és adatfeldolgozási okokból adódott a következő ötlet: Dolgozik 100 db processzor, majd végeznek és mentenek Következő munkafolyamat során minden processz megmarkol egy előzőleg elkészült file-t, és folytatja

Betöltés 2 Hogyan lehetséges mindez? Amikor egy számmal szitálunk, adott pozíción lévő egyeseket nullákra cserélünk Ha már az előző munkának köszönhetően kiütöttünk egy lehetséges értéket, nem befolyásolja az aktuális folyamatot.

Végső összegzés Miután minden szükséges intervallummal végeztünk, a 100 db-ból egyetlen file-t kell csinálnunk Összeéseljük az azonos pozíción lévő elemeket pl:

Végső összegzés 2 Ez a művelet már egyetlen processzoron elvégezhető Első lépésben két file-t fésülünk össze, majd mindig 1 újat hozzáveszünk Minden file-t csak egyszer olvasunk be a merevlemezről