Tömeges adattárolás kérdései Kazsoki Gábor Országos Széchényi Könyvtár

Mit fogunk áttekinteni? Mit kell tudnunk a tároló rendszer tervezéséhez? Milyen szereplői vannak a tárolási rendszernek? Hogyan veszítsünk adatot? Hogyan veszítsünk információt? Milyen tárolási rendszerek vannak? Hogyan tovább?

Információ megőrzése? Szerző létrehozza az információt Eltárolja Digitalizáció, ha analóg a forrás Kereshető formátumban archiválás Keresés Visszatöltés Megjelenítés megfelelő keretrendszerben Információ megértése

Tárolórendszer tervezése Milyen adatokat szeretnénk tárolni? Hogyan szeretnénk információt visszanyerni? Van rá forrásunk? Ki lesz az adatgazda? Milyen rendszerekhez szeretnénk csatlakozni?

Hogyan veszítsünk adatot? Minden fizikai példány megsemmisült Véletlen, figyelmetlenségből adódó törlés Szándékos károkozás Szoftver hibából adódó sérülés Rendszer fokozatos leépülése elkerüli a figyelmünket Régi eszközök leállása Vezérlő hiba Vírus, rosszindulatú kód

Hogyan veszítsünk információt? Minden tárolt példány hibás Az elmentett adat bitfolyamként beolvasható, de az adott formátum már nem olvasható a szoftver környezet változása miatt Az adat hibátlanul megvan, de nincs hozzá olvasó Nem ismerjük az elérhetőségét Biztonságba helyeztük, de nem tudjuk visszafejteni a titkosítást

Adatok bizalmassága szerint különböző tárolási megoldások Nyilvános: akár torrent-en is többszörözhetjük Nem nyilvános, de nagy értékű adatot, érzékeny adatot nem tartalmaz: arányos védekezés Az adat kikerülése az intézmény számára katasztrofális következménnyel járna Titkosítás

Saját tároló eszközök főbb típusai Gyors, megbízható storage rendszerek Midline eszközökből álló rendszerek Cluster megoldások: szolgáltatás orientált Software defined storage Szalagos rendszerek 100e/TB HSM Lemez a fiókban Cloud-ban PC-ken (kb 9%/év veszteség arány) 10e/TB

Gyors, megbízható storage rendszerek Front end mögé ideális Mentésről gondoskodni kell AIO megoldás Fenntartás

Midline eszközökből álló rendszerek Ár Fenntarthatóság Megbízhatóság Mentés Kiajánlás

Szalagos rendszerek Rendszeres ellenőrzés Rendszeres átírás Ár Szakértelem Hosszú táv?

Software defined storage Miről szól? Mire használhatjuk? Hosszútávú megőrzésre?

HSM Milyen adatokhoz? Hosszútáv?

Lemez a fiókban Adatvesztés arány Hosszútáv? Tárolási körülmények?

Munkaállomáson tárolva Adatvesztés aránya Költsége Főbb veszélyek

Béreljünk? Biztonságban vannak adataink? Migráció

Cloud

Hello, A few days ago we sent you an letting you know that we were working on recovering an inconsistent data snapshot of one or more of your Amazon EBS volumes. We are very sorry, but ultimately our efforts to manually recover your volume were unsuccessful. The hardware failed in such a way that we could not forensically restore the data. What we were able to recover has been made available via a snapshot, although the data is in such a state that it may have little to no utility... If you have no need for this snapshot, please delete it to avoid incurring storage charges. We apologize for this volume loss and any impact to your business. Sincerely, Amazon Web Services, EBS Support

Hosszú táv? LTO 2000-, 100GB -> 2,5 TB Everstore 30 SSD HDD CD 2-25 év Hitachi 100 millió év

Gyakorlati tanácsok End to end gondolkodás Situation awareness Próbák Megoldás addig amíg a csodaeszköz el nem készül

Köszönöm a figyelmet