Tömeges adattárolás kérdései Kazsoki Gábor Országos Széchényi Könyvtár
Mit fogunk áttekinteni? Mit kell tudnunk a tároló rendszer tervezéséhez? Milyen szereplői vannak a tárolási rendszernek? Hogyan veszítsünk adatot? Hogyan veszítsünk információt? Milyen tárolási rendszerek vannak? Hogyan tovább?
Információ megőrzése? Szerző létrehozza az információt Eltárolja Digitalizáció, ha analóg a forrás Kereshető formátumban archiválás Keresés Visszatöltés Megjelenítés megfelelő keretrendszerben Információ megértése
Tárolórendszer tervezése Milyen adatokat szeretnénk tárolni? Hogyan szeretnénk információt visszanyerni? Van rá forrásunk? Ki lesz az adatgazda? Milyen rendszerekhez szeretnénk csatlakozni?
Hogyan veszítsünk adatot? Minden fizikai példány megsemmisült Véletlen, figyelmetlenségből adódó törlés Szándékos károkozás Szoftver hibából adódó sérülés Rendszer fokozatos leépülése elkerüli a figyelmünket Régi eszközök leállása Vezérlő hiba Vírus, rosszindulatú kód
Hogyan veszítsünk információt? Minden tárolt példány hibás Az elmentett adat bitfolyamként beolvasható, de az adott formátum már nem olvasható a szoftver környezet változása miatt Az adat hibátlanul megvan, de nincs hozzá olvasó Nem ismerjük az elérhetőségét Biztonságba helyeztük, de nem tudjuk visszafejteni a titkosítást
Adatok bizalmassága szerint különböző tárolási megoldások Nyilvános: akár torrent-en is többszörözhetjük Nem nyilvános, de nagy értékű adatot, érzékeny adatot nem tartalmaz: arányos védekezés Az adat kikerülése az intézmény számára katasztrofális következménnyel járna Titkosítás
Saját tároló eszközök főbb típusai Gyors, megbízható storage rendszerek Midline eszközökből álló rendszerek Cluster megoldások: szolgáltatás orientált Software defined storage Szalagos rendszerek 100e/TB HSM Lemez a fiókban Cloud-ban PC-ken (kb 9%/év veszteség arány) 10e/TB
Gyors, megbízható storage rendszerek Front end mögé ideális Mentésről gondoskodni kell AIO megoldás Fenntartás
Midline eszközökből álló rendszerek Fenntarthatóság Megbízhatóság Mentés Kiajánlás
Szalagos rendszerek Rendszeres ellenőrzés Rendszeres átírás Ár Szakértelem Hosszú táv?
Software defined storage Miről szól? Mire használhatjuk? Hosszútávú megőrzésre?
HSM Milyen adatokhoz? Hosszútáv?
Lemez a fiókban Adatvesztés arány Hosszútáv? Tárolási körülmények?
Munkaállomáson tárolva Adatvesztés aránya Költsége Főbb veszélyek
Béreljünk? Biztonságban vannak adataink? Migráció
Cloud
Hello, A few days ago we sent you an email letting you know that we were working on recovering an inconsistent data snapshot of one or more of your Amazon EBS volumes. We are very sorry, but ultimately our efforts to manually recover your volume were unsuccessful. The hardware failed in such a way that we could not forensically restore the data. What we were able to recover has been made available via a snapshot, although the data is in such a state that it may have little to no utility... If you have no need for this snapshot, please delete it to avoid incurring storage charges. We apologize for this volume loss and any impact to your business. Sincerely, Amazon Web Services, EBS Support
Hosszú táv? LTO 2000- , 100GB -> 2,5 TB 10-25 Everstore 30 SSD HDD CD 2-25 év Hitachi 100 millió év
Gyakorlati tanácsok End to end gondolkodás Situation awareness Próbák Megoldás addig amíg a csodaeszköz el nem készül
Köszönöm a figyelmet