Tömeges adattárolás kérdései

Az előadások a következő témára: "Tömeges adattárolás kérdései"— Előadás másolata:

1 Tömeges adattárolás kérdései
Kazsoki Gábor Országos Széchényi Könyvtár

2 Mit fogunk áttekinteni?
Mit kell tudnunk a tároló rendszer tervezéséhez? Milyen szereplői vannak a tárolási rendszernek? Hogyan veszítsünk adatot? Hogyan veszítsünk információt? Milyen tárolási rendszerek vannak? Hogyan tovább?

3 Információ megőrzése? Szerző létrehozza az információt Eltárolja
Digitalizáció, ha analóg a forrás Kereshető formátumban archiválás Keresés Visszatöltés Megjelenítés megfelelő keretrendszerben Információ megértése

4 Tárolórendszer tervezése
Milyen adatokat szeretnénk tárolni? Hogyan szeretnénk információt visszanyerni? Van rá forrásunk? Ki lesz az adatgazda? Milyen rendszerekhez szeretnénk csatlakozni?

5 Hogyan veszítsünk adatot?
Minden fizikai példány megsemmisült Véletlen, figyelmetlenségből adódó törlés Szándékos károkozás Szoftver hibából adódó sérülés Rendszer fokozatos leépülése elkerüli a figyelmünket Régi eszközök leállása Vezérlő hiba Vírus, rosszindulatú kód

6 Hogyan veszítsünk információt?
Minden tárolt példány hibás Az elmentett adat bitfolyamként beolvasható, de az adott formátum már nem olvasható a szoftver környezet változása miatt Az adat hibátlanul megvan, de nincs hozzá olvasó Nem ismerjük az elérhetőségét Biztonságba helyeztük, de nem tudjuk visszafejteni a titkosítást

7 Adatok bizalmassága szerint különböző tárolási megoldások
Nyilvános: akár torrent-en is többszörözhetjük Nem nyilvános, de nagy értékű adatot, érzékeny adatot nem tartalmaz: arányos védekezés Az adat kikerülése az intézmény számára katasztrofális következménnyel járna Titkosítás

8 Saját tároló eszközök főbb típusai
Gyors, megbízható storage rendszerek Midline eszközökből álló rendszerek Cluster megoldások: szolgáltatás orientált Software defined storage Szalagos rendszerek 100e/TB HSM Lemez a fiókban Cloud-ban PC-ken (kb 9%/év veszteség arány) 10e/TB 

9 Gyors, megbízható storage rendszerek
Front end mögé ideális Mentésről gondoskodni kell AIO megoldás Fenntartás

10 Midline eszközökből álló rendszerek
Fenntarthatóság Megbízhatóság Mentés Kiajánlás

11 Szalagos rendszerek Rendszeres ellenőrzés Rendszeres átírás Ár
Szakértelem Hosszú táv?

12 Software defined storage
Miről szól? Mire használhatjuk? Hosszútávú megőrzésre?

13 HSM Milyen adatokhoz? Hosszútáv?

14 Lemez a fiókban Adatvesztés arány Hosszútáv? Tárolási körülmények?

15 Munkaállomáson tárolva
Adatvesztés aránya Költsége Főbb veszélyek

16 Béreljünk? Biztonságban vannak adataink? Migráció

17 Cloud

18 Hello,   A few days ago we sent you an letting you know that we were working on recovering an inconsistent data snapshot of one or more of your Amazon EBS volumes.  We are very sorry, but ultimately our efforts to manually recover your volume were unsuccessful.  The hardware failed in such a way that we could not forensically restore the data.   What we were able to recover has been made available via a snapshot, although the data is in such a state that it may have little to no utility... If you have no need for this snapshot, please delete it to avoid incurring storage charges. We apologize for this volume loss and any impact to your business. Sincerely, Amazon Web Services, EBS Support

19 Hosszú táv? LTO 2000- , 100GB -> 2,5 TB 10-25 Everstore 30 SSD HDD
CD 2-25 év Hitachi 100 millió év

20 Gyakorlati tanácsok End to end gondolkodás Situation awareness Próbák
Megoldás addig amíg a csodaeszköz el nem készül

21 Köszönöm a figyelmet