Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

1 Adatbiztonság és tartalom alapú információkezelés Dr. Levendovszky János, egyetemi tanár BME, Híradástechnikai Tanszék elérhetőség+ kurzusinfo :

Hasonló előadás


Az előadások a következő témára: "1 Adatbiztonság és tartalom alapú információkezelés Dr. Levendovszky János, egyetemi tanár BME, Híradástechnikai Tanszék elérhetőség+ kurzusinfo :"— Előadás másolata:

1 1 Adatbiztonság és tartalom alapú információkezelés Dr. Levendovszky János, egyetemi tanár BME, Híradástechnikai Tanszék elérhetőség+ kurzusinfo : Háttéranyagok, hirdetmények : fogadóóra (konz. időpont): csütörtök 4h (IL 118)

2 2 Számonkérés Félévközben 1 db. Zh (illetve PZh) Projektfeladat (szorgalmi időszak végén) Vizsga dolgozat leadás + előadás A számonkérés anyaga csak az előadásokon elhangzottakat érinti

3 3 Ajánlott irodalom S. Mitra, T. Acharya: “Data mining multimeida, soft computing and bioinformatics”, Wiley, 2003 S. Haykin: “Neural networks, a comprehensive foundation”, Prentice Hall, 1999 J. Han, M. Kamber: “Adatbányászat”, PANEM, 2004, Előadásjegyzetek

4 4 Tartalom alapú információkezelés : Tartalom alapú információkezelés : adott adattípusokon belül rejtett kapcsolatok és „minták”, függőségek …stb. feltárása Multimédiás adatok: Bármilyen információ ami tárolható, processzálható és átvihető digitális médiumon keresztül (pl. video, hang, szöveg, grafikus információk, …stb.)

5 5 Információelőhívás és kezelés tartalom alapján ??? Melyik -ben szerepel a szó Bin Laden ?_ Melyik biztonsági kamerás felvételen szerepelt álarcos ember ? Melyik híradóban hangzott el a szó ‘elnökválasztás” szöveg kép hang

6 6 Általános modell Query MULTIMEDIA adat korpusz Klaszterezés, indexelés (redukált dimenziójú térben) Feature extraction, transformation, compression Asszociatív leképezés, osztályozó algoritmus Relevancia rangsor végered mény

7 7 Indexelés – asszociatív leképezések Prototípus: a NAP Instances (egyedi megvalósulások)

8 8 Asszociatív leképezés (formális definíció) Prototípusok objektumok (indexek)Megfigyelt objektum (képrészlet):megfigyelési térmetrikával (pl. Hamming távolság) Asszociáció:

9 9 Klaszterezés Objects (e.g. texts, or sound FFTs, or images) 1-es prototípus 2-es prototípus 3-as prototípus

10 10 Formális leírás Adott úgy, hogy és

11 11 Klaszterezés – indexing (osztályozás) Objects (e.g. texts, or sound FFTs, or images) 1-es prototípus 2-es prototípus 3-as prototípus query

12 12 Lényegkiemelés, dimenzió csökkentés

13 13 Egy kicsit jobb megoldás Így is csak fele sávszélesség kell !!!

14 14 Dimenzióredukció Lényegtelen és lényeges részek szétválasztása 1. térbeli frekvenciák alapján 2. statisztikai függetlenség alapján 3. Időbeli változások alapján

15 15 A képtömörítés algoritmusa Alapgondolat: A nem fontos részek eldobása. Azt hogy mi a fontos egy transzformáció mondja meg, amely a képet “fontossági sorrendbe állítja”. Transzformáció a fontossági sorrend felállítására Ere- deti kép „prioritezált” kép „Vágás”(a nem fontos info. eldobása) Tömörített kép Inverz transzformáció Veszteséges visszaállítás a vágás után

16 16 Transzformációk Karhunen - Loéve Transzformáció (KLT): a fontossági sorrendet a “főkomponen-sek” határozzák meg, amelyek lineár kombinációjából létrejön a korelált videojel. Discrete Cosine Transform (DCT): A magasabb térbeli periodicitású komponensek elhagyása

17 17 www keresés

18 18 Eredmények I

19 19 Eredmények II Mi releváns, mi nem ?

20 20 Történeti áttekintés „String matching” probléma, Boyer-Moore algoritmus, Knuth-Morris-Pratt algoritmus, Karp- Rabin algoritmus Tartalomalapú információkezelés természetes nyelveken (kis tudományos szövegkorpuszok, Boolean és vektortéralapú modellek, Salton, Cornell University)

21 21 Történeti áttekintés (folyt.) 1980-as évek Nagy dokumentum adathalmazok, vállalati tulajdonban Lexis – Nexis Dialog MEDLINE

22 22 Történeti áttekintés (folyt.) 1990-as évek FTP letölthető dokumentumok keresése az interneten Archie WAIS Keresés a világhálón Lycos Yahoo Altavista Automated text categorization and clustering Érzékelő és felügyelő rendszerek multimédiás adathalmazai

23 23 Történeti áttekintés (folyt.) as évek Link analízis web-es keresésre - Google Automatikus információ kinyerés – Whizbang, Fetch, Burning Glass Kérdés felelet típusú információkinyerés – TREC Q/A track Multimedia IR Cross language IR – DARPA tides Dokumentum összefoglalók

24 24 String matching

25 25 Pattern: b b a b a a bbab a b a b a a Állapotgráf: Text: a b b b a b a b a b b a b b a b b b b a a b b a b

26 26 Pattern: b b a bText: a b b b a b a b a b b a b b a b b b b a a b b a b Állapotgráf: állapot ab a bbab a b a b a a

27 27 Előhívás Text: a b b b a b a b a b b a b b a b b b b a a b b a b állap ot ab Pattern: b b a b Komplexitás:

28 28 Knuth- Morris- Pratt algoritmus Text: c b b a b a b b a b a b a c a b a Pattern: b a b a b c a Eltolt pattern: b a b a b c a b a b a b b a b Nincs szükség visszamenőleges összehasonlításra !

29 29 Next táblázat b a b a b Next(1)=0 b a b a b Next(2)=1 b a b a b Next(4)=2 b a b a b Next(5)=3 b a b a b Next(3)=1 b a b a b j Pattern babab Next 01123

30 30 A Next tábla előállítása

31 31 KMP algoritmus

32 32 Boyer – Moore algoritmus Text: … a b b a d b a b a c b d a Pattern: b c b a b b c b a b Skip tábla abcd 1035 Skip 5 Skip 3

33 33 Példa Text: …one of them matches and other mismatch from Pattern: match match* Skip tábla

34 34 Példa (folyt.) …one of them matches and other mismatch from match No skip

35 35 A skip tábla előállítása

36 36 Boyer – Moore – Horspool algoritmus Text: …one of them matches and other mismatch from Pattern: match match* Skip tábla

37 37 BMH (folyt.) …one of them matches and other mismatch from match No skip match 5 1

38 38 Karp – Rabin algoritmus Pattern: d e d Text: b a d e d e d c a bText: Text: Transzf: AND

39 39 Előhívás tömörített file-ban 0 =a 10 = b 11 = c Text: a b a c b b a a b c a b cPattern: ac Huffman kódolás Text: Pattern: 011 OK NEM OK


Letölteni ppt "1 Adatbiztonság és tartalom alapú információkezelés Dr. Levendovszky János, egyetemi tanár BME, Híradástechnikai Tanszék elérhetőség+ kurzusinfo :"

Hasonló előadás


Google Hirdetések