1 Tartalomalapú médiavisszakeresés Kiss Attila Információs Rendszerek Tanszék

2 Bevezetés  A webre egyre több multimédia tartalom (kép, hang, videó) kerül fel.  A multimédia tartalmak kategorizálása, szöveges leírása –rengeteg emberi munka lenne, –a leírások nem biztos, hogy elég pontosak.  A tartalom alapú keresők –a multimédia adatokat a jellemzők (features) értékei alapján egy többdimenziós térben ábrázolják. Ezek után osztályozási, mintaillesztési feladatokat oldanak meg. –Tipikus, hogy egy képhez keresünk hasonlókat. Lehet hangminta, dúdolás alapján is keresni.  Alkalmazások: –például röntgen képeket összehasonlítva a hasonló képek alapján segít diagnózist alkotni.

3 Képkeresési példa (Viper) A keresés bemenete.

4 Képkeresési példa (Viper) A keresés kimenete.

5 Felhasználói véleményezés.

6 Finomított eredmény. Jobb?

7 Egy másik keresés festményekre.

8 Festménykeresés eredménye A keresés által visszaadott rövidlista

9 Tartalomalapú keresés  Hogy adjuk meg a keresési feltételt: –Szöveges leírással. –Egy vagy több mintaképet, hangot, klippet adunk meg. –Rajzolunk egy egyszerű vázlatot, például sötét háttérben egy narancssárga kört, ha naplementés képeket keresünk. –Kombináljuk fentieket.  Az eredmény formája –Egy lista, például kicsinyített képekkel. –Azok a klipprészek, amit kerestünk, például, ahol autós üldözési jelenet látható. –Az eredményből strukturált weboldalt vagy más dokumentumot állítunk elő. –A felhasználó finomíthatja, véleményezheti az eredményt, ezzel tovább jaívthatja a kereső algoritmust.  A kereséshez az alapvető feladata médiaadatok összehasonlítása.

10 Hogyan értékeljük ki a keresési algoritmus jóságát?  Pontosság (Precision) és Felidézés (Recall) –Precision = (# releváns elemek) / (# összes visszaadott elem) –Recall = (# releváns elemek) / ( # összes releváns elem az adathalmazban)  Egy Pontosság-Felidézés görbe megrajzolásának folyamata: –Számítsuk ki az adatbázis összes elemének relevanciaértékét. –Rendezzük a listát. –Tegyük fel, hogy a lista a következő: r r r n n r r r n n … és összesen 6 releváns elem van az adatbázisunkban.

11 A Pontosság-Felidézés görbe 1/6 2/6 3/6 4/6 5/6 1 1 Pontosság Felidézés A rövid lista ilyen: r r r n n r r r n n … Kérdés: Miér nem használunk egyetlen értéket a görbe helyett?

12 A „legjobb” Pontosság-Felidézés görbe 1 Pontosság Felidézés 1/(releváns elemek #) (releváns elemek #)/ (összes elem #) 1

13 Képkeresési módszerek  Adatbázisban való képkereséshez össze kell hasonlítani a képeket mennyiségileg bizonyos „jellemzők” alapján.  A képeket egészében összehasonlíthatjuk jellemzők alapján, pl. –Színek, textúrák és térbeli elrendezésük.  Szegmentálhatjuk a képeket területekre és a hasonló jellemzőket használhatjuk objektumok felismerésére.  Az újabb rendszerekben az emberek kiugró jellemzőket használnak, például SIFT (Scale- invariant feature transform)-szerű jellemzőket, tanuló és mintafelismerő módszereket.

14 Szín-hisztogram módszer Sok rossz találat is lesz.

15 Szín-hisztogram javítása  Válasszuk szét az előteret és a hátteret. Foreground Background

16 Szín-hisztogram továbbfejlesztése  Definiáljunk térbeli tartományokat és köztük lévő kapcsolatokat. Színfolt 2 Színfolt 1

17 Keressünk hasonló alakzatokat  A hasonló alakzatok keresése nagy mennyiségű kép kezelésénél nagyon hasznos eszköz.  A lesarkítás-illesztés (chamfer matching) szabványos módszer alakzatok hasonlóságának összehasonlítására.  Az általános Hough-transzformáció is használható képeken alakzatok keresésére.

18 Alakkörnyezet  Az alakkörnyezet is egy gyakran használt jellemző alakzatok keresésénél. C ij a h i és h j alakkörnyezetek távolsága

19 Az illesztés hatékonyságának növelése  Illesztés közben gyors vágás –Visszavágó alakkörnyezetek –Alakzatelemek Greg Mori, Serge Belongie, and Jitendra Malik, Shape Contexts Enable Efficient Retrieval of Similar Shapes, CVPR, 2001

20 Példa eredmény Visszavágó alakkörnyezetek az alakzatillesztésben

21 Jelenlegi irányvonalak és kihívások  Mutatunk egy „újabb keletű” munkát L. Fei-Fei, R. Fergus, and P. Perona. A Bayesian approach to unsupervised One-Shot learning of Object categories. ICCV Cél: felismerni, hogy egy objektum előfordul-e egy képen.

22 SIFT jellemzőket használunk. Igazából a jó jellemzőket kis tanuló képhalmazból vesszük.

23 Motorkerékpár eredmények

24 Versenyek az objektumfelismerésről  network.org/challenges/VOC/voc2007/

25 Egyéb multimédia adatok keresése  Audió keresés –Keressünk meg egy hangklipet egy nagy adatbázisban.  Videó keresés –Keressünk meg egy bizonyos videóklipet. –Keressünk egy videórészletet, amelyben szerepel egy adott személy vagy esemény. –Videóböngészés…

26 Adatszerkezetek a médiakeresésben  Multimédia adatkeresésnél gyakran meg kell találni egy elem „legközelebbi szomszédját” az adatbázisban egy minta alapján.  Minden médiaobjektumot absztrahálhatunk egy jellemzővektorba. A célunk úgy szervezni az adatbázist, hogy a leginkább hasonló vektorokat minél gyorsabban megtaláljuk.  K: Találjunk ki olyan adatszerkezeteket, amelyek javíthatják a keresést.

27 K-d fa  2D-s k-d fa a b c d e f a b c df

28 Összefoglalás  A tartalomalapú multimédia keresés még nem érett. Még sok problémát kell megoldani.  Nincs egyetlen módszer, amely minden problémát megoldana.  Jobb objektumfelismerő és osztályozó sémákra van szükségünk.  Más közeli problémák, mint a multimédia adatbányászat, szintén egyre több figyelmet keltenek.