A láthatatlan/mély web tartalmi és technikai jellemzői

Az előadások a következő témára: "A láthatatlan/mély web tartalmi és technikai jellemzői"— Előadás másolata:

1 A láthatatlan/mély web tartalmi és technikai jellemzői
Csikó Tímea és Soós Barbara

2 A jéghegy csúcsa Láthatatlan Invisible Dark Hidden Mély Deep W E B

3 Mi a Mély Web? A Mély Web az az elnevezés amit a World Wide Web azon oldalai kapnak melyek nem részei a felszíni webnek, azaz nincsenek indexelve az általános keresők által. Nem szabad összekeverni a deep (mély) webet a dark (sötét) webbel, ami olyan gépeknek vagy hálózati szegmenseket jelent, amelyek nincsenek az Internetre kapcsolva.

4 A láthatatlan web A láthatatlan web információi sokkal
nagyobb mennyiségűek jobb minőségűek pontosabbak ellenőrzöttek Rendezettebbek Általánosságban elmondható, hogy a láthatatlan web információforrásainak minősége háromszor jobb a felszíni, a látható web információinál

5 Keresünk, de mivel? Keresőgépek Tematikus keresők
Speciális programok által felépített adatbázisban tárolt, indexeken alapul a keresés kulcsszavak alapján A web robotok a weboldalakat tartalmuk alapján indexelik Tematikus keresők Weboldalak témakörönként csoportosított, általában hierarchikus gyűjteménye Általában az adott témakör szakértői által válogatott oldalak kerülhetnek be

6 Keresőgépek 3 funkcionális részből állnak Web robot (spider, crawler)
Indexelő eljárás – adatbázis építés Kereső rendszer – keresés az adatbázisban Az egyszerű keresés mellett általában összetettebb lekérdezésekre is lehetőséget nyújtanak

7 Keresőgépek A találatok között sorrendet állítanak fel
Különböznek az alábbiakban - indexelt oldalak nagysága - kulcsszavak - indexelő, kereső, sorrendet felállító algoritmusok

8 Több mint 20 milliárd weboldalt ismer a Google – úgy gondolnánk, nem maradhat rejtve információ az Interneten. A keresőóriás azonban vakká tesz. Az első pár oldalnál többet nem nézünk meg, a releváns információk nem itt lesznek megtalálhatók. Google keresés: „Arany János” kb. 681 000 találat Mély weben: 70 találat (a legminőségibb, a legjobb)

9 A Láthatatlan web 100-500%-szor nagyobb mint a látható web
Tudományos kutatás Látható web Amit az általános keresők meg tudnak találni Library of Congress Eric A magán szféra anyagai Oktatás és kutatás Egyetemek és főiskolák

10 A keresést megnehezíti
A csak részben (egy webhelyen belül) strukturált tartalom Az óriási információmennyiség Képeken, mozgóképeken fellelhető információ felkutatása A weboldalakról elérhető, hasznos információt hordozó, nem HTML formátumú források kezelése (pl: pdf, doc,…) A web keresők számára láthatatlan tartalom

11 Hogyan lehet hatékonnyá tenni a keresést?
Felhasználói oldalon Meg kell tanítani jól keresni Népszerűsíteni kell a metakeresőket Láthatóvá kell tenni a láthatatlan webet Szerver oldali megoldások Kereső oldali megoldások

12 Felszíni, és a Mély és sokszor láthatatlan web?
Keywords

13 Megoldások a rejtett web feltárására
Szerver oldalon Web-site optimalizációs megoldások - TOC készítése, publikálása Kereső oldalon Rejtett webet is kereső robotok Probléma: ?-t tartalmazó URL-k Megoldás: ? lecserélése /-re Közvetlen hivatkozás nélküli oldalak még mindig nem láthatóak Spider Linker Tartalomfeltárás Tartalomjegyzék (TOC) készítése: HTML oldal sitelist.txt Publikálás: Linkelés nyitólapról TOC nyitólap

14 Metakeresők Metakereső megoldások a keresőkérdést egyszerre több kereső index adatbázisában keresik Dogpile Ithaki Langenberg Monster Crawler Polymeta (új) Supercrawl the webVivisimo

15 Speciális keresők Clusty Fazzle Hippocrates HIWE (Hidden Web Exposer)
Incywincy Noodle ToolsScience Accelerator ScirusTurbo10

16

17

18

19 Bibliográfia http://melyweb.lap.hu/ Órai jegyzetek
< Amit elrejt az internet = Vakká tesz a Google ( ) < Bakonyi Geza: láthatatlan web ( ) < > Kömlődi Ferenc : Ahova a Google sem jut el ( ) Rabb Ágnes szakdolgozata

20 Somogyi Tamás: A láthatatlan web tudományos részének feltárása
Somogyi Tamás: A láthatatlan web tudományos részének feltárása. In: TMT, (56. évf.) 1. sz. p Palkó Mária: Tudományos kutatás az Akadémiai Láthatatlan Weben. In: Korunk, (20. évf.) 1. sz. p Kovács-Ördög Éva: Információs társadalom. Cikkek, tanulmányok az interneten < >( ) Nagymélykúti Balázs: Tartalommegőrzés az interneten: webarchívumok < >( ) Rabb Ágnes: Szöveggyűjtemény a mélyweb tanulmányozásáhozí< >( )

21 Terfil Rita: A német nyelvű mélyweb forrásai az interneten < >( ) Törökné Schedl Magdolna: Bepillantás a mélyweb adatbázisaiban a alapján < >( ) Ujfalusi Hajnalka: Az internet titkai. Barangolás a láthatatlan web világában Marcus P. Zillman szakértővel < >( )