Többnyelvű információ-kereső rendszerek Douglas W. Oard College of Information Studies and Institute for Advanced Computer Studies University of Maryland, College Park, MD, USA National Széchényi Library Budapest, Hungary, August 21, 2002

A világ hálózati gazdagépei Forrás: Network Wizards Január 1999 Internet Domain Felmérés

Többnyelvű információ-kereső rendszerek értékelése Évenkénti európai információ kereső rendszer értékelés –Dokumentumok: 8 nyelven: Holland, angol, finn, francia, német, olasz, spanyol, svéd –Keresési kérdések: fenti 8 nyelven + kínai és japán –Batch/kötegelt keresés 2000 óta Interaktív szekció (iCLEF) 2001-ben indult –2001 fókusz: dokumentum választás –2002 fókusz: keresőkérdés megfogalmazása

Kísérlet Ismerkedés a feladattal és a rendszerrel 4 keresési feladat (20 perc/keresés) –Keresési téma elolvasása –Dokumentum fordítások olvasása –A lehető legtöbb dokumentum vizsgálata Releváns, kevésbé releváns, nem releváns, bizonytalan, nem bírált A résztvevőket a dokumentumok relevanciájának elb írálásakor nagy pontosságra kérték 8 kérdőív –Bevezető, minden keresési témához (4), minden rendszerhez (2), záró

Maryland-i Kísérletek 48 kísérleti próba(12 résztvevő) –50%: automatikus keresőkérdés fordítással –50%: fél-automatikus keresőkérdés fordítással 4 résztvevő a Der Spiegel és az SDA (Schweizerischen Depeschenagentur) szövegeiben keresett –20-60 releváns dokumentum 4 témában 8 résztvevő a Der Spiegel szövegeiben keresett –8-20 releváns dokumentum 3 témához 1 témához 0 releváns dokumentum

Kezdeti Eredmények Átlagosan 8 keresőkérdés változat/iteráció keresésenként Témától viszonylag független: –4. Téma (Éhségsztrájkok): 6 keresőkérdés változat –2. Téma (Kincskeresés): 16 keresőkérdés változat Rendszertől néha függő: –1. és 2. Téma: a rendszer hatása gyenge volt –3. és 4. Téma : kevesebb keresőkérdés változat a félautomata rendszerrel 3. Téma: Európai kampány a rasszizmus ellen

Szubjektív értékelés Fél-automata rendszer: –A felhasználó választhatja ki a fordítást – jó Automata rendszer : –Egyszerűbb / kevesebb felhasználói részvétel - jó –Kevesebb funkció / könnyebb megtanulni és használni – jó –A felhasználó nem választhatja ki a fordítást - rossz Mindkét rendszerben: –Kulcsszavak kiemelése a szövegben hasznos - jó –Le nem fordított vagy rosszul fordított szavak - rossz –Boole logikai (ÉS, VAGY, stb.) és szótávolság operátorok hiánya – rossz