Personal Assistant to Enhance the Social Life of the Seniors Szociális életet támogató személyes eszköz időseknek (AAL )

 Európai Uniós, AAL projekt  Projekt kezdete: február  8 partner (portugál, francia, lengyel, magyar)  Projekt vezetője: a Microsoft portugál képviselete A projektről

 BME Távközlési és Médiainformatikai Tanszék - konzorciumvezető  Bay Zoltán Alkalmazott Kutatási Közhasznú Nonprofit Kft. Magyar partnerek

 Az idősek  mindennapi életének támogatása,  elszigeteltségük és kirekesztettségük csökkentése a személyi asszisztenssel A projekt célja lehetőséget teremtsen az idősek számára egy hatékonyabb, függetlenebb, társadalmilag aktívabb és kiteljesedettebb életre

 Tableten, okostelefonon elérhető rendszer  Hanggal, érintéssel vezérelhető - az idősek számára könnyebb kezelhetőséget biztosít Mi is az a Személyi asszisztens?

Felhasználói igények felmérése és rendszer specifikáció

 4 országban lezajlott kvantitatív és kvalitatív igényfelmérés az idősek körében a leendő termékkel kapcsolatban  Irodalomkutatás az idősek és az ICT kapcsolatáról Igényfelmérés

 4 rész - 32 kérdés, perc  Főbb kérdések:  Háztartás, egészségügyi állapot  Milyen közösségekbe jár, mennyire aktív  Internettel kapcsolatos felhasználói szokások  Eszközzel kapcsolatos igények Kvantitatív kérdőíves felmérés

Válaszadók

Internethasználat

 összesen 79 válaszadó: 53 nő, 26 férfi Magyar válaszadók

 65% nyugdíjas  Közel 70% felsőfokú végzettséggel rendelkező  40 nagy városban, 11-en közepes méretű, 26-an kisvárosban lakik  Ugyanannyian (35%) lakik házastársával vagy egyedül, 8% idősek otthonában él  Általában jó egészségügyi állapot (látási, hallási problémák), de 72% szed gyógyszert  Havi jövedelem: 30% €, 19% €

Szabadidő eltöltése  72% hobbijának él  30% közösségi helyek  71% minden nap vagy csak hétvégén használ kommunikációs eszközöket (91%-uk rendelkezik mobiltelefonnal)

 68% alacsony, nagyon alacsony vagy semmilyen tudással nem rendelkezik  85% személyi számítógépet használ  58% (!) naponta, 34% hetente használ internetet  Interneten: információszerzés, kommunikáció Számítógép-tudás

 Kapcsolattartás (beszélgetés, , chat)  Frissülő hírportál  Személyre szabott naptár  Segítségnyújtás  Időjárás jelentés Preferált funkciók

 Helyszín: BME  Időpont:  14 résztvevő  Cél: eszközök, alkalmazások, modalitások tesztelése + igényfelmérés  Eszközök: okostelefon, táblagép, fejhallgató, TV, Kinect, Xbox Kvalitatív felmérés workshop keretén belül

 A hagyományos modalitások (billentyűzet, egér) tablet, okos TV környezetben nehézkesek  Szövegfelolvasás  Pl.: üzenetek, hírek, időjárás jelentés felolvasása  Hangvezérlés  Pl.: programok vezérlése, TV távirányítása  Gesztus  Pl.: Kinect érzékelővel vezérelhető alkalmazások, jelenlét érzékelés  Érintés  Pl.: Érintőképernyőn gépelés, programok kezelése Preferált modalitások

Modalitások összehasonlítása

 A 4 országban lévő idősek számáról, helyzetéről, az ország ICT eszközökkel való támogatásáról, ICT szolgáltatásokról és projektekről szól Irodalomkutatás

 Fórumok: eVita, Inforum  Oktatás: Óbudai Egyetem, Mindentudás Egyeteme, Kattints Nagyi!, nagyisuli.hu  Közösségi, tanácsadó oldalak, szórakozás: 50plusz.net, 50-en túl, nyugdijas.jatek- online.hu, honfoglalo.hu  Segítségnyújtás: házipatika, webbeteg, … Magyarországon

 Az igényfelmérés után következő módszertani lépés a perszónák és szcenáriók meghatározása  Perszóna = fiktív személy, végfelhasználó  Szcenárió = elemi vagy összetett cselekvések leírása, melyek során a persona a személyi asszisztenst használja  Az igényelt szolgáltatásokat ezek alapján határoztuk meg Alkalmazás tervezés

 Kovács Mária,  68 éves, Győrben él, 40 éve házas  Gyermekei távol élnek,  600 EUR a család bevétele,  Számítógépet rendszeresen használ,  Szeret főzni, kirándulni  Időnként meglátogatja a gyermekeit, unokáit  … Perszóna részlet

 Kapcsolattartás ismerősökkel, rokonokkal  Eddig tipikusan telefonon keresztül tartotta a kapcsolatot  A család/ismerősök javasolták a facebook, skype, használatát  Ezek az alkalmazások azonban ismeretlenek, túlságosan különböznek egymástól, nehézkesek számára  Szükség van egy egységes, egyszerű (idősbarát) felhasználói felületre ezekhez Szcenárió részlet

Közösségi aktivitás, állapot Időjárás jelentés TV program Időseknek fontos információ Hang által vezérelt levelezés Biztonságos tartalom megosztás Közösségi érdeklődési körök PLA Prototípus Naptár speciális funkciókkal Leendő szolgáltatások

Megvalósítás…

 Felhasználói interfész technológiák fejlesztése idősek számára  Keretrendszer kialakítása  Egyedi szolgáltatások fejlesztése  Iteratív tesztelés A megvalósítás lépései

 A ma elérhető technológiák nem az idősek számára készültek  A beszédkeltés során nem vették figyelembe az idősek igényeit, preferenciáit  A beszédfelismerő rendszerek tipikusan fiatalok hangjával vannak tanítva így az idős korban fellépő változásokat nem képes kezelni Motiváció a beszédtechnológia területén

 A két legkorszerűbb gép beszédkeltési technológia  Korpusz-alapú (pl. időjárás)  Statisztikus parametrikus (HMM, általános szövegekre)  Adott személy hangjára adaptálás Beszédkeltés

EredetiAdaptált TTS 1. beszélő 2. beszélő 3. beszélő Beszédkeltési hangminták

Beszédfelismerés  A beszédfelismerő betanításához nagy mennyiségű hangmintát gyűjtünk (130 óra, 1500 idős beszélő, 3 nyelv)  A hangminták gyűjtése Interneten elérhető adatgyűjtő felületen történik elosztott módon.

 Különböző beszélők, különböző jellegzetességek: Adatgyűjtési minták

 Kinect  Érintőképernyő  Tablet + okos TV integráció  Ezek megvalósítása folyamatban van, a portugál partnerek feladata További modalitások

 Az igényfelmérés során a fő irányok meghatározásra kerültek  A részleteket további végfelhasználói tesztek és igényfelmérések során pontosítjuk  A cél tipikusan Internet alapú, létező szolgáltatások egységes elérése közös felhasználói felületen Szolgáltatások

A rendszer felépítése

Alkalmazás terv (1)

Alkalmazás terv (2)

 videó az időjárás felolvasóról  ( ) Időjárás felolvasó

 videó a kinect prototípusról Alkalmazás terv (3)

Köszönjük a figyelmüket!