Intelligens Szoba Fejlesztése 2011 Készítette: Tusor Balázs Konzulens: Dr. Várkonyiné Dr. Kóczy Annamária

Az előadás szerkezete Intelligens Tér (iSpace) A feladat ismertetése Az architektúra felépítése –Kézmozdulat felismerő A megvalósítás jelen állása Összefoglalás és kitekintés

Intelligent Space (iSpace) 1996 óta fejlesztik a Tokiói Egyetem Hashimoto Laborjában Az intelligencia elosztottan van jelen a térben, nem az egyes ágensekben –Tudomása van az ott zajló történésekről –Szolgáltatást nyújt a benne tartózkodóknak –Nem szükséges az egyes ágensekbe bonyolultabb logikát / szenzorokat helyezni Fő egységek: inteligens szenzorok (DINDs, Distributed Intelligent Networked Devices) Keretrendszer néhány alkalmazása: emberek térbeli lokalizálása, robotok irányítása Általános megoldás iSpace Architektúra

A Feladat Cél: egy intelligens szoba-tér fizikai kialakítása valamint intelligenciájának fejlesztése. –a hardware kialakítás egy számítógépes rendszer valamint kamerák összekapcsolását jelenti az intelligens térben –az intelligencia kialakítása képfeldolgozási, beszédanalizálási (és –szintetizálási), programozási, etológiai elemző feladatokat foglal magában. Célok részletesebben: 1.képes értelmezni és végrehajtani szóbeli illetve kézjelekkel megadott egyszerű parancsokat, esetleg választ/információt is adni beszédszintézis segítségével; 2.a korábbi parancsok elemzése révén, az azokban rejlő szabályszerűségeket felismerni, megtanulni és automatikusan alkalmazni; 3.felismerni és a felkínált szolgáltatások jellegén keresztül alkalmazkodni a szobában tartózkodó személy viselkedésének hangulati elemeihez; 4.keretet biztosítani további fejlesztésekhez, mint például intelligens otthon felügyeleti rendszere, hátránnyal élők támogatása, stb.

A rendszer felépítése

A tudásbázis Gráf alapú struktúra Absztrakt objektumok csomópontokként A csomópontok névtelenek és homogének Szótárakon keresztül történik név szerinti azonosításuk Viszonyukat jelzik az egyes élek Absztrakt világ és valós világ Éltípusok: Leszármazási élek Példány élek Meta élek Heurisztika élek Fuzzy élek Képesség “élek” Szinoníma élek Asszociációs élek

Absztrakt és valós szótárak

Parancs-előkészítő modul Feladata: a parancs típusának megállapítása és részekre bontása Parancs 2 típusa: –Utasítás Pl.: Set the alarm to 7:00 –Tiltás Pl.: DO NOT make coffee on Saturday!

Továbbfejlesztett Parancs Előkészítő

Hipotézis A rendszer az értelmezett parancsok alapján hipotéziseket állít fel A hipotézis felépítése –Cselekvés –Tárgy –Számértékek (opcionális) –Triggerek Megerősítettség Feltételek (fuzzy halmaz) –Feltétel csomópont –Érték –Eltérési távolság –Ponáltság

Kézmozdulat Felismerés - Bemenetek: A Detektált Kéz 3D Koordinátamodellje A módszer két kamerát használ –Két különböző látószögből Megkötések: –a bemeneti képeken csak egy detektálható testrész látható –homogén háttér előtt Az eljárás működése: –A szenzorok képén az emberi bőrfelület megkeresése színhisztogram visszavetítéssel szín alapján –Jellegzetes pontok kinyerése a visszavetített képen a kontúrok megkeresésével, majd a görbületek szélsőértékének meghatározásával –Végül a két kamerán megtalált pontokat megfelelteti egymásnak és térben lokalizálja. Az eljárás eredménye: a kéz 3D koordinátamodellje, 15 db térbeli pont

Kézmozdulat Felismerés: Fuzzy Kéztartás Modell 14 vonás, 3 vonástípusra osztva: (A) A relatív távolság az egyes ujjak között (4 vonás) (B) A relatív hajlítottsága az egyes ujjaknak (az ujjpercek által bezárt szögre alapozva) (5 vonás) (C) A relatív szög a legalsó ujjperc és a tenyér síkja között (5 vonás) A vonások lehetséges lingvisztikai értékei: –Kicsi (small) –Közepes (medium) –Nagy (large) Minden egyes vonásnak egy egyenlőszárú fuzzy háromszög felel meg, középpontját az értéke határozza meg A modelleket a ModellBázis tárolja A BC

Parancs Előfeldolgozó: Kézmozdulat Felismerő Szükséges detektorok: 2 kamera Átlagosan % pontosság

Cirkuláris Fuzzy Neurális Hálók A bemeneti és a rejtett rétegek közötti összeköttetések kerültek átrendezésre Egy rejtett rétegbeli neuron 3 szomszédos koordináta hármast kap a bemenetére Három különböző hálózat, más-más vonáscsoportra (így csak a kimeneti neuronok számában különböznek) 15 rejtett rétegbeli neuron 4-5 kimeneti rétegbeli neuron 45 bemenet (= 15 koordináta hármas)

A Megvalósítás Állapota Az intelligens szoba megvalósítása még folyamatban van az Óbudai Egyetem intelligens laboratóriumában 4 kamera –A szoba 4 sarkában –2 mikrofonnal felszerelt A padló sakktábla mintás, hogy segítse a kamera kalibrációt

Összefoglalás és kitekintés Feladat: intelligens szoba fejlesztése Készen van: –A rendszer elméleti része Gráf alapú tudásbázis –Egyszerű és rugalmas struktúra –Könnyen és dinamikusan bővíthető –Természetes nyelvtől független Parancs értelmező és végrehajtató rendszer Heurisztika alapú hipotézis-tanulás Kéztartás felismerő részrendszer –A labor alapfelszerelése (4 kamera + központi számítógép) Továbbfejlesztési lehetőségek: –A Parancs-Előkészítő elemző része algoritmusának kidolgozása –A kéztartás detektáló és felismerő alkalmazás működésbe hozása –Az emberi felhasználók azonosítása –A Kimenet Vezérlő Modul részletes tervezése és implementálása –Beszédfelismerés tervezése és/vagy implementálása

Köszönöm a figyelmet, várom kérdéseiket!