SAF AIS implementációk tesztelésének tapasztalatai Horváth Tamás Sulyán Tibor BME Irányítástechnika és Informatika Tanszék.

Az előadások a következő témára: "SAF AIS implementációk tesztelésének tapasztalatai Horváth Tamás Sulyán Tibor BME Irányítástechnika és Informatika Tanszék."— Előadás másolata:

1 SAF AIS implementációk tesztelésének tapasztalatai Horváth Tamás tom@iit.bme.hu Sulyán Tibor stibi@iit.bme.hu BME Irányítástechnika és Informatika Tanszék

2 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.2 / 37 Bevezetés Service Availability Forum Application Interface Specification  Egységes szoftverplatform HA szolgáltatásoknak  Széles támogatottság Egyre több SAF AIS implementáció  Nyílt forrás: OpenAIS, OpenSAF, OpenClovis  Zárt forrás: MontaVista, HP ServiceGuard... Egyre bővülő specifikáció  314 - 924 oldal

3 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.3 / 37 Bevezetés Tesztelés  Házon belül  Nyílt eszközzel Cél: egy új tesztrendszer kialakítása  Átfogóbb tesztelhetőség  Bővíthetőség Ericsson Magyarország Kft. - BME IIT közös projekt  Egy implementáció vizsgálata  Egy tesztrendszer megtervezése és implementálása  Több implementáció tesztelése az új rendszerrel

4 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.4 / 37 Tartalom Az AIS áttekintése Tesztelési módszerek és eszközök Egy implementáció tesztelése Az új tesztrendszer bemutatása Fejlesztési irányok

5 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.5 / 37 Az AIS áttekintése Tesztelési módszerek és eszközök Egy implementáció tesztelése Az új tesztrendszer bemutatása Fejlesztési irányok

6 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.6 / 37 AIS áttekintés HA Service Message Service Message Service Checkpoint Service Checkpoint Service Cluster Membership Service Cluster Membership Service Lock Service Lock Service Event Service Event Service Availability Management Framework Process 1 Process 2 Process 3

7 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.7 / 37 AIS áttekintés – komponensek

8 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.8 / 37 AIS áttekintés – kommunikáció dispatch loop

9 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.9 / 37 Az AIS áttekintése Tesztelési módszerek és eszközök Egy implementáció tesztelése Az új tesztrendszer bemutatása Fejlesztési irányok

10 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.10 / 37 Konformancia tesztek  API konformancia  Funkcionális tesztek Teljesítménytesztek  A funkcionalitás minőségét mérik Robosztusság tesztek  A környezet meghibásodásai hogyan hatnak a rendszerre Teszttípusok

11 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.11 / 37 API konformancia tesztek Cél:  Függvények implementáltak  Adott bemenetre megfelelő kimenetet ad Módszer:  paraméterek megválasztása  paraméterkombinációk tesztelése  lehetséges hívási sorrendek tesztelése

12 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.12 / 37 SAFTest SAFTest (www.saf-test.org)  AIS és HPI tesztek Tesztesetek: C programok, melyek az AIS API-t használják  Teszteredmények: a programok visszatérési értékei Tesztkörnyezet: A C programokat fordító és futtató rendszer  Makefile-ok  Az eredményeket összegyűjtő és prezentáló shell scriptek  Metaadatok

13 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.13 / 37 SAFTest metaadatok Call saClmSelectionObjectGet(), before saClmFinalize() is invoked, check if the returned selection object is valid. Call saClmSelectionObjectGet() after invoking saClmFinalize(), check if the returned selection object is invalid.

14 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.14 / 37 A SAFTest jellemzői Jó API-konformancia tesztkörnyezet  Automatikus futtatás, kiértékelés  Könnyen konfigurálható (lényegében Makefile paraméterezéssel)  Implementáció-független Csak API-konformancia tesztek futtathatók  Nem teszteli a SAF cluster-szolgáltatásait és funkcióit

15 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.15 / 37 Funkcionális tesztek Nem csak a funkció meglétét, hanem a megvalósítást is vizsgálják Komplexebb teszteket igényel  Több node, több kliens futtatása  Erre a saftest már nem képes SAFTest-NG (www.saftest-ng.berlios.de)  Cél: funkcionális- és teljesítménytesztek futtatására is alkalmas tesztkörnyezet

16 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.16 / 37 SAFTest-NG Általánosabb eszköz  konformancia tesztek (funkcionalitás)  teljesítménytesztek Jellemzők  A tesztesetek clusteren futnak  Teljesen automatikus végrehajtás  Több gyártó támogatása implementation hooks

17 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.17 / 37 A SAFTest-NG felépítése

18 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.18 / 37 SAFTest-NG teszteset def run() d = CLMTestDriver.getRandomLongLivedDriver(nil) resource = d.createShortLivedTestResource() d.init(resource, true, false, "SA_DISPATCH_ALL", SAFTestUtils.SA_AIS_OK) d.finalize(resource, SAFTestUtils.SA_AIS_OK) d.clusterNodeGet(resource, "SA_CLM_LOCAL_NODE_ID", "SA_TIME_MAX", false, nil, SAFTestUtils.SA_AIS_ERR_BAD_HANDLE) d.deleteTestResource(resource) passed() end

19 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.19 / 37 A SAFTest-NG jellemzői Jó architektúra Leállt a rendszer fejlesztése Csak a CLM és LCK területeket támogatja Költséges a bővítés Nincs megoldva a teszteredmények összegyűjtése

20 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.20 / 37 Az AIS áttekintése Tesztelési módszerek és eszközök Egy implementáció tesztelése Az új tesztrendszer bemutatása Fejlesztési irányok

21 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.21 / 37 Egy implementáció tesztelése OpenAIS 0.70.1  AMF, EVT, CLM, CKPT Saját fejlesztésű tesztrendszer  Prototípus jellegű  Funkcionális tesztelés Cél  Egy AIS implementáció állapotának felmérése  Tapasztalatszerzés későbbi tesztrendszerek megtervezéséhez

22 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.22 / 37 Architektúra Vezérelt komponensek (Local Test Component)  AIS API hívásokat hajtanak végre  Információkat továbbít a vezérlő komponensnek  Minden node-hoz legalább egy ilyen tartozik Vezérlő komponens (Test Coordinator)  Tesztesetek végrehajtása  Eredmények összegyűjtése  Cluster-műveletek végrehajtása Tesztelést támogató könyvtár Elosztott naplózás

23 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.23 / 37 Architektúra

24 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.24 / 37 Tesztesetek specifikálása AzonosítóCKPT03 NévCheckpoint aszinkron megnyitása Tesztelés céljaA CKPT kétféle megynyitási módjának tesztelése. Specifikáció-részletCKPT 3.5.2 Futtatási környezetG konfiguráció Tesztforgatókönyv comp1 komponensen aszinkron módon létrehozunk egy checkpointot végtelen érvényességi idővel, majd bezárjuk. comp3 komponensen töröljük a checkpointot. Lehetséges paraméterek Checkpoint típusa (szinkron vagy aszinkron) Várt eredmény A teszt sikeresen lefut. A megnyitáskor lekérdezett checkpoint státusz megegyezik a létrehozáskor megadottakkal.

25 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.25 / 37 Teszteredmények Több kritikus hiba az implementációban A funkcionalitás helyenként eltér a szabványban írtaktól Sok funkció még nincs implementálva A rendszer finomhangolására nincs megfelelő interfész Kevés a dokumentáció

26 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.26 / 37 Teszteredmények Tesztesetek száma113100% Sikeres futás53 47% Sikeres futás kisebb konformancia-hibákkal65% A funkcionalitás nem implementált31 27% Sikertelen futás2119% A teszteredmény nem megállapítható2 2%

27 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.27 / 37 Az AIS áttekintése Tesztelési módszerek és eszközök Egy implementáció tesztelése Az új tesztrendszer bemutatása Fejlesztési irányok

28 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.28 / 37 Tapasztalatok Érdemes tesztelni Az automatizáltság mértéke: SAFTestSAFTest-NG Saját rendszer konfigurálás-++ vezérlés-+/- kommunikáció-+/- kiértékelés+-+/-

29 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.29 / 37 Az új rendszer jellemzői TTCN-3 alapú rendszer  szabványos leírás  vezérlés, kiértékelés Átfogó tesztelés Többféle teszttípus támogatása  konformancia  teljesítmény  robosztusság Gyors alkalmazkodás  Új szolgáltatási területek  Új verziók

30 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.30 / 37 Az új rendszer architektúrája

31 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.31 / 37 Az új rendszer komponensei Area-Specific Port  Függvények megvalósítása  Decoding and encoding Dispatcher  Session kezelés  Dispatch loop végrehajtása Local Controller  Konfigurációs műveletek Komponensek  tesztesetek végrehajtása

32 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.32 / 37 Megoldandó problémák Több gyártó implementációinak tesztelése  SAFTest-NG-hez hasonló rendszer A szabvány követése  Új területek  Új verziók  Tesztesetek Módosítás vagy új tesztesetek írása  SUT Adapterek Generálás

33 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.33 / 37 SUT Adapterek generálása Területenként generálható  Azonos programozási modell  Különböző API Két lépés  C → TTCN kézzel (egyelőre)  TTCN → SUT Adapter generálás

34 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.34 / 37 Az AIS áttekintése Tesztelési módszerek és eszközök Egy implementáció tesztelése Az új tesztrendszer bemutatása Fejlesztési irányok

35 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.35 / 37 Kitekintés Közeli célok  A prototípus rendszer elkészítése  A korábbi tesztesetek implementálása Összevetés a korábbi eredményekkel  A prototípus rendszer továbbfejlesztése Több implementáció letesztelése A teszt port generátor továbbfejlesztése

36 SAF AIS implementációk tesztelésének tapasztalataiHorváth Tamás, Sulyán Tibor (BME IIT) Szoftvertechnológiai Fórum, 2007. 09. 14.36 / 37 Kitekintés Távoli célok  Funkcionális teszt-specifikáció HPI Compilance Test Suite, www.saforum.org  Átfogó teszteset-készlet implementálása TTCN-3 nyelven IPv6, SIP tesztrendszerek, www.ttcn-3.org

37 Köszönöm a figyelmet!