1 Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Rendszermonitorizás és eseménykezelés fejlesztési támogatása Kocsis Imre, Micskei Zoltán Intelligens rendszerfelügyelet

2 Felügyeletre tervezés  Rendszerkomponensek: a rendszerfelügyelet számára általában nem módosíthatóak o Black box komponensek felügyelhetősége általában erősen korlátos o Felügyelhetőségre tervezés: erős ipari nyomás MOF, IBM Autonomic Computing DevOps  Felügyeletre tervezéshez szükséges o Támogató API-k és platform mechanizmusok o Felügyeleti modell

3 Miért lesz ez nekünk jó? Szokásos szoftver kiadás: Milyen jó lenne: o Nem csak fut/nem fut látszódna az alkalmazásból o Hibát jelezné, és automatikusan lehetne beavatkozni o Alkalmazás jelezné a növekvő terhelést, automatikusan új kiszolgálót rakhatnánk alá o…o… Forrás: What is DevOps?

4 Felügyeletre tervezés - példa  (Figyelem: felkészülés a házi feladatra)  Felügyelt SW komponens: whitelisting HTTP proxy o Kliensek internet-hozzáférésének szűrése o Egyszerűsítések: egyszálú, nincs perzisztens HTTP, nincs SSL  Analízis/modellezés: rendszerfelügyeletnek fontos o állapotok, o események, o metrikák és tulajdonságok, o beavatkozási lehetőségek meghatározása.

5 Példa: kezdeti állapotgép A rendszer erőteljesen alulspecifikált; „érdekes” hibák, hosszadalmas hibakeresés…

6 Példa: hibaesetek specifikálása

7 Példa: további hibaesetek Megfigyelhetőség? Legegyszerűbb: állapotgép-futás (trace) lépéseinek naplózása Megfigyelhetőség? Legegyszerűbb: állapotgép-futás (trace) lépéseinek naplózása

8 Példa: kiegészítés naplózással

9 Példa kiegészítés naplózással Biztos hogy minden lépés ugyanolyan fontos?

10 Log események kategorizálása - példa Kategória Leírás CriticalFatal error or application crash. ErrorRecoverable error. WarningNoncritical problem. InformationInformational message. VerboseDebugging trace. … (.NET Framework: System.Diagnostics.TraceEventType)

11 Log események kategorizálása - példa  logInit  logLoadOk  logConfigLoadError  logBindOk  logBindFailure  logClientRequest  logMalformedReq  logDeniedReq  … Information Critical Information Critical Verbose (inkább, mint Information) Error

12 Példa: metrikák – funkcionális aspektus  Funkció: kiszolgáló folyamat o Uptime  Funkció: kérés-válasz kiszolgáló o Beérkezett kérések száma o Sikeresen kiszolgált kérések száma  Funkció: HTTP proxy o Rosszul formáltság miatt eldobott kérések száma o HTTP hibakód miatt nem kiszolgált kérések száma o Nem whitelist-be eső kérések aránya 1.Uptime kivételével: valamilyen csúszóablakra nézzük 2.Az utolsó metrika: inkább adatbiztonsági aspektus 3.A többi egy része is átnyúlik a szolgáltatásbiztonságba 1.Uptime kivételével: valamilyen csúszóablakra nézzük 2.Az utolsó metrika: inkább adatbiztonsági aspektus 3.A többi egy része is átnyúlik a szolgáltatásbiztonságba

13 Példa: metrikák – teljesítmény-aspektus  Kérés-válasz kiszolgáló o Kliensek felé átlagos kiszolgálási idő (várakozás + végrehajtás) o Átlagos továbbított adatmennyiség  HTTP proxy o Saját kérések átlagos RTT-je Megengedett oldalakra lebontva o Ha cache is: átlagos fogadott adatmennyiség De akkor be lehet venni a szokásos cache metrikákat is Ismét csak csúszóablakokra nézve

14 Példa: Futás közbeni állapot ;10:34;100;Information;Binding to port ;10:34;101;Information;Waiting for request ;10:35;102;Verbose;Request arrived ;10:35;105;Error;Malformed request Naplózás Monitorozás / Lekérdezés State:ProcessRequest Uptime:00:03:14 NumRequests:15 FailedRequest:0...

15 Felügyeleti akciók - példák  Terminálás o A modell már tartalmazza  Whitelist-állomány újratöltése o Ehhez a modellt is módosítani kellene!  Whitelist-modell on-the-fly módosítása o ~  A főbb nem megengedett, de kért oldalak listájának lekérése (+ gyakoriság, IP címek, …) Ugye látszik, hogy bonyolultabb esetben mindezt (pl.) UML-ben ragadtuk volna meg?

16 Példa: hogy állunk most?

17 Integráció a rendszerfelügyelethez?  Naplózás: (osztály)könyvtárak o filterelés és „routing”: konfiguráció, nem kód! o Kulcsrakész integráció platformszintű mechanizmusokhoz (pl. Event Log, WMI) o MS Enterprise Library, log4j, …  Metrikák lekérdezhetősége, operációk o Jellemzően platform támogatás kihasználása o CIM provider készítése (pl..NET WMI provider) o Ma: Java Management Extensions (JMX)

18 Tartalom  Felügyeletre tervezés  Mintapélda: felügyeleti modell elkészítése  Felhasználható technológiák o MS Logging Application Block o Java Management Extensions (JMX)

19 Microsoft Enterprise Library Logging Application Block

20 MS Enterprise Library  Patterns & Practices csapat  Tipikus feladatokra bevált megoldások gyűjteménye

21 Logging Application Block áttekintése

22.NET naplózás a Logging Application Blockkal 1. Előszűrés 2. „Forrásokba” helyezés 3. Forrásokhoz rendelt, különböző célokkal rendelkező nyelők 0. Bejegyzéseket emittáló saját kód 4. Nyelőkhöz rendelt formázás.NET alkalmazás- konfiguráció (xml).NET alkalmazás- konfiguráció (xml)

23 Log bejegyzések létrehozása static void Main(string[] args) { LogWriter defaultWriter = → EnterpriseLibraryContainer.Current.GetInstance (); LogEntry entry = new LogEntry(); entry.EventId = 10; entry.Severity = TraceEventType.Error; entry.Message = "LoggingTest program initialized"; defaultWriter.Write(entry); Console.WriteLine("Hello logging world"); } Bejegyzés: LogEntry példány vagy közvetlenül a Write() változatai

24 Bejegyzések emittálása - konfiguráció Az „alkalmazásblokk” használatba vétele Beállítások ide kerülnek

25 Enterprise Library Configuration Tool Grafikus szerkesztő az xml-hez

26 Log források és nyelők ICollection LogEntry.Categories Egy forráshoz több listener is tartozhat! „SourceLevel” szűrés! Egy forráshoz több listener is tartozhat! „SourceLevel” szűrés!

27 DEMO  Log esemény kiíratása Eseménynaplóba  Átkonfigurálás: o naplózás egy szöveges állományba is Logging Application Block

28 Linkek  Microsoft Enterprise Library 5.0 – April  Letölthető, teljes dokumentáció  Dev Guide: As Easy As Falling Off a Log

29 Tartalom  Felügyeletre tervezés  Mintapélda: felügyeleti modell elkészítése  Felhasználható technológiák o MS Logging Application Block o Java Management Extensions (JMX)

30 Modern folyamat-virtuálisgépek felügyelete.NET Windows WMI Eventing Logging Perf. Counters WinRM platform

31 A Java platform és menedzsmentje

32 JRE felügyeleti támogatás Java API: platformszintű információk lokális elérésére java.lang.management Java API: platformszintű információk lokális elérésére java.lang.management

33 java.lang.management.ManagementFactory

34 Platform felügyeleti adatok: MXBean-ek Java platformClass LoadingThreadRuntimeCompilationOperating SystemMemóriaMemoryMemory Pool-okMemory Manager-ekGarbage Collector-ok

35 Platform felügyeleti adatok: MXBean-ek Java platformClass LoadingThreadRuntimeCompilationOperating SystemMemóriaMemoryMemory Pool-okMemory Manager-ekGarbage Collector-ok Betöltött/kiürített osztályok száma Szál-statisztikák és –információk (lock-ok, StackTrace, …) VM adatok, indítási paraméterek, példány név, classpath, …

36 JVM: memória  Heap: o Futásidejű adatterület: osztály-példányok és tömbök o Szemétgyűjtés (garbage collection)  Non-Heap (része): method area o Osztályonkénti struktúrák, mint Metódus- és konstruktor-kód Mező és metódus-adatok (Futásidejű) szimbólumtábla  Memory pool: ezek logikai alegységei, melyeket Memory Manager-ek kezelnek

37 Platform felügyeleti adatok: MXBean-ek Java platformClass LoadingThreadRuntimeCompilationOperating SystemMemóriaMemoryMemory Pool-okMemory Manager-ekGarbage Collector-ok

38 Garbage Collection  Explicit memória-menedzsment problémái o „Lógó” referenciák - dangling references o Memória-szivárgás - memory leak o (Fragmentáció) Lásd: különböző malloc variánsok  Megoldás: memória felszabadításának automatikus kezelése

39 Garbage Collection  Azon objektumok élők, melyekre létezik referencia o Amire semmi nem mutat, annak a memóriaterületét kezeljük úgy, mint újra kioszthatót  Gyenge generációs hipotézis (tapasztalati szabály) o A legtöbb allokált objektum rövid ideig élő o Öregebb  fiatalabb referenciák: kevés o Egyszerre általában kevés fiatal objektum  Generációs GC o Generációs pool-ok, túlélők „előléptetése” o Generációnként eltérő algoritmusok/gyakoriság

40 Garbage Collection

41 JRE felügyeleti támogatás -Attach API: másik VM-be (saját) ágens betöltetése (lásd jconsole) - + … -Attach API: másik VM-be (saját) ágens betöltetése (lásd jconsole) - + …

42 Saját alkalmazások felügyelete Java platformClass LoadingThreadRuntimeCompilationOperating SystemMemóriaMemoryMemory Pool-okMemory Manager-ekGarbage Collector-ok Saját webkiszolgáló állapota? -Jó lenne hasonlóan: objektum írja le az aspektust ! Valami registry / broker is kell (inkl. metaadatok) ! Távoli hozzáférés -Jó lenne hasonlóan: objektum írja le az aspektust ! Valami registry / broker is kell (inkl. metaadatok) ! Távoli hozzáférés

43 JRE felügyeleti támogatás - Instrumentációs és (távoli) menedzsment Java API - Deklarációs mechanizmusok - Szükséges platform-támogatás javax.management(.*) - Instrumentációs és (távoli) menedzsment Java API - Deklarációs mechanizmusok - Szükséges platform-támogatás javax.management(.*)

44 JMX (Java Management Extensions) „Kibocsájtó”: Java Community Process (JCP) Megalkotók: Sun, IBM, Apache, BEA, … Verzió: JMX 2.0, JSR255 (2008) Cél: A Java platform és alkalmazások menedzsmentjének szabványosítása, szerver és kliens oldali API-k és elvárt szolgáltatások megadásával Impl.: J2SE 5.0-tól és J2EE 1.4-től kötelező

45 JMX: alapvető jellemzők  Összetett, API-orientált szabvány  „Java-ból menedzselünk akár távoli Java-t” o Legyen egyszerűbb, mint az RMI… (de használhatja)  Metódushívás + get/set távolról  Kell valami menedzsmentobjektum-bróker o Lokális Java objektumok „feliratkozása” provider-nek o A lokális feliratkozottak távolról lekérdezése Hívások kezelése

46 JMX - architektúra

47 MBean-ek  „Managed Bean”: alapvetően egy Java objektum o Bean osztály: elnevezési, létrehozási és viselkedési konvenciók o Szinte akármit reprezentálhat Platform MBean-ek (MXBean): JVM erőforrások EE környezetek szolgáltatásai (JDBC, tranzakciókezelés, …) Saját modell

48 MBean-ek nevei  Az MBean-ekre objektum-referenciánk nincs!  Objektum-név: o Domain név: egyszerű, nem hierarchikus névtérkezelés o + kulcs tulajdonságok rendezetlen halmaza o Az „eredeti” típus (Java osztály) nem jelenik meg! o Best practice: „type” és „name” kulcsok  MXBean-ek: szabványos nevek

49 MBean név példák Catalina:type=Cache,host=localhost,path=/tomcat-docs Catalina:type=Cache,host=localhost,path=/servlets- examples Catalina:type=ThreadPool,name=jk-8009 java.lang:type=Runtime java.util.logging:type=Logging com.sun.management:type=HotSpotDiagnostic

50 DEMO  Tomcat , default config o  MBean-ek: o Service o GlobalRequestProcessor Page reload JMX bevezető: példa MBean-ek

51 MBeanServer  MBean-eket nyilvántartó „broker” objektum  Publikus interfészén: o Létrehozás/törlés o MBean-ek név és név-minta szerinti keresése o MBean-ek attribútum- és metódushalmazának lekérdezése o MBean attribútumok olvasása és írása, metódusok hívása o az MBean-ek által létrehozott jelzésekre feliratkozás  Távoli és lokális interfészei különböznek

52 Konnektorok  MBeanServer(-ek) lokális elérése: factory o static MBeanServer ManagementFactory.getPlatformMBeanServer()  Másik JVM-ből?

53 Konnektorok

54 DEMO  Távoli/lokális: MBeanServerConnection o ement/class-use/MBeanServerConnection.html ement/class-use/MBeanServerConnection.html  Lokális: MBeanServer o ement/MBeanServer.html ement/MBeanServer.html MBeanServer interfészek

55 MBean-ek metaadatai  MBeanServer  kliens Descriptor: metaadatok (név/érték párok) – csakúgy, mint a CIM-nél

56 MBean-ek fejlesztése  Egy MBean egy konkrét Java osztály (példánya), ami o Implementálja a saját Mbean interfészét vagy o a DynamicMBean interfészt, illetve o Opcionálisan a NotificationBroadcaster interfészt  Az első opció: „standard” MBean o Menedzsment interfész: egyszerű szabályok a struktúrán

57 Standard MBean példa public interface MyClassMBean { public int getState(); public void setState(int s); public void reset(); } Az osztálynév: MyClass Van megfelelő getter/setter: a State attribútum látszani fog További operáció

58 Standard MBean példa public class MyClass implements MyClassMBean{ private int state = 0; private String hidden = null; public void warble(){} public String getHidden(){return hidden; } public void setHidden(String h){hidden = h;} public void setState(int s) {state = s;} public int getState() {return state;} public void reset() {state = 0;} } + a publikus konstruktorok látszanak (az MBeanServer is példányosíthat) Rejtett marad Szintén

59 Standard MBean példa public static void main(String[] args){ MBeanServer mbs = ManagementFactory.getPlatformMBeanServer(); MyClass m = new MyClass(); try { mbs.registerMBean(m, new ObjectName("inf.mit.bme.hu:" + "type=MyClass,name=probe")); […]

60 Platform MBeanServer: távoli hozzáférés java -Dcom.sun.management.jmxremote.port=9004 \ -Dcom.sun.management.jmxremote.ssl=false \ -Dcom.sun.management.jmxremote.authenticate=false \ ManagedApp FIGYELEM: NEM BIZTONSÁGOS! (Lokális hozzáférés máshogy)

61 Standard MBean példa

62 Standard MBean példa public class Manager { public static void main(String[] args) { JMXServiceURL address = null; JMXConnector connector = null; MBeanServerConnection connection = null; try { address = new JMXServiceURL("service:jmx:rmi:///jndi/rmi:// localhost:9004/jmxrmi"); } catch (MalformedURLException e) {[…]}

63 Standard MBean példa try { connector = JMXConnectorFactory.connect(address); connection = connector.getMBeanServerConnection(); } catch (IOException e) { e.printStackTrace(); System.exit(1); }

64 Standard MBean példa ObjectName on; try { on = new ObjectName("inf.mit.bme.hu:type=MyClass" + ",name=probe"); Object attr = connection.getAttribute(on, "State"); System.out.println(attr.toString()); } catch (Exception e) {[…]}[…]

65 JDK-támogatás

66 DEMO  JConsole: \bin\jconsole.exe o Csatlakozás a Java folyamatra (Attach API) o Képességek áttekintése o Platform MBean-ek!  JVisualVM: \bin\jvisualvm.exe o Csatlakozás a Java folyamatra o JConsole plugin installálása o Képességek áttekintése JConsole és JVisualVM

67 További JDK-támogatás  „Monitoring”: o jtop o jps o jstat o jstatd  „Troubleshoot”: o jinfo o jmap o jsadebugd o jstack

68 Szkriptelt hozzáférés  Programozott megoldások sokszor feleslegesek o Unix/Linux: bash/ksh/perl/… o Windows: VB, PowerShell,.bat  A Java nyelv ≠ JVM/Java platform o A.NET CLR-re is több nyelv fordítható  JVM-re épülő szkriptnyelvek (fordítás/interpretálás): o Groovy o JRuby o JavaScript  JConsole script shell

69 JMX: Ami kimaradt  További MBean típusok (nyílt, modell, …)  Értesítési mechanizmusok (notification)  Kötelező ágens-szolgáltatások o „Dynamic loading”: akár dinamikusan letöltött osztályok példányosítása o Attribútum-érték monitorozás és értesítés o Ütemezett értesítések o MBean-ek közötti asszociációs szolgáltatás

70 Linkek  JMX technology page (Sun): o mgmt/javamanagement/ mgmt/javamanagement/  JMX tutorial: o torialTOC.html torialTOC.html  A Tutorial-ban az instrumentáció legalapvetőbb kérdései: o sential.html#wp sential.html#wp  JMX adatbiztonság-menedzsment (autentikáció/titkosítás): o agement/agent.html agement/agent.html