Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Kiszolgáló oldali virtualizáció Tóth Dániel, Micskei Zoltán, Szatmári Zoltán Virtualizációs technológiák és alkalmazásaik

Tartalom  Követelmények  Szerver virtualizációs architektúrák  Háttértárak virtualizációja  VMware ESX és ESXi szerver architektúrája  Microsoft Hyper-V architektúra  Erőforrás gazdálkodás 2

Szerver virtualizáció  Miben más, mint a desktop virtualizáció? o „Konszolidáció” – sok virtuális gép együttes futtatása, erőforrás hatékonyság, takarékosság o Hangsúlyos a távoli elérés, helyi hozzáférés teljesen háttérbe szorul o Az előző következménye: kevesebb fajta hardvert kell támogatni, nincs „multimédiás” igény o Karbantartási feladatok egyszerűsítése, automatizálhatóság o Menedzsment: monitorozás, távoli beavatkozás, terhelés és teljesítményadatok figyelése o „Integráció” – a virtualizált szerverek egy nagyobb infrastruktúra részei o Hozzáférés vezérlés, biztonság, a rendszernek sok (nem feltétlenül megbízható) felhasználója lehet egyszerre o Megbízható, hibatűrő működés 3

Virt. Emlékeztető – a két fő architektúra  Kétféle megközelítés: Hardver OS Virt. szoftver App. OS App. Hardver Virt. szoftver Menedzsment OS Menedzsment App. OS App. Hosted virtualizáció Bare-metal virtualizáció Jellemzően kliens megoldások: VMware Workstation, Server, Player, Sun VirtualBox, MS VirtualPC, KVM, UML Jellemzően szerver megoldások: VMware ESX Server, Xen Enterprise, MS Hyper-V 4

Emlékeztető – a két fő architektúra Hosted  Interaktív alkalmazásnál előnyös o helyi hozzáférés, gyors grafika, hang stb. o OS szintű erőforrások biztosítása o Integráció asztali munkakörnyezetbe o Hardver meghajtókat a hoszt OS kezeli  Jellemzően kevés virtuális gép fut egyszerre o sok virtuális gépnél már rossz skálázódás o Jellemzően az OS alkalmazásokhoz kitalált ütemezőit próbálja VM-ek erőforrásgazdálkodására használni Bare-metal  Interaktív alkalmazások nehézkesek o távoli hozzáférés kell (lokális gépen megjelenítésnél is!) o teljesen speciális saját környezet, csak virtuális gépek futtatására o nincsenek finomított OS erőforrások o Hardver támogatást külön meg kell oldani  Jó skálázhatóság o Nincs hoszt OS, ami erőforrást fogyasztana o Saját, VM-ek számára optimalizált ütemezők, erőforrás-elosztók 5

Szerver virtualizáció  Platform virtualizáción alapuló megoldások: o VMware ESX Server, ESXi – bare metal o Xen – bare metal Xen.org – bare metal Citrix XenServer – bare metal Oracle VM Server (Xen alapú) – bare metal o Microsoft Hyper-V – bare metal o IBM LPAR, DLPAR – bare metal o … 6

Minimális konzolos beállítási lehetőségek 7

Távoli hozzáférés megvalósítási lehetőségek Hardver BIOS Operációs rendszer Alkalmazások Billentyűzet, egér, video Billentyűzet, egér, video Beépített távoli menedzsment hardver Távoli elérés Ethernet hálózaton keresztül (IPMI, Intel AMT) Távoli elérés hardver Hálózat Távolság: TCP/IP felett akárhova eljuttatható Több gép elérése: külön IP címek egy hálózaton Lehet közös az üzemi hálózattal, lehet dedikált menedzsment hálózat Biztonság fontos kérdéssé válik Többnyire csak szöveges felület (BIOS is) Grafikus kép továbbító külön opció Hálózat Távolság: TCP/IP felett akárhova eljuttatható Több gép elérése: külön IP címek egy hálózaton Lehet közös az üzemi hálózattal, lehet dedikált menedzsment hálózat Biztonság fontos kérdéssé válik Többnyire csak szöveges felület (BIOS is) Grafikus kép továbbító külön opció Dedikált kliensprogram Hálózati interfész 8

Példa: SUN ILO 9

SUN ILO működés közben 10

Hardver Távoli hozzáférés megvalósítási lehetőségek Operációs rendszer Alkalmazások Billentyűzet, egér, video Billentyűzet, egér, video Virtuális gép virtuális konzolja Hálózat Előnyei, hátrányai lásd előbb Virtuális géphez teljes hozzáférés (BIOS, szöveges, grafikus) Működő és konfigurált hálózatot csak a virtualizációs keretrendszer szintjén igényel, a vendég OS szintjén nem Hálózat Előnyei, hátrányai lásd előbb Virtuális géphez teljes hozzáférés (BIOS, szöveges, grafikus) Működő és konfigurált hálózatot csak a virtualizációs keretrendszer szintjén igényel, a vendég OS szintjén nem Dedikált kliensprogram Hálózati interfész Virtualizációs keretrendszer Virtuális gép Billentyűzet, egér, video Billentyűzet, egér, video Távoli elérés szerver Távoli elérés szerver BIOS 11

Operációs rendszer távoli elérése Virtuális Hardver BIOS Operációs rendszer Alkalmazások Vendég OS szintű távoli elérés Távoli elérés szerver Dedikált kliensprogram Virtualizációs keretrendszer Hálózati interfész 12 Hálózat Előnyei és hátrányai lásd előbb Szöveges és grafikus kép továbbítás Az operációs rendszernek működnie kell ÉS konfigurált hálózattal kell rendelkeznie Hálózat Előnyei és hátrányai lásd előbb Szöveges és grafikus kép továbbítás Az operációs rendszernek működnie kell ÉS konfigurált hálózattal kell rendelkeznie

Nagy integrált rendszerek kiépítése  Szerver virtualizációnál egy fizikai gép ritkán elég  Jó, ha egyes erőforrások: o központilag kezeltek o átcsoportosíthatóak, hozzárendelések megváltoztathatóak o megoszthatóak, több helyről is egyformán elérhetőek  Példák o háttértár: sok kicsi, gépekben elszórt merevlemez helyett egy-egy nagy tároló alrendszer (storage system/disk array) o hálózatok: minden hoszton egyformán elérhetőek legyenek o magasabb szinten: jogosultságkezelés, felhasználói fiókok címtára 13

Háttértár virtualizáció  Elterjedt megoldások: o SAN – Storage Area Network, blokkos eszközt biztosít o NAS – Network Attached Storage, fájlrendszert biztosít  Példa: Egyszerűsített háttértár stack 14 ~kliens Fizikai eszköz Partíció Logikai kötet(ek) Fájlrendszer Pl.: Samba, NFS, FTP Pl.: iSCSI, AoE

iSCSI – SAN megoldás  iSCSI – egy elterjedt SAN megoldás o Blokkos eszközök biztosítása TCP/IP hálózatok felett o Fájlrendszernek támogatnia kell a több gépről történő elérést Pl. VMFS, GFS fájlrendszer 15 iSCSI portal / target iSCSI initiator Fizikai tár ~szerver~kliens

Tartalom  Követelmények  Szerver virtualizációs architektúrák  Háttértárak virtualizációja  VMware ESX és ESXi szerver architektúrája  Microsoft Hyper-V architektúra  Erőforrás gazdálkodás 16

Alkalmazások Guest OS VMware ESX architektúrája Hardver (x86 CPU, SCSI, Ethernet) VMkernel COS (Linux 2.4) COS (Linux 2.4) Service Console (Tomcat, SSH...) Driver Worlds Helper Worlds Alkalmazások 17

Alkalmazások Guest OS Service Console worlds Guest OS VMware ESXi architektúrája Hardver (x86 CPU, SCSI, Ethernet, SATA ) VMkernel Service Console worlds Driver Worlds Helper Worlds Alkalmazások 18

VMware ESXi 5 architektúrája (folyt.) 19 Forrás: VMware ESXi 5.0 Operations Guide

VMware ESX, ESXi – általános tulajdonságok  Mindkét esetben saját eszközmeghajtókat igényel o emiatt elég szűk is a támogatott hardverek listája!  A VMkernel egy mikrokernel, a driverek külön folyamatként futnak felette (ennek részben licensz okai is vannak, Linux kernelből vettek át meghajtókat) o Folyamat a VMware szóhasználatában: „world”  Teljesen távoli elérésre alapozott rendszer o csak szöveges konzol van a lokális gépen, o de nem ezt ajánlott üzemszerűen használni, hanem a dedikált kliensprogramot (Virtual Infrastructure Client) o a vendégek konzoljához lokálisan egyáltalán nem is lehet hozzáférni  A virtuális gépek formátuma (megkötésekkel) kompatibilis a Workstation/Server/Player formátumával  Saját fájlrendszeren (VMFS3) tárolja a virtuális gépeket o Lehetőség van rá, hogy több ESX elosztottan használja ugyanazt a tárhelyet egyszerre! 20

VMware ESX, ESXi – eltérések  Az ESX-ben Service Console egy teljes Linux-alapú rendszer o erősen módosított RedHat Enterprise Linux 3 ~ 4 o Régi elavult, agyon módosított kernel (pl.: nincs SATA támogatás) o külön IP címmel o sok hardverhez dedikált közvetlen hozzáférése van o statikusan foglal sok memóriát o iszonyú bonyolult a boot folyamat, sérülékeny (előbb a Linux indul utána betölti a vmkernelt és végül paravirtualizáltan fut felette)  ESXi-ben egy nagyon minimális service console van o nincs külön kernel, a folyamatok worldként futnak közvetlenül a vmkernel felett o kis memóriaigény o Nincs külön IP cím a Service Console és a VMkernel számára o Egyszerű bootolás, hálózatról is bootolható  ESX-ben engedélyezett SSH hozzáférés, ESXi-ben nem o Helyette a Remote CLI-t javasolt használni a paracssori műveletekre 21

ESXi system image  Aktív és alternatív verzió  In-memory fájlrendszer o Pl. log fájl elveszik újraindításkor  OEM kiegészítések (embedded ESXi) 22

Tartalom  Követelmények  Szerver virtualizációs architektúrák  Háttértárak virtualizációja  VMware ESX és ESXi szerver architektúrája  Microsoft Hyper-V architektúra  Erőforrás gazdálkodás 23

Microsoft Hyper-V  Microsoft bare-metal virtualizációs megoldása  Jelenleg: 2. verzió (R2)  Két változat: o Windows Serverben a Hyper-V szerep o MS Hyper-V Server (különálló, ingyenes, csak Hyper-V)  HW igény: o CPU: 64 bites, HW-es virtualizációs támogatás  R2-be már bekerült a funkciók nagy része 24

Microsoft Hyper-V v3 v3.0 újdonságai  Windows Server 8 részeként érkezik  Több párhuzamos „Live migration” folyamat  „Live migration” osztott tárhely nélkül  Resource pool kezelés  Adat de-duplikáció támogatása  Új virtuális lemezkép típus támogatása (16 TB-ig skálázható) 25

Hyper-V architektúra I Hardver Hypervisor Windows Server 2008 kernel + Hyper-V modulok Virtualization stack (pl. VM kezelő szolgáltatás) Virtualization stack (pl. VM kezelő szolgáltatás) Ring 0 Ring 3 Root mode Szülő partíció Gyerek partíció 1Gyerek partíció 2 Vendég OS Vendég alkalmazások 26

Hyper-V architektúra II 27

Bare metal megoldások architektúrái ESXi Xen / Hyper-V  I/O eszközök kezelése a szülő partícióban  Meghajtókat a HW gyártók szállítják  I/O eszközöket is a hypervisor kezeli  Meghajtókat a VMware szállítja  Extra kis méret: ESXi (32 MB) 28

Tartalom  Követelmények  Szerver virtualizációs architektúrák  Háttértárak virtualizációja  VMware ESX és ESXi szerver architektúrája  Microsoft Hyper-V architektúra  Erőforrás gazdálkodás 29

Erőforrás gazdálkodás  A virtuális gépek gyakran közös erőforráson osztoznak  Jellemző példák: o Gyakran: minden virtuális gépnek virtuális CPU, összesen több vCPU, mint ahány fizikai CPU mag van o Ritkábban: összesen több kiosztott virtuális memória, mint amennyi fizikailag a hostban van o Háttértár helyfoglalás: ma még jellemzően statikusan kiosztott o Háttértár I/O műveletek: itt jellegzetesen osztozás van! o Hálózati áteresztőképesség: itt is osztozás van 30

Erőforrás gazdálkodás  Versengés az erőforrásokért: o Kis terheléseknél ritka, hogy egyszerre több vendég ugyanazt az erőforrást terhelné… o De szerverkörnyezetben gyakran előfordul, hogy valamelyik erőforrás szűk keresztmetszet lesz o A megfelelő ütemező elosztja a hozzáférést, de nem mindig megfelelően  Cél: o A megosztott erőforrásokból való részesedést virtuális gépekre lebontva szabályozni tudjuk Kemény korlátozások „Lágy” korlátok, prioritások 31

Erőforrás gazdálkodás  VMware ESX/ESXi esetén 3 beállítási lehetőség: o Resource Limit – kemény felső korlát az erőforrás igénybevételére Akkor is érvényes, ha egyébként van szabad erőforrás o Resource Reservation – garantált rendelkezésre álló erőforrás mennyiség Nem feltétlenül használja ki, csak verseny esetén érvényesül, egyébként a keretet más használhatja o Resource Shares – prioritás Verseny esetén az alapértelmezett „igazságos” elosztás módosítható ezzel 32

Erőforrás gazdálkodás: GUI felület 33

Erőforrás gazdálkodás: GUI felület 34

 Több VM-et futtató gép esetén a CPU share értékek a következők o VM1: 1000 o VM2: 1000 Példa a share használatára 35

 Több VM-et futtató gép esetén a CPU share értékek a következők o VM1: 1000 o VM2: 1000 o VM3: 2000  Versenyhelyzet esetén mennyi a VM1 részére biztosított erőforrás-mennyiség? o 1000 / ( ) = 1/4 CPU idő Példa a share használatára 36

Erőforrás gazdálkodás 37 VM share módosítása dinamikus újrakonfigurálás Új VM felvétele Graceful degradation VM eltávolítása Extra erőforrások kihasználása Forrás: Carl Waldspurger. Resource Management for Virtualized Systems

CPU ütemezés  Simplified virtual-time algorithm o „Virtuális idő”= share / összes share o Ütemezés: Legkisebb „virtuális idejű” VM  Példa: 3 VM A, B, C (3 : 2 : 1 share aránnyal) B A C

Erőforrás gazdálkodás  Hierarchikus erőforrás- kezelés o Nemcsak virtuális gépek szintjén lehet korlátozni o Pool-okba szervezhetők a VM-ek o Használati eset példák: Egy felhasználó összes gépére egy közös korlátozás Egy feladatot ellátó gépek csoportjára korlát Kritikus/nem kritikus alkalmazások csoportosítása Host - korlát: fizikai CPU, Memória Resource Pool -Korlát -Garantált részesedés Guest -Korlát -Garantált részesedés További Resource Pool Korlátokat szab: -Host -Resource Pool -Guest Korlátokat szab: -Host -Resource Pool -Guest Egymásba ágyazott korlátoknál szűkítés, konfliktusnál prioritás szerinti feloldás Egymásba ágyazott korlátoknál szűkítés, konfliktusnál prioritás szerinti feloldás 39

Erőforrás gazdálkodás  Speciális trükkök o Memória működés közbeni hozzáadása/elvétele Normális esetben memória beállítás működő VM mellett nem módosítható Előre allokált nagy memória + korlátozás A változtatások a vendég újraindítása nélkül is érvényre jutnak (memóriánál néhány percet igénybe vehet…) Fontos a memory balloning driver a vendégben o Lassú hálózati kapcsolat szimulációja Áteresztőképességet jól szimulálja Válaszidők módosítására nincs lehetőség o „Maradék” CPU idő kihasználása Hosszú futású (batch) feladatot végző VM alacsony prioritással Nem zavarja a többi gépet… (de a gyakorlatban sajnos igen…) 40

Erőforrás gazdálkodás o CPU-k számának változtatására ez nem praktikus Vendég OS ütemező nem tud a korlátozásról, az „ellopott” időt nem tartja számon (elvileg paravirtualizált esetben akár tudhatná, de gyakorlatban nem igazán működik…) A durvább felbontású időosztás miatt a vendég korlátozott esetben is a teljes CPU sebességet „érezni” fogja, de csak rövid időkre 41

Hyper-V: hasonló erőforrás-gazdálkodás 42

Összefoglalás  Követelmények o Sok guest, jó skálázhatóság, távoli elérés  Szerver virtualizációs architektúrák o Dominánsan bare-metal  Háttértárak virtualizációja o iSCSI SAN  VMware ESX és ESXi szerver architektúrája o Mikrokernel, eltérés a Service Console megvalósításában  Hyper-V architektúra 43

DEMO  Indítás: alap konfiguráció (IP, jelszó) beállítása  Csatlakozás VI Clienttel  iSCSI storage beállítása datastore-nak Gyakorlat: ESXi használata 44

További információ  Microsoft Hyper-V hypercall leírás (WDK) us/library/aa aspxhttp://msdn.microsoft.com/en- us/library/aa aspx  Hyper-V Architecture and Feature Overview us/library/dd722833(BTS.10).aspx us/library/dd722833(BTS.10).aspx  XenServer: Why? aspx aspx 45