IT-DEV-CON – Team Foundation Server Lab és Test Management Szegő Ákos – Technikai vezető Microsoft

Miről lesz szó? Új(?) kihívások a szoftverfejlesztésben Microsoft Test Manager bemutató Visual Studio 2010 Lab Management bemutató

IT-DEV-CON

Kihívások a szoftverminőség területén

IT-DEV-CON Kihivás a szoftverfejlesztés területén

IT-DEV-CON Hogy látják ezt a Test/QA menedzserek?

A gyenge minőség üzleti oldalról Évi $59 milliárd dollár üzemi veszteség az USA-ban Ennek 64%-a a végfelhasználói oldalon keletkezik Szoftverhibák felelősek az üzemzavarok 55%-ért 1 National Institute of Standards and Technology. (2002). Planning Report 02-3, The Economic Impacts of Inadequate Infrastructure for Software Testing. U.S. Department of Commerce.

Projektek a gyakorlatban Átlagos túlköltés: 45% Átlagos időtúllépés: 63% Átlagban leszállított funkcionalitás: 67% Extreme Chaos, The Standish Group International, Inc. – 2009

Megszívlelendő tanulságok “Several studies have found that 40 to 80 percent of a typical software project's budget goes into fixing defects that were created earlier on the same project. […] You can't trade defect count for cost or schedule unless you're working on life- critical systems. Focus on defect count; cost and schedule will follow.” – Steve McConnell

Megszívlelendő tanulságok “IBM discovered 25 years ago that projects that focused their efforts on attaining the shortest schedules had high frequencies of cost and schedule overruns. Projects that focused on achieving low defect counts had the best schedules and the highest productivities.” – Jones, Capers, Programming Productivity, New York: McGraw-Hill, 1986

IT-DEV-CON Hogyan segít a Visual Studio 2010?

IT-DEV-CON A Microsoft megközelítése

Microsoft ® Test Manager 2010

Általános teszterre szabott eszköz Két részből áll Testing Center a tesztekhez, valamint Lab Center a Lab Managementhez Feleadatorientált felület Tesztelői munkafolyamatok támogatása Az új, manuális teszt esetek köré szerveződik Javaslatok új kód által értintett tesztek futtatására Test Runner segít a manuális tesztek végrehajtásában Gazdag hibajelentéseket tesz lehetővé

Microsoft ® Test Manager 2010 Tesztelési terv (test plan) Iterációhoz kapcsolódik Követelmény-alapú tervezés Összefogja és menedzselhetővé teszi: Tesztcsoportokat Teszteseteket Tesztelési paramétereket Tesztkörnyezetek konfigurációját

Microsoft ® Test Manager 2010 Tesztelési fázis Megjeleníti a tesztelési terv futtatható teszteseteit Csoportosítja státusz szerint Innen indíthatóak a tesztek Ellenőrízhetőek a hozzám- rendelt bugok És ezek tesztesetei Előhívhatóak a korábbi tesztfutások

Microsoft ® Test Manager 2010 Projektkövetés Tetszőleges TFS lekérdezések Futtatásra javasolt tesztek Projekt portál

Microsoft ® Test Manager 2010 Szervezés Központi felületet biztosít az összes tesztelési terv, teszteset, tesztkonfiguráció és osztott tesztlépések menedzsmentjéhez.

Microsoft ® Test Manager 2010 Új, manuális tesztesetek Immár különálló elemek (work item) Tartalmazhatnak osztott lépéseket Paraméterezhetőek Bugokhoz, követelményekhez (user story) rendelhetők

Microsoft ® Test Manager 2010 Test Runner Végigvezet a tesztek végrehajtásában Időt takarít meg „előre pörgetéssel” Diagnosztikai adaptereket vezérel Integrált, bővíthető diagnosztika Kényelmi funkciók Teszt paramétereket vágólapra helyezi Azonnal elérhető a tesztkörnyezet Információban gazdag bugok néhány kattintással

Miért nehéz javítani egy bugot? A reprodukciós lépések rosszul dokumentáltak Nem látni pontosan, hogy a teszter mit csinált Más környezetben dolgozunk

Fejlesztő-tesztelő ping-pong A bugok állapotát ide - oda billentgetik Felesleges körbenjárás Gátolja az együttműködést

IT-DEV-CON Diagnosztikai adapterek

Lépésnaplózás és felvétel ASP.NET Profiler Kódlefedettség IntelliTrace TM OS eseménynaplók Átfogó rendszerinformációk Tesztérintettség (test impact) Videófelvétel Hálózati emuláció Fejleszthető adapterek

IT-DEV-CON Egy GAZDAG HIBAJELENTÉS elég információt tartalmaz ahhoz, hogy AZONNALI LÉPÉSEKET lehessen tenni a javítás érdekében

IT-DEV-CON

IntelliTrace™ Az IntelliTrace segítí az együttműködést a fejlesztők és a teszterek között, azáltal, hogy támogatja a debug folyamat történetének megosztását

Pont, mint egy videó a fejlesztő számára Megállítható, előre vagy hátratekerhető a program Mint live debug esetén, analizálható a kód futása, állapotát A történetet diagnosztikai és kivétel információk gazdagítják Sokkal könnyebben azonosítható a hiba forrása

IT-DEV-CON

70 % fölött a manuális tesztek aránya

Funkcionális tesztek automatizálása Automatizálás segítségével a regresszió minimalizálható Eszköz: Coded UI Test Manuális tesztből származó, automatikusan rögzített lépéssorozatból generálható.NET nyelvekben megírt metódusok Egységtesztekból ismerős szemantika Támogatja a felhasználói felületen megjelenő információk, eredmények ellenőrzését

IT-DEV-CON UI automatizáció támogatottság

IT-DEV-CON

Kihívások a tesztkörnyezettel szemben Egyre bonyolultabb szoftverek, egyre bonyolultabb környezet Folyamatos integráció segít a hibák korai felfedezésében Teszkörnyezet kialakítása nagyon sok időt emészt fel Tesztidő akár 40%-át Hibalehetőség Virtualizáció nélkül alacsony kihasználtság Jellemzően 10-15% Nehéz destruktív teszteket végezni

Visual Studio 2010 Lab Management Virtuális tesztkörnyezet-menedzsment System Center Virtual Machine Manager és Hyper-V alapokon Nagyban leegyszerűsíti a többszereplő tesztkörnyezetek felépítését és eltávolítását Automatizált build- és tesztfolyamatban képes részt venni Segítségével a bugokhoz a virtuális környezetről állapotkép rendelhető Izolálható virtuális környezetek Szabadon elérhető a következőkkel: Visual Studio 2010 Ultimate + MSDN Visual Studio Test Professional MSDN

IT-DEV-CON Hagyományos build folyamatTovábbfejlesztett build folyamat

IT-DEV-CON

Összefoglalva A gazdaságosság és hatékonyság kényszere és a egyre növekvő ügyfélelvárások minőségi kódot és megoldást igényelnek, ami leginkább a fejlesztőkön és tesztereken múlik. A Visual Studio 2010 segítségével sokkal egyszerűbb a minőséget biztosítani és színvonalas megoldásokat szállítani.

További információk Visual Studio 2010 videókvideók Azonnal kipróbálható Visual Studio 2010 szcenáriókszcenáriók Lab Management videókvideók Letölthető virtuális Lab Management környezet Letölthető Esettanulmányok elérhetőek Interneten, pl. ConfusedConfused Lab Management lépésről-lépésrelépésről-lépésre Visual Studio 2010 ALM könyvkönyv

IT-DEV-CON Cloud Development Office Development Windows Development New WPF Editor Customizable IDE Multi-core DevelopmentSilverlight Tools Web Development SharePoint Development Generate from Usage Static Code Analysis Database Deployment Code Metrics Database Unit Testing Test Data Generation Test Impact Analysis UI Test Automation Code Coverage Performance Profiling Database Change Mgmt Manual Testing Layer Diagram UML Modeling Load Test Testing Web Performance Testing Test Case Management IntelliTrace™ Architecture Explorer FFwd for Manual Test Logical Class Designer Test Manager Rich Actionable Bugs Tesztelői Funkciók 1 Virtual Env. Setup/Tear Down 1 Environment from Template 1 Checkpoint Environment 1: Lab Management csak MSDN előfizetéssel érhető el.

IT-DEV-CON © 2010 Microsoft Corporation. All rights reserved. Microsoft, Visual Studio, the Visual Studio logo, and [list other trademarks referenced] are trademarks of the Microsoft group of companies. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED, OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.