A szoftvertermék tanúsítás fejlődése, perspektívái (2007) Dr. Biró Miklós

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) Tartalom Úttörők ESAB ISO/IEC 9126 Az ESPRIT SCOPE projekt, és az ISO/IEC 14598 Az ISO/IEC 25000 (SQuaRE) sorozat Szoftvertermék minőség döntési probléma Szoftverfolyamat érettség üzleti döntési probléma Folyamatjavítási mérföldkövek a világon és Magyaroszágon A folyamatjavítás szükségességének felismerése (1993-…) Folyamatjavítás és ISO 9000 tanúsítás Vissza az üzleti szempontokhoz! ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) Úttörők Többszintű modellek: Barry Boehm 1977 James McCall 1978 Magyarországon a szoftvertermék minőség egyik úttörője: Szentes János : A szoftverminőség és mérése, SZÁMALK Kiadó, Budapest, 1985. 1995 ESAB ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ESAB 1 A MEIT és NJSZT munkája eredményeként megkezdõdött hazánkban az orvosi informatika területén a minõség vizsgálata : az egészségügyi software-k akkreditációja. A két orvosinformatikai társaság tagjaiból alakult Egészségügyi Software Akkreditációs Bizottság (ESAB) irányításával és szervezésében orvos-informatikai és általános számítástechnikai szakértõk bevonásával kerülnek elbírálásra a benyújtott informatikai fejlesztések. Az akkreditációs rendszer célja kettõs: a felhasználó támogatása és védelme a céljainak megfelelõ software kiválasztásában a fejlesztõk támogatása az egészségügy céljainak és igényeinek leginkább megfelelõ fejlesztési irányok megtalálásában. ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ESAB 2 ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ESAB 3 ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ISO/IEC 9126 ISO/IEC 9126:1991 ISO/IEC 9126-1:2001 Software engineering -- Product quality -- Part 1: Quality model   ISO/IEC TR 9126-2:2003 Software engineering -- Product quality -- Part 2: External metrics ISO/IEC TR 9126-3:2003 Software engineering -- Product quality -- Part 3: Internal metrics ISO/IEC TR 9126-4:2004 Software engineering -- Product quality -- Part 4: Quality in use metrics ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) Minőség modell Definíció (ISO/IEC 14598-1): The set of characteristics and the relationships between them which provides the basis for specifying requirements and evaluating quality. (A minőség kiértékelésének és a követelmények specifikációjának alapjául szolgáló jellemzők és összefüggések halmaza.) ISO/IEC 9126: meghatároz egy minőség modellt, amely továbbfejlődhet. ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A minőség modell felhasználása Követelmény meghatározás teljességének igazolása. Szoftver követelmények azonosítása. Szoftver tervezési célok azonosítása. Szoftver tesztelési célok azonosítása. Minőségbiztosítási szempontok azonosítása. Egy kész szoftver termék elfogadási szempontjainak azonosítása. ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Minőség az életciklus folyamán p r o c e s s e f f e c t o f s o f t w a r e p r o d u c t s o f t w a r e p r o d u c t i n f l u e n c e s i n f l u e n c e s i n f l u e n c e s p r o c e s s i n t e r n a l e x t e r n a l q u a l i t y i n q u a l i t y q u a l i t y q u a l i t y u s e c o n t e x t s d e p e n d s o n d e p e n d s o n d e p e n d s o n o f u s e p r o c e s s i n t e r n a l e x t e r n a l q u a l i t y i n u s e m e a s u r e s m e a s u r e s m e a s u r e s m e a s u r e s ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) Mértéktípusok Belső mértékek a fejlesztés alatt álló, nem végrehajtható szoftverre vonatkoznak. (pl. a tervezés/kódolás során kijavított hibák száma) Külső mértékek használhatók a szoftvertermék indirekt mérésére az őt tartalmazó rendszer viselkedésén keresztül. (pl. a tesztelés során tapasztalt meghibásodások száma) Használati minőség mértékek jól meghatározott felhasználók jól meghatározott céljainak hatásos, termelékeny, megbízható, és megelégedésre számot tartó elérésére vonatkoznak. (pl. a felhasználó által elkövetett hibák száma) ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

ISO/IEC 9126 Minőség modell Quality Characteristics Subcharacteristics Functionality Reliability Usability Efficiency Maintainability Portability Suitability Accuracy Interoperability Security Compliance Maturity Fault tolerance Recoverability Compliance Understandability Learnability Operability Compliance Time behavior Resource utilization Compliance Analyzability Changeability Stability Testability Compliance Adaptability Installability Co-existence Replaceability Comp ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

ISO/IEC 9126 Minőség modell Quality In Use Characteristics Effectiveness Productivity Quality In Use Safety Satisfaction ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Az ESPRIT SCOPE projekt, és az ISO/IEC 14598 1989-1993 Az ISO/IEC 14598 szabványt nagyrészt a SCOPE ESPRIT 2 projekt keretében dolgozták ki. ISO/IEC 14598-1:1999 Information technology -- Software product evaluation -- Part 1: General overview ISO/IEC 14598-2:2000 Software engineering -- Product evaluation -- Part 2: Planning and management ISO/IEC 14598-3:2000 Software engineering -- Product evaluation -- Part 3: Process for developers ISO/IEC 14598-4:1999 Software engineering -- Product evaluation -- Part 4: Process for acquirers ISO/IEC 14598-5:1998 Information technology -- Software product evaluation -- Part 5: Process for evaluators ISO/IEC 14598-6:2001 Software engineering -- Product evaluation -- Part 6: Documentation of evaluation modules ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ISO/IEC 14598-5 Information Technology – Software Product Evaluation – Part 5: Process for Evaluators (Characteristics) Megismételhetőség (repeatability) Ugyanazon szoftver vizsgálata ugyanazokra a kiértékelési követelményekre ugyanazon kiértékelő által mindig ugyanarra az eredményre vezessen. Újraelőállíthatóság (reproducibility) Ugyanazon szoftver vizsgálata ugyanazokra a kiértékelési követelményekre különböző kiértékelők által mindig ugyanarra az eredményre vezessen. Objektivitás (objectivity) Az értékelési eredmény legyen tényszerű, ne tartalmazzon egyéni érzéseket vagy véleményt. Elfogulatlanság (impartiality) Minden részrehajlástól mentes legyen. ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) Levels of evaluation [Biró M. Szoftvertermékek és –folyamatok minősége. Fejezet az Üzletembereknek a gyorsaságról című könyvben (szerk. Dr. Szilvássy E.) (Qualika, Budapest, 1998) (ISBN 963 04 9517 1)] ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

The evaluation process Requester's Evaluation Requirements Analysis of Requirements Evaluation Requirements Evaluation Specification Specification of the Evaluation Pre-defined Evaluation Evaluation Product Specifications Design of Evaluation Records Description Plan the Evaluation Record of Evaluation Evaluation Actions Evaluator's Methods Input Evaluation Tools Execution of the Evaluation Reviewed Draft Evaluation Evaluation Report Report Synthetic Product Evaluation Conclusion Components Results of the Evaluation Requester's Input ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A megrendelő felelőssége Biztosítsa a szoftvertermék hozzáférési jogait a kiértékelés céljára! Adja meg a termék azonosításához és leírásához szükséges információkat! Fogalmazza meg a kiinduló értékelési követelményeket, és az értékelővel közösen határozzák meg a tényleges értékelési követelményeket! Fogalmazza meg a bizalmassági követelményeket! Szükség esetén közvetítsen a fejlesztő és az értékelő között! Az értékelő számára szükség szerint biztosítson számítógép és minden egyéb hozzáférést, ami a fejlesztéshez, illetve a szoftvertermék használatához kell! Az értékelőt szükség szerint támogassa például képzéssel, vagy megfelelő munkatársak rendelkezésre állásával! Biztosítsa a szoftvertermék, leírások, komponensek, dokumentációk, és egyéb anyagok szükség szerinti rendelkezésre állását! Szükség szerint értesítse az értékelőt minden olyan tényezőről, amely az értékelés eredményeit érvénytelenítheti! [Biró M. A szoftver termékek és folyamatok tanúsításának speciális szempontjai. Tanulmány a Hírközlési Főfelügyelet részére (2003)] ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Az értékelő felelőssége Ellenőrizze a szoftvertermék értékeléshez szükséges hozzáférési jogokat! Ehhez kérheti a megrendelő nyilatkozatát. Tartsa be a bizalmassági követelményeket! Biztosítson megfelelően minősített és képzett munkatársakat! Biztosítsa az értékelés eszközeit! A követelményeknek megfelelően vezesse le az értékelést! őrizzen meg minden olyan részeredményt, amely hatással lehet az értékelés végeredményére! Határidőre adja át megrendelőnek az értékelés eredményét! Megrendelő igénye szerint biztosítson betekintést az értékelési tevékenységbe! ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

ESSI-SCOPE: Szoftvertermék minőség ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Az ISO/IEC 9126 és 14598 hazai megismertetése Biró M.; Feuer É.; Gazsó J. Szoftvertermék minőségfelmérés MicroSCOPE modulokkal. A VI. Magyar Minőségi Hét nemzetközi konferencia kiadványában. (szerk.Pákh M, Róth A, Hegyes K) (Magyar Minőség Társaság, 1998) pp.139-140. Biró M. Szoftvertermékek és –folyamatok minősége. Fejezet az Üzletembereknek a gyorsaságról című könyvben (szerk. Dr. Szilvássy E.) (Qualika, Budapest, 1998) (ISBN 963 04 9517 1). Biró,M. Szoftverminőség. Fejezet a Minőség-menedzsment és informatika című könyvben (szerk. Tóth T.) (Műszaki könyvkiadó, Budapest, 1999) (ISBN 963 16 3047 1). (http://www.muszakikiado.hu/details.php?details=10428) Biró M. A szoftver termékek és folyamatok tanúsításának speciális szempontjai. Tanulmány a Hírközlési Főfelügyelet részére (2003). ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Az ISO/IEC 25000 (SQuaRE) sorozat ISO/IEC 25000:2005 Software Engineering -- Software product Quality Requirements and Evaluation (SQuaRE) -- Guide to SQuaRE ISO/IEC 25001:2007 Software engineering -- Software product Quality Requirements and Evaluation (SQuaRE) -- Planning and management ISO/IEC FCD 25012 Software engineering -- Software product Quality Requirements and Evaluation (SQuaRE) -- Data quality model ISO/IEC FDIS 25020 Software Engineering -- Software quality requirements and evaluation (SQuaRE) -- Quality measurement -- Measurement reference model and guide ISO/IEC DTR 25021 Software engineering -- Software product Quality Requirements and Evaluation (SQuaRE) -- Quality measure elements ISO/IEC FDIS 25030 Software engineering -- Software product Quality Requirements and Evaluation (SQuaRE) -- Quality requirements ISO/IEC 25051:2006 Software engineering -- Software product Quality Requirements and Evaluation (SQuaRE) -- Requirements for quality of Commercial Off-The-Shelf (COTS) software product and instructions for testing ISO/IEC 25062:2006 Software engineering -- Software product Quality Requirements and Evaluation (SQuaRE) -- Common Industry Format (CIF) for usability test reports ISO/IEC NP 25062 Software engineering -- Software product Quality Requirements and Evaluation (SQuaRE) -- Common Industry Format (CIF) for usability test reports ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Quality Model Division SQuaRE Architektúra 2501x Quality Model Division 2500x Product Quality General Division 2503x 2504x Quality Requirements Division Quality Evaluation Division General Overview and Guide to the SQuaRE Planning and Management 2502x Quality Measurement Division SQuaRE ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

ISO/IEC 2500n – Quality Management Division The standards that form this division define all common models, terms and definitions referred further by all other standards from SQuaRE series. Referring paths (guidance through SQuaRE documents) and high level practical sug-gestions in applying proper standards to specific application cases offer help to all types of us-ers. The division provides also requirements and guidance for a supporting function which is responsible for the management of software product requirements specification and evaluation. ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

ISO/IEC 2501n – Quality Model Division The standard that forms this division presents a detailed quality model including characteristics for internal, external and quality in use. Furthermore, the internal and external software quality characteristics are decomposed into subcharacteristics. Practical guidance on the use of the quality model is also provided. ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

ISO/IEC 2502n – Quality Measurement Division The standards that form this division include a software product quality measurement reference model, mathematical definitions of quality measures, and practical guidance for their application. Presented measures apply to internal software quality, external software quality and quality in use. Measurement primitives forming foundations for the latter measures are defined and presented, ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

ISO/IEC 2503n – Quality Requirements Division The standard that forms this division helps specifying quality requirements. These quality requirements can be used in the process of quality requirements elicitation for a software product to be developed or as input for an evaluation process. The requirements definition process is mapped to technical processes defined in ISO/IEC 15288 . Information Technology - Life Cycle Management - System Life Cycle Processes. ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

ISO/IEC 2504n – Quality Evaluation Division The standards that form this division provide requirements, recommendations and guidelines for software product evaluation, whether performed by evaluators, acquirers or developers. The support for documenting a measure as an Evaluation Module is also presented ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ISO/IEC 25000:2005 provides guidance for the use of the new series of International Standards named Software product Quality Requirements and Evaluation (SQuaRE). The purpose of this guide is to provide a general overview of SQuaRE contents, common reference models and definitions, as well as the relationship among the documents, allowing users of this guide a good understanding of those series of International Standards, according to their purpose of use. This document contains an explanation of the transition process between the old ISO/IEC 9126 and the 14598 series and SQuaRE, and also presents information on how to use the ISO/IEC 9126 and 14598 series in their previous form. ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ISO/IEC 25020:2007 provides a measurement reference model and guide for measuring the quality characteristics defined in ISO/IEC 2501n, Quality Model Division. ISO/IEC 25020:2007 sets requirements for the selection and construction of quality measures. It also contains informative annexes addressing the following topics: criteria for selecting software quality measures and quality measure elements, demonstrating predictive validity and assessing measurement reliability, and an example format for documenting software quality measures.The Quality Measurement Division, of which ISO/IEC 25020 is a member, also offers examples of quality measures that can be used across the product development life cycle. These measures are defined in the other documents in the division and correspond to the quality characteristics in a software product quality model such as that described in ISO/IEC 25010. ISO/IEC 25020:2007 and the quality measures are designed to be used, in particular, with other standards in the SQuaRE series that address quality requirements (ISO/IEC 25030) and product quality evaluation (ISO/IEC 25040). ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ISO/IEC 25030:2007 provides requirements and recommendations for the specification of software quality requirements. It applies to both acquirers and suppliers. It focuses on software quality requirements, but takes a system perspective since software is normally developed and applied as part of a larger system. Software product quality requirements are needed for: specification (including contractual agreement and call for tender); planning (including feasibility analysis); development (including early identification of potential quality problems during development); and evaluation (including objective assessment and certification of software product quality). ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ISO/IEC 25051:2006 defines quality requirements for COTS software products. A COTS software product includes the product description, the user documentation, and the software contained on a computer sensible media. The quality requirements, functionality, reliability, usability, efficiency, maintainability, portability, and quality in use are consistent with the definitions of SQuaRE. In addition to the quality requirements, ISO/IEC 25051:2006 also defines requirements for test documentation. The test documentation purpose is to demonstrate the conformity of the software with the requirements. The documentation contains a test plan, the description of the tests cases, and the tests results. ISO/IEC 25051:2006 can be used by suppliers, certification bodies, testing laboratories, accreditation bodies, regulatory authorities and acquirers. ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Szoftvertermék minőség döntési probléma Az ISO/IEC 9126 szabvány a következő döntések magalapozását szolgálja: A szoftver követelményspecifikációja megfelelően tükrözi-e a felhasználó igényeit? A kifejlesztett szoftver kielégíti-e a felhasználó igényeit? ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Szoftverfolyamat érettség üzleti döntési probléma Léteznek olyan alapvető üzleti döntések, amelyek meghozatalát egyetlen termékminőségi kritériumrendszer sem támogatja: A megrendelő döntési problémája: A szállító képes-e fenntartani a termelés megbízhatóságát? A szállító döntési problémája: Hogyan növelhetnénk a termelés megbízhatóságát? [Biró,M.; Sz.Turchányi,P. Software Process Assessment and Improvement from a Decision Making Perspective. ERCIM News (European Research Consortium for Informatics and Mathematics) No.23 (1995) pp.11-12. (http://www.ercim.org/publication/Ercim_News/enw23/sq-sztaki.html)] [[Biró M., Tully C., The Software Process in the Context of Business Goals and Performance. Chapter 2 of the book Messnarz R., Tully C., (eds.), Better Software Practice for Business Benefit Principles and Experience, IEEE Computer Society Press, November 1999]] ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Folyamatjavítási mérföldkövek a világon és Magyaroszágon 1 A folyamatjavítás szükségességének felismerése (1993-…) ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Magyar tagság az európai Bootstrap Institute-ban ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

ERCIM NEWS: Decision Making Perspective ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

ESSI-SCOPE: Szoftvertermék minőség ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Folyamatjavítási mérföldkövek a világon és Magyaroszágon 2 Folyamatjavítás és ISO 9000 tanúsítás 1996 Az ISO 9001:1994 magyar kiadása MSZ EN ISO 9001:1996 Megalakul az NJSZT Szoftverminőség Menedzselés szakosztálya ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

NJSZT Szoftverminőség Menedzselés Szakosztály ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Az első magyar ESSI/ESPRIT projekt ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Az első magyar ESSI/ESPRIT projekt ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

European Software Institute (ESI) 1997 Members' Forum ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) ESI&ISCN’1997 Budapesten ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Folyamatjavítási mérföldkövek a világon és Magyaroszágon 3 Vissza az üzleti szempontokhoz! Az ISO 9000:1994 kritikája: Túlzott ISO bürokrácia. Nem alkalmas a folyamatok, a technológia, és az ügyfél igények állandó változásának befogadására. ISO 9001:2000 A tudás elismertté válik mint intellektuális tőke. (Tudás menedzsment ISO/IEC 15504-5) ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

IEEE Computer Society publikáció ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

INSPIRE EU folyamatjavítási kezdeményezés (1998) ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

American Society for Quality: Üzleti siker tényezők ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

IEEE Computer Society könyvfejezet ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) Az első hivatalos Introduction to the CMM képzés Közép-Kelet Európában (2000) ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

CMMI Briefing Budapesten ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) American Society for Quality: Nemzeti kultúrák hatása, a harmadik dimenzió ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Transition from CMM to CMMI ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

EU Software & Service Technologies ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

A szoftvertermék tanúsítás fejlődése, perspektívái (2007) EurosSPI’2005 Budapesten ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Springer Lecture Notes in Computer Science ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)

Wiley Software Process: Improvement and Practice Folyamatjavítás a MemoLuX-nál 3 ©Dr. Biró Miklós Budapesti Corvinus Egyetem A szoftvertermék tanúsítás fejlődése, perspektívái (2007)