Feedback on the Evaluation Experiences during Implementation Ignác Siba National Development Agency, Hungary

Ex-ante vs. Ex-post evaluations designing programs to achieve optimal results, maximizing / predicting impact for a given goal (national priorities for development, strategy papers) stronger assumptions are required, helps to avoid high costs of implementing programs that can be later found ineffective Ex-post most program evaluation focus on ex-post evaluation of existing programs, ex-post evaluations are more reliable for estimation of treating impacts of an existing program, STILL there is a critical role for ex-ante evaluation tools Where there is a program already in place (ECOP EDP) ex-ante evaluation methods can be used to study how the impacts would change if some parameters of the program are altered!

I. Evaluation and experiences of ECOP 1.3.1 Scoring based on the following measures: Measure Maximum score Measurable Number of years in business 5 Yes Proportion of income from export activity 6 Own capital proportional to own resource 8 Net income proportional to own resource Invested equipment proportional to own resource Employment proportional to project value 12 No Value added per person Innovation potential 30 Partially Connection to New Szechenyi Plan priority points Economical sustainability Equal opportunities Total 100 49 If measurable ‘1’ is indicated

Evaluation based on size of business 20 000 companies receiving 35+ point on scoring – based on size of business 20 000 db cég ért el a pontozáson 35 pontot vagy felette. Közülük 12% százalék pályázott. A pályázó cégek a kis- és középvállalkozások között szerepelnek a legnagyobb arányban összhangban az érvényben lévő koncepciókkal, célkitűzésekkel. There is a much higher proportion of small and medium businesses within the program in accordance with the priorities of strategies of development in place. If applicant ‘1’ is indicated

Scoring according to size of business - Small and medium businesses Kiemelve és példaként a kis- és középvállalkozások esetében 35-7 és 43 pont közé esik a legtöbb cég, NEM mutat jelentős eltérés a pályázók és nem pályázók köre. Highlighting scoring results of small and medium business, most companies fall within the 37-43 points range, not showing significant difference between applicant and non-applicant companies.

Scoring according to size of business - Micro and large businesses A mikro vállalkozások esetében egyértelműen látszik, hogy a vállalkozások zöme 37 pontot tud teljesíteni. A nagyvállalatok nagyon érdekes képet mutatnak, illetve esetükben van nagy különbség a pályázó és nem pályázó cégek között. Látható, hogy a pontozás során különböző vállalati méretek esetében eltérő pontszám elvárások megfogalmazásával a koncepciókkal összhangban hozhatóak be vállalatok egy-egy kiírásra. In case of micro businesses it is obvious that most of the businesses can achieve 37 points on scoring. Large companies show an interesting picture, also because large number of applicant companies score higher than non applicants. It can be seen that with altering scoring requirements and methods, specific type of businesses may be involved in a program in accordance with strategies in place.

Evaluation based on industry Nationwide 8,7% of all companies are in processing business and of all applicant businesses 14,5% are in this industry. Also, 23,7% of trading companies and 23,3% are among the applicants of ECOP program. Az összes magyarországi vállalkozás közül a feldolgozóipar, a kereskedelem és gépjárműjavítás és a tudományos és szakmai szolgáltatásokat végző cégek 3,7, 2,9 és 1,9 százaléka pályázott.

Regional disparities While observing regional disparities, in given regions there is a high proportion of applicants, namely in South-Great Plain and North-Great Plain region, which are convergence regions. Central Hungary is not a convergence region despite the high number of applicants, but one must consider the special set up of the country according to which most companies are located within this region. A pályázók régiónkénti megbontását megfigyelve látható, hogy egyes régiókban magas a pályázók aránya, míg a Közép-Magyarországi régióban kiemelkedően magas, ami nem konvergencia régió, viszont nem szabad figyelmen kívül hagyni azt a magyar speciális helyzetet, hogy a magyarországi vállalatok jelentős része ebben a régióban található. Kiemelve (itt pályázó és nem pályázó cégek együtt) a két alföldi régiót és a közép magyarországi régiót, látható,

II. Economic Competitiveness Operational Programme (2004-2006) Evaluations ECOP 2.1.1 The most popular call for application for SME investment Main results (4 calls for application in 3 years): Purchase of equipments, licence and know-how, property construction and renovation Maximum grant 25 Mn HUF (~100 000 €) Private contribution min. 50% ~9000 applicants ~3500 beneficiaries, Grant approved 42 Bn HUF (~155 Mn €) 12 Mn HUF (~45 000 €) average grant 32 Mn HUF (~117 000 €) average project cost 2.1.1 = Development of the technical and technological background of small and medium-sized enterprises

ECOP Evaluations – ECOP 2.1.1 Very popular call, targeting SME investments 348,7 m EUR 154,2 m EUR 136,2 m EUR 138,3 m EUR 115,7 m EUR Az oszlopdiagram %-os arányait a kerethez viszonyítottam. A keret 37,7 Mrd Ft (138,3 m Euro) volt, erre 95 Mrd Ft (348,7 m Euro) igény érkezett, ez a keret 252%-a, ebből 42 Mrd Ft (154,2 m Euro) került támogatásra (112%). Ebből végül 37,1 Mrd Ft-ra (136,2 m Euro) kötöttek szerződést a kedvezményezettek(98%), és végül 31,5 Mrd Ft (115,7 m Euro) kifizetésére került sor (84%). Darabszámok: Beérkezett: 9001 db Megítélt: 3525 db Szerződött: 3203 db Kifizetett: 2764 db A tortadiagram 100%-a az összes igényelt támogatás, amelynek 67%-a lett támogatva (azaz 33%-a lett elutasítva), 61%-a szerződött, és 56% került kifizetésre. Exchange rate: 272,42 HUF/Euro

Revenues of Applicant vs. non-applicant companies Observing changes in revenues, applicant companies’ revenues grew significantly more than non-applicant companies. Growth of revenues of companies within the ECOP 2.1.1 program simultaneously follow the patter of non-applicant companies.

Costs of wage of Applicant vs. non-applicant companies Observing growth in costs of wages, applicant companies’ wage costs grew significantly more than non-applicant companies. Growth of revenues of companies within the ECOP 2.1.1 program show a great increase.

Assets of Applicant vs. non-applicant companies A parallel growth may be observed in all three groups, while greatest growth can be seen among the applicants of ECOP 2.1.1. due to the nature of the program.

Return of Applicant vs. non-applicant companies The effects of crisis may be observed greatly among all groups, mostly among the applicants.

Evaluations – ECOP 2.1.1 Key findings: typically supported - domestic SMEs previously realised investments/ forward brought investments the grant supported 30% additional private investment growth impacts could not be explicitly demonstrated over the monitored period, i.e. in spite of additional investments enterprises were not capable of significantly increasing sales employment showed an increase among assisted companies

Thank you for your attention!