Meta Evaluarea Programului „energie Inteligenta – Europa Ii” (2007 – 2013)

META-EVALUAREA PROGRAMULUI

„ENERGIE INTELIGENTĂ – EUROPA II” (2007 – 2013)

CUPRINS

Abstract

Lista abrevierilor

INTRODUCERE

1. EVALUAREA PROGRAMELOR DE MEDIU – PRINCIPII ȘI LIMITĂRI

Teoria dezvoltării durabile

Evaluarea programelor de mediu și eficiență energetică

PROGRAMUL „ENERGIE INTELIGENTĂ – EUROPA II”

2.1 Programul Energie Inteligentă Europa II (2007 – 2013) – Cadru general

2.2 Necesitatea unui nou program „Energie Inteligentă pentru Europa”

3. ANALIZA RAPOARTELOR DE EVALUARE ALE PROGRAMULUI „ENERGIE INTELIGENTĂ – EUROPA II” 2007 – 2013

3.1 Raport de evaluare ex-ante al unui program comunitar multianual reînnoit în domeniul energiei (2007 – 2013)

3.2. Evaluarea Intermediară a Programului Energie Inteligentă Europa II, în contextul Programului Cadru pentru Competitivitate și Inovare – Comisia Europeană, Directoratul General Energie și Transport

3.3. Raportul Final de Evaluare a Programului Energie Inteligentă – Europa II, în cadrul Programului Cadru pentru Competitivitate și Inovare, Comisia Europeană, Directoratul General pentru Energie

4. EVALUAREA PROGRAMULUI ENERGIE INTELIGENTĂ EUROPA II 2007–2013 – MODEL PROPUS

4.1. Cadru general

4.2 Design-ul propunerii modelului de evaluare a Programului IEE II 2007 – 2013

5. CONCLUZII

Anexe

Bibliografie

Abstract:

Problematica energiei manifestă o importanță deosebită pentru sustenabilitatea, securitatea și bunăstarea economică a Uniunii Europene. Dacă Europa își poate atinge obiectivele economice, sociale și de mediu, trebuie implicit să facă față provocărilor relaționate domeniului energetic, precum dezvoltarea durabilă, dependența de furnizorii non-europeni și competitivitatea pe piața mondială.

Programul „Energie Inteligentă – Europa II” reprezintă unii dintre pilonii de finanțare și sprijin pentru atingerea dezideratelor europene din domeniul energiei, alături de celelalte inițiative comunitare care participă la îndeplinirea obiectivelor climatice/energetice „20/20/20”, stabilite prin Tratatul de la Lisabona.

Demersul inițiat prin prezenta lucrare se canalizează pe înțelegerea evoluției ideilor, inițiativelor și politicilor de mediu și energie la nivel european, a importanței conștientizării rolului dezvoltării durabile și a energiei sustenabile și a evoluției și impactului unuia dintre instrumentele de finanțare a inițiativelor de dezvoltare în domeniul energetic.

În scopul unei mai bune înțelegeri a evoluției Programului „Energie Inteligentă Europa II”, lucrarea analizează întreg ciclul de evaluare (ex-ante, interim, ex-post), propunând totodată o serie de observații și recomandări, sub forma unui model de evaluare îmbunătățit. Modelul de evaluare propus în urma analizei proceselor de evaluare desfășurate pentru Programul „Energie Inteligentă Europa II” este creat în vederea potențialelor îmbunătățiri ce ar fi putut fi aduse implementării acțiunilor din domeniul energiei în toate statele cuprinse în aria de eligibilitate în perioada 2007 – 2013.

Lista abrevierilor:

ALTENER – new and renewable energy resources

CARNOT – projects for coal utilisation

CIP – Programul pentru Competitivitate și Inovare

COOPENER – cooperation in IEE fields

EACI – Executive Agency for Competitiveness and Innovation

ETAP – energy modelling and analysis of energy policies

IEE – Programul Energie Inteligentă Europa 2003 – 2006

IEE II – Programul Energie Inteligentă Europa 2007 – 2013

IEEA – Intelligent Energy – Europe Agency

PNC – Puncte Naționale de Contact

RES – Renewable Energy Sources

SAVE – Energy efficiency services and obligations

STEER – clean and energy efficient transport

SURE – projects for nuclear energy

SYNERGY – cooperation with third countries

INTRODUCERE

Unul dintre cei mai importanți factori de care depinde evoluția economică și socială, atât la nivel european, cât și la nivel global, este reprezentat de energie. Printre provocările cărora Europa trebuie să le răspundă, se numără dependența energetică în creștere, prețurile instabile ale petrolului și gazelor, schimbările climatice, creșterea accentuată a cererii și numeroasele obstacole întâlnite pe piața energetică extrem de competitivă.

Rolul energiei este deosebit de important pentru Uniunea Europeană și este resimțit și conștientizat de cetățeni mai ales în situații de criză. În sprijinul contracarării potențialelor crize, dar și pentru a menține echilibrul energetic, Europa a stabilit o varietate de politici și instrumente de finanțare, printre care se numără și Programul „Energie Inteligentă – Europa”.

Lucrarea își propune să creeze un cadru general al problematicii energiei la nivel european, evoluției politicilor și inițiativelor din domeniul mediului și energiei de-a lungul timpului și să își focalizeze atenția asupra implementării Programului „Energie Inteligentă – Europa II” (2007 – 2013), în scopul propunerii unui nou model îmbunătățit de evaluare, care să ofere o imagine fidelă a realităților din statele care au primit acest tip de finanțare.

Primul capitol are expune principiile sustenabilității și dezvoltării durabile în relație cu analiza evoluției acestora în spațiul european. Totodată, este avută în vedere problematica impusă de evaluarea programelor de mediu și eficiență energetică, ale cărei principii diferă de alte tipuri de evaluare, datoriră implicațiilor majore și ireversibile asupra mediului economic, social sau natural.

Capitolul secund se focalizează pe familiarizarea cu Programul „Energie Inteligentă – Europa II” și pe importanța scopului și obiectivelor specifice în raport cu strategia europeană din domeniul energetic stabilită prin Tratatul de la Lisabona. De asemenea, este analizată necesitatea continuării primului stagiu al programului din perioada 2003-2006 în următoarea perioadă de programare 2007-2013, pentru atingerea plafoanelor stabilite de strategia „20/20/20”.

În cel de-al treilea capitol sunt analizate cele trei rapoarte de evaluare corespondente Programului „Energie Inteligentă – Europa II”, în concordanță cu grila de evaluare anexată. Cel de-al patrulea capitol propune un model îmbunătățit de evaluare, formulat în baza recomandărilor făcute în urma analizei celor trei rapoarte aferente programului IEE II. Metodologia evaluării păstrează schema originală a rapoartelor de evaluare și suprapune o serie de îmbunătățiri aduse în structura și claritatea acestora, și, în special, în calitatea metodelor de cercetare utilizate.

Demersul acestei lucrări a reprezentat un exercițiu de meta-evaluare a unui program complex atât prin domeniul de aplicare, cât și prin importanța deținută la nivel european. Energia este un catalizator indispensabil al economiei europene, dar și o resursă în deplină scădere, cu o indiscutabilă nevoie de inovare și restructurare. Evaluarea unui astfel de program participă atât la o mai bună înțelegere a rolului energiei pe plan european și mondial, cât și la înțelegerea complexității obstacolelor întâlnite în analiza programelor de mediu și energie.

EVALUAREA PROGRAMELOR DE MEDIU – PRINCIPII ȘI LIMITĂRI

Teoria dezvoltării durabile

Abordarea conceptului de dezvoltare durabilă este tridimensională, atât în teoretizarea lui, cât și în încercarea de promovare și integrare în politicile naționale sau regionale. Raportul ”Our common future” definește dezvoltarea durabilă ca acțiune ce trebuie să susțină nevoile prezentului fără a compromite posibilitatea generațiilor viitoare de a-și îndeplini propriile necesități. Însă problematica dezvoltării durabile trebuie să aibă la baza oricărei argumentări trei piloni de înțelegere cu ponderi de importanță similari.

Dintr-un unghi centrat pe aspecte economice, un sistem sustenabil trebuie să fie capabil să producă bunuri și servicii în mod neîntrerupt, pentru a menține un nivel controlabil al datoriilor extreme și pentru a evita balansarea extremelor sectoriale care afectează producția industrială și agricolă. Pe de altă parte, din punct de vedere al protecției mediului, un sistem sustenabil trebuie să mențină un stoc stabil de resurse, evitând totodată supra-exploatarea surselor neregerabile sau utilizarea acestora în detrimentul alternativelor regenerabile existente. Conservarea biodiversității, a stabilității atmosferice și a celorlalte funcții ale ecosistemului trebuie să își mențină o pondere semnificativă la nivelul oricărui sistem, fără să devină resurse economice. De asemenea, din perspectivă socială, este necesară o distribuție echitabilă în ceea ce privește proporția serviciilor sociale (inclusiv în sănătate și educație), egalitatea genurilor și a corectitudinii, participativității și credibilității politice.

Cele trei elemente ale sustenabilității anticipează numeroase potențiale complicații, încă de la nivel teoretic. Obiectivele sunt multidimensionale, crescând posibilitatea balansării eronate asupra unora sau a altor argumente, dar și în estimarea și evaluarea rezultatelor. Urmând această logică, se poate afirma că este mult mai ușor de identificat semnificația nesustenabilității decât pe cea a sustenabilității, reușindu-se totuși ajungerea la un numitor comun – ideea de ”common sense”.

Conceptul de capital natural este un aspect îngrijorător ce planează asupra ramurii economice a sustenabilității. Solul și funcțiile atmosferice reprezintă aspecte ale capitalului natural, care constau în toate resursele naturale și de mediu de care dispunem la nivel planetar. Herman Daly, economist senior al Departamentului de Protecție a Mediului al Băncii Mondiale, susține că problema dezvoltării durabile trebuie pusă în practică prin conservarea capitalului natural. Din această perspectivă sunt generate două puncte de vedere asociate surselor energetice; apare necesitatea limitării consumului de resurse pentru un randament sustenabil al nivelului resurselor regenerabile, iar în ceea ce privește sursele non-regenerabile, se cere reinvestirea veniturilor provenite din exploatarea lor în capital natural regenerabil. Cele două reguli, conform teoriei profesorului Herman Daly, pot menține un stoc constant al capitalului natural, cu mențiunea stabilizării nivelului de populație umană.

Abordarea neoclasică contravine ideii de conservare a capitalului natural, mizând pe menținerea unui nivel constant sau chiar pe creșterea consumului, condiționat însă de respingerea utilizării surselor energetice non-regenerabile. Prin urmare, menținerea unui stoc permanent al capitalului natural nu este absolut necesară, ci mai degrabă este stimulată generarea de valoare adăugată a capitalului natural.

Conceptul de ”standard minim de siguranță” apare odată cu relaționarea abordării neoclasice cu teoria stocului capitalului natural. Urmând un standard minim de siguranță, societatea poate conduce multe acțiuni care pot rezulta într-un impact natural deasupra limitei de cost și ireversibilitate. Standardul minim de siguranță trebuie astfel să ghideze societatea și deciziile publice după imperative morale și valori sociale, care să țină departe severitatea aspectului ireversibl al dezastrelor ecologice.

Prin urmare, din perspectivă economică, dezvoltarea durabilă este privită ca un deziderat care poate fi atins în momentul echilibrării nevoii în creștere a pieței cu conștientizarea riscurilor și implicațiilor asupra mediului. Însă, pentru a înțelege contextul de ansamblu, este necesară examinarea tuturor fațetelor problemei sustenabilității.

Rezultatele cercetării din domeniul fizicii și ecologiei susțin că sistemele naturale provin din echilibrul legilor termodinamicii, iar limitele lor sunt dependente de factorii „timp”, „spațiu” și „energie”. Prin urmare, sustenabilitatea sistemelor naturale implică ideea de limitare a consumului. S-a estimat că populația umană consumă laolaltă un procent de 40% din energia de bază pentru toate tipurile de populație existente, iar tendința de creștere este semnificativă.

Sustenabilitatea trebuie definită din punct de vedere ecologic drept menținerea unei „e, societatea poate conduce multe acțiuni care pot rezulta într-un impact natural deasupra limitei de cost și ireversibilitate. Standardul minim de siguranță trebuie astfel să ghideze societatea și deciziile publice după imperative morale și valori sociale, care să țină departe severitatea aspectului ireversibl al dezastrelor ecologice.

Prin urmare, din perspectivă economică, dezvoltarea durabilă este privită ca un deziderat care poate fi atins în momentul echilibrării nevoii în creștere a pieței cu conștientizarea riscurilor și implicațiilor asupra mediului. Însă, pentru a înțelege contextul de ansamblu, este necesară examinarea tuturor fațetelor problemei sustenabilității.

Rezultatele cercetării din domeniul fizicii și ecologiei susțin că sistemele naturale provin din echilibrul legilor termodinamicii, iar limitele lor sunt dependente de factorii „timp”, „spațiu” și „energie”. Prin urmare, sustenabilitatea sistemelor naturale implică ideea de limitare a consumului. S-a estimat că populația umană consumă laolaltă un procent de 40% din energia de bază pentru toate tipurile de populație existente, iar tendința de creștere este semnificativă.

Sustenabilitatea trebuie definită din punct de vedere ecologic drept menținerea unei „elasticități” a ecosistemelor, în sensul de a crește varietatea speciilor în scopul creării de noi forme genetice capabile să se adapteze la condițiile în permanentă schimbare. Se observă că abordarea ecologică este mai puțin centrată pe ființa umană, propunând o viziune holistică ce depășește ideea de limitare a consumului resurselor.

Din punct de vedere social, dezvoltarea durabilă prezintă o serie de implicații ale așa-numitei „dezvoltări umane”. Egalitatea în drepturi, calitatea a vieții și nivelul de educație reprezintă concepte care creează dificultăți în relația cu sustenabilitatea mediului și dezvoltarea durabilă. Egalitatea intergenerațională trebuie să se adapteze realității curente a stadiului resurselor, fără a suferi modificări substanțiale. Pe de altă parte, nivelul sărăciei și al discriminării reprezintă puncte de cauzalitate reale pentru degradarea mediului natural. Așadar, factorul social se dovedește a fi cel puțin la fel de important precum cel economic sau cel ecologic, punând problema relativității sustenabilității mediului la nivel individual. Pe măsură ce nivelul economico-social scade, conștientizarea acestei problematici este mai puțin vizibilă în rândul priorităților curente.

Teoria dezvoltării durabile are la bază intenția de tratare a problemelor de mediu colectiv la nivel global și cooperarea temeinică pentru atingerea unui scop comun, ce îmbină calitatea vieții, bunăstarea generațiilor prezente și viitoare într-o strategie tridimensională: protecția mediului, dezvoltarea economică și justiția socială. Raportul ”Limitele creșterii” publicat de Clubul de la Roma în deceniul al șaptelea al secolului trecut întrevedea impactul negativ al dezvoltării țărilor sărace asupra mediului înconjurător și necesitatea din ce în ce mai pregnantă a atenuării efectelor suprautilizării resurselor naturale pentru satisfacerea cerințelor socio-economice.

În 1972, la Stockholm, are loc prima reuniune internațională în care s-a abordat la nivel înalt principiul dezvoltării durabile, sub egida Națiunilor Unite. Contextul acestei perioade distinge două categorii atitudinale ale statelor față de mediul înconjurător: cele care, odată ajunse la nivelul economio-industral dorit conștientizau efectul acțiunilor întreprinse asupra calității mediului și resimțeau responsabilitatea pentru durabilitatea resurselor, și țările aflate în curs de dezvoltare, care plasau în plan secund problematica mediului și își focalizau atenția cu precădere asupra creșterii economice.

1987 este anul în care a fost enunțat prima dată conceptul de dezvoltare durabilă, în contextul publicării următoarelor principii în raportul comisiei Bruntland – ”Our common future”: diminuărea amprentei ecologice a omului, echitatea față de generațiile viitoare și eficacitatea economică. Ulterior, semnarea Tratatului de la Maastricht (1992) oferă protecției mediului un statut complet în cadrul politicilor europene.

Conceptele raportului Bruntland a avut ecouri importante, fiind promovat în cadrul Conferinței Mondiale pentru Dezvoltare Durabilă de la Rio de Janeiro, organizată de ONU în 1992, unde s-a definit un cadru de programe – Agenda 21, venit în sprijinul combaterii sărăciei, protejării resurselor de apă și a creșterii rolului considerațiilor de mediu în deciziile strategice.

În anul semnării protocolului de la Kyoto privind reducerea gazelor cu efect de seră de către 160 de țări, dezvoltarea durabilă a devenit oficial unul dintre obiectivele politice ale Uniunii Europene, acțiune accentuată doi ani mai târziu prin Tratatul de la Amsterdam, 1999. Eforturile accentuării ponderii protecției mediului în prioritățile politico-economice la nivel global au continuat și s-au concretizat odată cu adoptarea Strategiei pentru Dezvoltare Durabilă a Uniunii Europene, în cadrul Summit-ului de la Götheborg, urmat de adoptarea Obiectivelor de Dezvoltare ale Mileniului, la nivelul Națiunilor Unite.

În 2006, Comisia Europeană a finalizat adoptarea Strategiei de Dezvoltare Durabilă pentru o hartă extinsă a Uniunii Europene, ce acoperă aspecte economice, sociale, ecologice, de guvernanță și coerență a politicilor comunitare. Acțiunile planificate pentru consolidarea dezvoltării durabile la nivel mondial integrează controlul globalizării, în sensul de inserare a dezvoltării durabile în practicile comerciale, combaterea sărăciei și promovarea dezvoltării sociale, gestionarea durabilă a resurselor naturale și ecologice, accentuarea coerenței politicilor UE, o mai bună guvernanță la toate nivelurile și finanțarea dezvoltării durabile, urmărind obiectivele Declarației Mileniului.

Unul dintre obiectivele Strategiei de la Lisabona a fost ca Europa sa devină o economie bazată pe cunoaștere dinamică și competitivă, capabilă de o creștere economică durabilă asociată locurilor de muncă multiple și unei coeziuni sociale mai pronunțate. Energia reprezintă un element cheie pentru atingerea obiectivelor de la Lisabona. Consiliul European Götheborg din 2011 a recunoscut importanța combaterii schimbărilor climatice prin reducerea emisiilor de gaze cu efect de seră și prin decuplarea creșterii economice de utilizarea resurselor. Identificarea și exploatarea unor forme alternative, eficiente și regenerabile de producere și consum de energie, sustenabilizarea transporturilor și promovarea propriu-zisă a energiei sustenabile reprezintă elementele esențiale pentru atingerea acestor obiective.

La momentul punerii în discuție a continuării inițiativei unui nou Program European pentru Energie Inteligentă care să funcționeze în baza principiilor dezvoltării durabile, politica UE în domeniul energiei se concentra asupra problemelor legate de dependența externă de resurse energetice externe și de importanța confruntării cu impactul negativ al supraconsumului de energie. Industria europeană, ca lider mondial în tehnologia eoliană, își menținea o poziție foarte bună în materie de hidroenergie, energie fotovoltaică sau geotermală. Piețele de export reprezentau la începutul anilor 2000 un potențial uriaș pentru industria europeană de energie regenerabilă, care va beneficia de pe urma expertizei câștigate de pe piața domestică. Exportul tehnologiei de energie regenerabilă era un semnificativ generator de locuri de muncă în Uniunea Europeană, îmbunătățind competitivitatea energiilor noi și regenerabile prin dezvoltarea lor masivă, reducerea costurilor și îmbunătățirea performanței generării de energie electrică, termică și susbstitute de ulei mineral precum biocombustibilii și hidrogenul. Acest aspect este important pentru industria UE, în special în contextul creșterii prețurilor petrolului, situație care necesita diversificarea combustibililor.

Liberalizarea piețelor energiei electrice și a gazului în Europa schimbă fundamental piețele și sectorul energiei. În perioada de tranziție devine esențială stabilirea unei competiții eficace și a unor standarde de securitate. Energia regenerabilă trebuie să joace un rol important în furnizarea de energie și să nu rămână un factor opțional pentru cumpărător, ci să se integreze pe piață. Acest lucru devenise esențial pentru reducerea dependenței externe de energie și, în același timp, pentru a contribui la reducerea emisiilor.

Din aceste necesități a luat naștere o acțiune de investiție coordonată la nivelul Uniunii Europene, care poate include energia regenerabilă și îmbunătățirea calității mediului într-un singur cadru de lucru. Costurile și beneficiile investiției trebuie interpretate nu numai la nivel statal sau regional, ci la nivelul întreg spațiului european, pentru asigurarea unui mediu sustenabil cu ajutorul unui consum rațional de energie.

Schimbările climatice și protecția mediului reprezintă componente esențiale ale dezvoltării durabile, pentru a asigura ținta propusă de Protocolul de la Kyoto privind reducerea emisiilor de gaze. Tehnologiile competitive ce furnizează energie sigură și sustenabilă joacă un rol extrem de important pentru componentele dezvoltării durabile. Tehnologiile eco-eficiente au capabilitatea de a reduce impactul asupra mediului și să contribuie de asemenea la creșterea competitivității. Acest tip de tehnologie este promovabil prin instrumente de piață și prin initiative politice de cercetae – dezvoltare și inovare.

Cercetarea și dezvoltarea tehnologică este aria unde Uniunea Europeană poate aduce extrem de multe îmbunătățiri pentru a înregistra reale progrese și pentru a atinge o creștere sustenabilă. Parteneriatul dintre sectoarele publice și private reprezintă una dintre soluțiile propuse de Uniunea Europeană pentru dezvoltarea unei noi generații de tehnologii în domeniul energetic, alături de acțiunea de diseminare a rezultatelor cercetării și participarea și leadership-ul UE în inițiativele globale.

Evaluarea programelor de mediu și eficiență energetică

Eficiența energetică reprezintă o componentă importantă la nivel european, un efort comun asociat angajamentului tuturor statelor implicate de a aduce standardele de mediu și piața energetică la un nivel sustenabil pentru viitor. Evaluarea programelor de mediu și eficiență energetică reprezintă un demers extrem de util la nivel comunitar, în sensul de a măsura rezultatele eforturilor depuse până la momentul respectiv și de a legitima continuarea strategiei începute, pentru a asigura îndeplinirea obiectivelor comune propuse în domeniul energiei și protecției mediului. Dificultatea apare în momentul încercării de a măsura efectiv rezultatele obținute sau volumul resurselor energetice; devine extrem de complicată măsurarea implementării unui astfel de program utilizând formule și metode standard care si-au dovedit eficacitatea în alte domenii precum sănătatatea, educația sau economia. Elemente precum comportamentul consumatorilor de energie, resursele energetice convenționale rămase, gradul de utilizare al surselor neconvenționale sau întrebarea contrafactuală ”Ce volum de energie s-ar fi consumat în lipsa unui program în domeniul eficienței energetice?” nu își găsesc modalități standard de răspuns sau indicatori specifici.

Astfel, o evaluare ex-ante a unui program de eficiență energetică devine mai ușor de desfășurat decât o evaluare ex-post, deoarece costurile unei acțiuni pot fi estimate, însă măsurarea rezultatelor efective ridică numeroase dificultăți evaluatorilor. Accesul evaluatorilor la măsurarea îmbunătățirilor aduse prin acțiunea comună desfășurată în scopul eficienței energetice și a standardelor sustenabile de mediu, este condiționat de informații referitoare la modul de desfășurare al programului, la probleme specifice identificate în funcție de criteriul de evaluare. Din acest punct de vedere, evaluarea programelor de mediu, cercetare și eficiență energetică ar trebui să fie realizată, cel puțin la nivel teoretic, de o echipă compusă din specialiști neutri, care să acopere toate componentele de analiză – economică, ecologică, socială, științifică, politică, ș.a. Presiunile ce vin din politica de mediu și energie – biodiversitatea, cooperarea internațională, justiția și atingerea standardelor propuse – nu își pot găsi însă rezolvarea fără existența unor inițiative comunitare precum programul avut în vedere în prezentul demers.

Evaluarea programelor este, conform definiției date de Patton, “colectarea sistematică de informații despre activitățile, caracteristicile și rezultatele programelor pentru a fi utilizate de anumite personane cu scopul de a reduce nesiguranțele, pentru a spori eficacitatea și a lua deciziile oportune în legătură cu programele respective”. Dan Șandor, în lucrarea ”Analiză și cercetare în administrația publică” afirmă că „pentru un program, evaluarea implică o analiză sistematică cu scopul de a afla dacă și în ce măsură proiectele și programele au fost implementate conform intențiilor și și-au atins obiectivele.” Pe de altă parte, Comisia Europeană propune o serie de criterii relevante utilizate în procesele de evaluare – relevanță, eficiență, eficacitate, sustenabilitate și impact.

Se observă astfel că ideea de evaluare are o componență pragmatică extrem de accentuată, fiind centrată pe măsurarea gradului în care programele desfășurate au obiective și rezultate relevante, resurse consumate eficient în scopul atingerii scopului propus, au avut un impact semnificativ pe termen lung, și-au atins grupurile țintă și pot avea legitimitatea unei continuări după încheierea finanțării.

În ceea ce privește evaluarea programelor de mediu și eficiență energetică, unul dintre motivele care îi explică dificultatea este periodicitatea. Majoritatea programelor de mediu sunt relativ noi și au atins stadii în care evaluarea poate fi desfășurată ori dispun de evaluări ex-ante realizate în scopul legitimării fezabilității lor.

Un alt factor este reprezentat de dificultatea articulării unor obiective bine definite, deoarece ideea de îmbunătățire în educație, justiție, agricultură, așteptări de la viață, rate ale angajabilității, sărăciei sau șomajului, este ușor de exprimat în termeni cantitativi. Însă domeniul calității mediului, diversității speciilor, sustenabilitatea ecosistemelor, ecologiei sau a eficienței energetice, evaluarea și toate implicațiile aferente creării unei metode unice de analiză se lovește de numeroase incertitudini, riscuri și dificultăți de cuantificare sau măsurare. Un al treilea motiv este dat de complexitatea domeniului. ”Chiar dacă sistemele sociale sunt complexe, este mult mai complicat să identifici cauzele încălzirii globale decât pe cele ale analfabetismului în rândul adulților”.

Diviziunea disciplinară dintre științele naturale și științele sociale sau economice reprezintă un ultim motiv care justifică dificultățile întâmpinate de evaluatori în acest domeniu. Această diviziune explică relativitatea metodelor potrivite de evaluare și atingerea consensului în această privință de către evaluatori. Evaluarea programelor este centrată fie pe proces, fie pe rezultate, nevoi, fie pe aspectul fezabilității – analiza cost beneficiu, analiza SWOT. De asemenea, evaluare programelor poate utiliza metode explicative, sistematice sau orientate pe teorie, poate avea un design participativ, formativ sau sumativ. În timp ce aceste metode sunt orientate către o specificitate a utilității fiecăreia, metodele pentru evaluarea programelor de mediu se pot grupa în trei categorii generale, în funcție de punctul de interes al evaluatorului: cele centrate pe proces, evaluări centrate pe impact și evaluări axate pe eficiență.

Evaluarea procesului

Evaluarea concentrată asupra procesului își limitează eforturile asupra modului în care activitățile au fost desfășurate, adresându-se în principal indivizilor sau organizațiilor care au fost implicați în implementarea respectivului program. Analiza procesului reprezintă o componentă esențială pentru îmbunătățirea programelor, însă nu trebuie ignorate motivele pentru care acestea au avut sau nu impactul scontat sau factorilor care au făcut ca beneficiile să nu depășească investiția realizată pentru susținerea programului.

Evaluarea procesului este înțeleasă drept evaluarea care analizează implementarea programului, în esență a perioadei dintre inițierea programului și obținerea rezultatelor acestuia. Evaluarea procesului fluctuează în funcție de trei variabile – maleabilitatea programului sau capacitatea de a răspunde iminenței schimbărilor, abilitatea programului de a structura implementarea procesului și, nu în ultimul rând, contextul socio-politic de desfășurare a programului.

Evaluarea impactului asupra mediului

Analiza impactului factorului uman asupra mediului reprezintă o practică veche, însă acest timp de evaluare este desfășurată pentru programe și activități care nu sunt neapărat direcționate către îmbunătățirea și conservarea biodiversității sau ecosistemelor, precum construcțiile și programele de infrastructură. Acest model de evaluare este predictiv și orientat către proiectarea impactului politicilor sau programelor propuse, nu pentru cele deja existente. Prin urmare, se concentrează asupra efectelor negative pe care le-ar putea avea viitoarele programe asupra mediului, fără a avea în vedere restructurarea programelor în curs pentru diminuarea acestor efecte sau pentru desfășurarea lor într-o manieră mai eficientă.

Indicatorii acestui model de evaluare pot varia în funcție de specificitatea programului evaluat sau de la plafoanele impuse de statele în care se implementează. Deși în linii mari evaluarea impactului asupra mediului pare a nu se lovi de multe dificultăți, intervin în practica evaluatorilor limitări precum lipsa datelor, acuratețea datelor, factori antropologici, asimetria informațională, variabile necunoscute care afectează efectele programului, ș.a.

Evaluarea impactului asupra mediului devine problematică și în momentul interpretării impactului măsurat. Există două tipuri de abordări în acest sens: pozitivă și normativă; evaluatorii care adopotă prima abordare se limitează la măsurarea impactului, fără a lua în calcul relația de cauzalitate a respectivului rezultat. Evaluatorul care are o abordare normativă, în afara faptului că identifică rezultatul, este preocupat și de implicațiile impactului rezultat cu alte domenii conexe programului evaluat. Concluzionând, evaluarea impactului asupra mediului, indiferent de abordarea adoptată, este caracterizată de o serie de limitări care o fac insuficientă ca metodă unică în evaluarea programelor de mediu și eficiență energetică, asemenea metodei precedente de evaluare a procesului.

Evaluarea centrată pe eficiență

În timp ce evaluarea centrată pe impactul asupra mediului poate fi fie pozitivă sau normativă, evaluarea centrată pe eficiență este în mod esențial normativă, deoarece ridică întrebări asupra consumului de resurse. Cel mai des, astfel de evaluări sunt asociate principiului definirii costurilor și beneficiilor, supunându-se din acest motiv numeroaselor controverse legate de limitările analizei economice a programelor de mediu.

Economiștii răspund criticilor prin evidențierea faptului că programele de mediu și energie implică utilizarea unor resurse insuficiente, iar pentru evaluarea lor devine rezonabilă comparația valorii avantajelor aduse de program cu valoarea a ceea ce a fost investit. Dificultățile tehnice ale unei astfel de comparații sunt legate de provocarea evaluatorului de a analiza procedurile și impactul programului, deoarece aceștia trebuie să știe cum au fost realizate schimbările și ce efecte produc sau vor produce asupra mediului natural. Doar după parcurgerea acestei etape evaluatorul poate evalua dacă schimbările aduse au fost realizate într-o manieră cost-eficientă, fără a ignora însă nicio altă alernativă a programului, inclusiv pe cea a inexistenței lui.

În contextul etapelor prezentate pentru realizarea unei evaluări corecte centrate pe eficiență, este evident faptul că acest tip de evaluare este limitativ, nu neapărat în sensul logicii sale, cât în ceea ce privește posibilitățile de colectare a datelor, expertizei evaluatorilor sau comparării impactului programului evaluat cu cele ale alternativelor sale.

Prin urmare, chiar dacă măsurarea impactului și aplicarea metodelor potrivite de cercetare sunt importante pentru o evaluare corectă, modul în care rezultatele unei evaluări sunt utilizate pentru îmbunătățirea programului sau pentru schimbarea politicilor în domeniu sunt definitorii. Alegerea design-ului corect al evaluării este o provocare în domeniul mediului natural și eficienței energetice. O bună parte din evaluări sunt realizate în scopul precis de inițiere, continuare sau stopare a unui program. De accea, se poate considera că orice raport de evaluare, cu orice nivel de obiectivitate, este supus interpretărilor non-neutre de către părțile interesate sau de către contextul socio-politic existent. De asemenea, evaluatorii pot eșua în prezentarea rezultatelor relevante deliberării în cauză, aducând argumente care nu susțin în totalitate decizia care ar fi trebuit să găseasca o fundamentare în demersul lor. Pe de altă parte, chiar dacă rezultatele emise într-un raport de evaluare sunt complexe și expuse într-o relație de cauzalitate, acestea pot să fie sau pot să nu fie luate în totalitate în considerare de factorii decizionali. Prin urmare, se pot ignora adeseori aspecte avute în vedere de echipa de evaluatori, independent de versiunea finală a raportului lor, continuând astfel lista de posibilități nefavorabile unui demers de evaluare.

2. Programul „Energie Inteligentă Pentru Europa II”

2.1 Programul Energie Inteligentă pentru Europa II (2007 – 2013) – Cadru general

Programul Energie Inteligentă pentru Europa II este unul dintre instrumentele de finanțare ale Programului – Cadru pentru Competitivitate și Inovație (CIP). Programul Energie Inteligentă pentru Europa II este dezvoltat în continuarea primei etape, desfășurate în perioada 2003 – 2006.

Programul Energie Inteligentă pentru Europa a fost inițiat pentru a sprijini acțiunile Uniunii Europene în domeniul energetic în conformitate cu Carta Verde a Securității și Furnizării Energiei, Cartei Albe a Transporturilor și a altor acte legislative comunitare relaționate. Scopul programului este sprijinirea dezvoltării sustenabile în domeniul energiei, aducând o contribuție semnificativă în atingerea obiectivelor de securitate a furnizării energiei, competitivității și a protecției mediului.

Strategia pe termen mediu și lung în ceea ce privește furnizarea energiei și integrarea unei strategii comunitare pentru dezvoltare durabilă și protecția mediului în domeniul energetic necesita existența unui program suport direcționat către adaptarea acțiunii comunitare într-o formă cumulativă, coerentă și procedurală. Astfel, Programul Intelligent Energy – Europe, își propunea ”conservarea resurselor naturale și menținerea sustenabilă a nivelului de dezvoltare a societății prin responsabilizarea utilizării energiei bazată pe inovație tehnologică și abilitarea sectorului energetic și industrial de adoptare a celor mai bune practici în domeniul energiei într-un timp cât mai scurt”.

Programul a fost construit ca instrument comunitar principal pentru sprijinirea acțiunilor non-tehnologice în domeniul energiei, ce continuă acțiunile precedente într-un program sinergic al tuturor activităților din sectorul energetic care contribuie la îndeplinirea principalelor obiective ale strategiilor comunitare în domeniul energiei și dezvoltării durabile. La momentul respectiv, programul avea două mari obiective ce vizau atât țările membre cât și statele candidate:

Promovarea eficienței energetice, prin urmare reducerea emisiilor de CO2 și contribuția semnificativă la atingerea unui procent de 18% de scădere a consumului energetic până în anul 2010;

Creșterea ponderii surselor regenerabile de energie în consumul de energie brut al UE, cu scopul de atingere a procentului de 12% până în 2010.

Obiectivele și prioritățile programului au fost transpuse în patru domenii de activitate, care includ:

a). Acțiuni relaționate eficienței energetice (SAVE);

b). Promovarea energiei regenerabile (ALTENER);

c). Aspecte energetice ale transportului (STEER);

d). Inițiative relaționate promovării surselor de energie regenerabilă și eficienței energetice în statele în curs de dezvoltare (COOPENER).

Primul raport de evaluare intermediară al programului Energie Inteligentă – Europa arată că, în urma consultării unui număr de stakeholderi, de beneficiari ai programului și ai staff-ului Comisiei Europene, nevoia pentru program era în creștere față de anul de start. Exista o presiune în creștere de atingere a obiectivelor Strategiei de la Lisabona și ale Cartei Verzi a Eficienței Energetice, fapt ce a făcut ca relevanța și utilitatea programului să se accentueze încă din primii ani de implementare. Și în statele în curs de dezvoltare nevoia programului a fost justificată de interesul pentru accesul la energie și de schimbările climatice. De asemenea, conflictul dintre inițiativele de combatere a sărăciei și reducerea emistiilor de carbon a fost recunoscut de toate statele.

În ceea ce privește eficiența programului, raportul intermediar de evaluare concluzionează că există, la nivelul stakeholderilor și beneficiarilor, dorința de a lărgi paleta de proiecte eligibile, în special pentru COOPENER. Spre deosebire însă de predecesorul Program Cadru pentru Energie, IEE atrage mai multe propuneri. În privința eficacității programului, una dintre recomandările evaluatorilor a fost să se multiplice lista indicatorilor de rezultat, în sensul de a adăuga și alte obiective reducerii emisiilor de carbon. Sustenabilitatea programului a fost greu de evaluat în momentul analizei, la doar doi ani de implementare, însă a fost propusă integrarea programului în Programul Cadru pentru Competititvitate și Inovare, cu un buget mai crescut.

Necesitatea unui nou program secund „Energie Inteligentă pentru Europa”

Predicțiile pentru continuarea primului program pentru Energie Inteligentă au fost întărite de o serie de factori de risc, precum creșterea consumului de energie, creșterea cererii de energie la nivel mondial, dependența energetică față de state non-europene, dezastre de mediu cauzate de sistemul energetic și nivelul scăzut al eficienței energetice și al surselor neconvenționale.

Consumul de energie din Europa indica la începutul anilor 2000 o creștere pronunțată a cererii, estimându-se ca până în 2030 să crească cu aproximativ 70%. De asemenea, s-a înregistrat o dependență de statele non-europene de peste 50%, care s-a estimat a crește până în 2030 la 65% în cazul neluării niciunei măsuri în acest sens. Graficul de mai jos evidențiază rata dependenței energetice (% din importurile nete, în tone de petrol) măsurate de Eurostat în anul 2009.

Sursa: Eurostat (online data codes: tsdcc310 and nrg_100a)

Carta Verde pentru energie a Comisiei Europene (2000) evidențiază problemele asociate cu creșterea dependenței externe și importanța impactului asupra mediului a consumului crescut de energie și promovează concentrarea politicilor energetice asupra cererii, și nu asupra furnizării. De asemenea, susține promovarea politicilor de economisire și diversificare energetică pentru industriile de transport, construcții și electricitate, promovarea surselor non-poluante, diversificate și regenerabile de energie.

Carta Albă privind Strategia Comunitară și planul de acțiune pentru surse regenerabile de energie conturează ca obiectiv dublarea acestora de la 6% la 12% și creșterea producției energetice prin utilizarea acestor tipuri de surse de la 14% la 22% până în 2010. De asemenea, Carta Albă pentru sectorul transporturilor – ”European Transport Policy for 2010: time to decide” sesizează conflictul dintre creșterea cererii pentru mobilitate și problemele de mediu, siguranță, serviciilor de calitate slabă și izolarea anumitor regiuni.

Măsurile europene menite să susțină energia sustenabilă vin atât în sprijinul atingerii obiectivelor strategice privind scăderea consumului energetic sau diversificarea surselor de energie, cât și în sprijinul creșterii competitivității pe piață în ceea ce privește cercetarea și dezvoltarea tehnologiilor sustenabile de producere și consum energetic.

Necesitatea programului IEE II este justificată de existența unei dezvoltări relativ lente în domeniul tehnologiilor energetice sustenabile, aflate în incapacitatea de a atinge obiectivele UE în domeniul energiei. Programul oferă asistență pentru reducerea barierelor non-tehnologice, instituționale, legate de gradul redus al investițiilor și cererii, lipsei conștientizării nevoii de resurse regenerabile și niveluri reduse ale diseminării și promovării beneficiilor energiei sustenabile.

IEE II susține dezvoltarea sustenabilă în domeniul energiei, urmărind totodată îndeplinirea următoarelor obiective: securitatea energiei furnizate, competitivitate și protecția mediului. IEE II este construit pe baza experienței dobândite de primul Program Energie Inteligentă pentru Europa. Prin participarea a peste 5000 de organizații publice și private, cele două programe consecturive au devenit unul dintre cele mai active instrumente comunitare în domeniul eficienței energetice. Utilizarea surselor de energie regenerabilă pentru sprijinirea dezvoltării și implementării politicilor europene, sprijinirea creării unor condiții de piață favorabile, pregătirea contextului pentru investiții, multiplicarea capacităților și aptitudinilor, alături de menținerea interesului și parteneriatului stakeholder-ilor reprezintă câteva eforturi importante pentru IEE II.

Articolul 37 din Decizia CIP presupune contribuirea la o energie sigură, sustenabilă și competitivă pentru Europa, prin: promovarea eficienței energetice și utilizării raționale ale resurselor energetice, prin promovarea surselor noi și regenerabile de energie pentru sprijinirea diversificării energetice și prin asumarea și conștientizarea ideii de eficiență energetică și utilizarea surselor noi și regenerabile în domeniul transportului.

Intelligent Energy for Europe II, conform Articolului 38 din Decizia CIP, trebuie să:

a. furnizeze elementele necesare pentru îmbunătățirea sustenabilității, dezvoltarea potențialului orașelor și regiunilor și pregătirea măsurilor legislative necesare pentru atingerea obiectivelor strategice; dezvoltarea mijloacelor și instrumentelor necesare, monitorizarea și evaluarea impactului măsurilor adoptate de Comunitate și statele membre în domeniile cărora se adresează;

b. creșterea investițiilor în statele membre în tehnologii noi în domeniul eficienței energetice, surselor de energie regenrabilă și diversificării energetice, inclusiv în transport, prin ridicarea barieirei dintre demonstrațiile de succes ale tehnologiilor inovative și dezvoltarea lor pe piață pentru atragerea investițiilor din sectoarele publice și private, promovarea tehnologiilor strategice importante, reducerea costurilor, creșterea experienței de piață și contribuția la reducerea riscurilor financiare și a altor tipuri de riscuri și bariere ascunse în acest tip de investiții;

c. eliminarea barierelor non-tehnologice pentru modele eficiente și inteligente de producere și consum de energie, prin promovarea construirii capacității instituționale la nivel local și regional, prin creșterea conștientizării prin sistemul educațional, prin încurajarea scimburilor de experiență și know-how dintre principalii actori din domeniu – afaceri și cetățeni în general și prin stimularea cunoașterii celor mai bune practici și tehnologii disponibile cu ajutorul promovării acestora la nivel comunitar.

Acțiunile IEE II sunt încadrate în următoarele axe:

I. Eficiența energetică și utilizarea rațională a energiei (SAVE), prin:

Eficacitatea energetică a clădirilor;

Eficacitatea energetică a produselor.

II. Resurse noi și regenerabile de energie (ALTENER), prin:

Electricitate produsă de surse alternative;

Producția de căldură și aer rece cu ajutorul energiei alternative (RES-H/C);

Aplicații domestice și alte surse energetice alternative la scară redusă;

Biocarburanți.

III. Energia în transport (STEER), prin promovarea eficienței energetice și utilizarea de surse de energie noi și regenerabile:

Carburanți alternativi și vehicole non-poluante;

Eficacitate energetică a transporturilor;

Întărirea capacității în transporturi pentru agențiile locale și regionale existente.

IV. Inițiative integrate:

Rețele pentru acțiune locală;

Comunități de energie durabilă;

Bio-activități;

Servicii energetice;

Formare în domeniul energiei inteligente pentru profesori.

Prin urmare, Programul dedicat energiei inteligente reînnoit aduce, în afară de îndeplinirea obiectivelor propuse de programul anterior, o componentă de sprijinire a creării și implementării politicilor de mediu, a capacității instituționale și a activităților de diseminare. De asemenea, noul program propune o arie nouă de sprijin pentru proiectele de replicare, care doresc să atragă investiții mari în cele mai noi tehnologii, lărgindu-și totodată sectoarele țintă în mediul public și privat al utilizatorilor de energie, în industrie, manufactură, instituții financiare și public general.

Cu ajutorul măsurilor soft și hard, se proune realizarea următoarelor obiective: interes crescut din partea producătorilor, dezvoltarea standardelor de calitate, creșterea încrederii în tehnologiile energetice sustenabile, îmbunătățirea capacității administrative la nivel local și regional în domeniul energetic, creșterea conștientizării beneficiilor energiei sustenabile, diseminarea și promovarea la scara mai largă a energiei sustenabile. Măsurile soft includ activități precum: dezvoltarea rețelelor, sesiunilor de formare, diseminare, promovare, educare și training, în timp ce măsurile hard fac referire la finanțarea stimulării replicării pe piață a tehnologiilor moderne, dezvoltarea de standarde de calitate – precum certificarea și etichetarea.

Analiza rapoartelor de evaluare ale programului „ENERGIE INTELIGENTĂ – EUROPA II” 2007 – 2013

În urma analizei a trei rapoarte de evaluare dedicate Programului ”Energie Inteligentă – Europa II” 2007 – 2013, se trasează ca obiectiv principal al lucrării de față înțelegerea punctelor slabe și a punctelor forte ale procesului de evaluare, a modului de desfășurare a acestuia, a calității rapoartelor de evaluare și a conturării unei viziuni globale a succesului procesului de evaluare desfășurat pentru programul analizat.

La finalul analizei celor trei rapoarte de evaluare, se dorește propunerea unei metodologii îmbunătățite, care să poată acoperi eventualitatea punctelor vulnerabile identificate în procesele de evaluare. Demersul prezentei lucrări este pluridimensional, încercându-se totodată analiza metodologiilor utilizate de evaluatori și măsura în care scopul evaluării a fost atins în ceea ce privește Programul ”Energie Inteligentă – Europa II” 2007 – 2013 și propunerea unei metodologii îmbunătățite și personalizate vulnerabilităților identificate celor trei rapoarte, pentru toate cele trei cicluri de evaluare – ex-ante, intermediară și ex-post.

Evaluarea evaluărilor sau „meta-evaluarea” reprezintă o inițiativă complexă ce cunoaște de-a lungul timpului numeroase definiții și interpretări. Evaluările pot fi însă de mai multe tipuri, în funcție de scopul, caracteristicile, presupunerile și imperativele lor; astfel, activitatea evaluatorilor poate fi rezumată în linii în cinci mari tipologii: „evaluare proactivă”, „evaluare clarificativă”, ”evaluare participativă/interactivă”, „de monitorizare” și „evaluare de impact”.

Evaluarea proactivă reprezintă acel tip de analiză care are loc înainte ca programul să fie realizat, în scopul validării unei decizii asupra celui mai bun mod de proiectare a acestuia. Modalitatea de realizare a evaluării proactive este sintetizarea informațiilor disponibile și identificarea elementelor care pot influența pozitiv sau negativ programul analizat. Evaluarea proactivă trebuie să legitimeze nevoia identificată la nivelul societății de elementele aduse de program, să identifice problemele și încercările anterioare de soluționare a acestor probleme și să propună o abordare nouă în urma cercetării surselor externe ale programului, care să aducă îmbunătățiri reale politicii în domeniu.

Din punct de vedere al metodelor utilizate în evaluarea proactivă, putem enumera analiza documentelor și bazelor de date, reluarea celor mai bune practici în domeniu, dar și a metodelor de cercetare complexe precum focus grupul sau metoda delphi pentru evaluarea nevoilor.

Evaluarea clarificativă are loc în timpul implementării unui program, mai ales în perioada de încept, în scopul de a acorda informațiile necesare care identifică și documentează dimensiunile esențiale ale unui program, în scopul de a-l face mai accesibil tuturor părților interesate. Metodele utilizate variază de la analiza de documente până la interviuri sau metoda observației, pentru asigurarea unei înțelegeri cât mai corecte a dezideratelor programului și a modalităților prin care își propune să le realizeze.

Evaluarea de tip participativ sau interactiv are loc în timpul implementării programului și are ca obiectiv îmbunătățirea programului unde se consideră necesar, prin implicarea directă a reprezentanților instituției centrale de implementare în procesul de evaluare. Prin participarea reprezentanților din organismul de implementare, este oferită atât o viziune „de la fața locului” asupra procesului de implementare, dar și accesul mai pronunțat la informații utile pentru evaluare. Cea mai eficientă metodă utilizată în evaluarea de tip participativ este cercetarea la fața locului prin metoda observației, deoarece oferă o viziune extrem de realistă asupra modului propriu-zis de implementare a programului și a oportunităților de îmbunătățire.

Monitorizarea reprezintă acel tip de evaluare care are loc pe parcursul implementării unui program bine structurat, în scopul de a identifica sursele întârzierilor sau insucceselor înregistrate până la momentul respectiv, în scopul îmbunătățirii lui în următoarea perioadă. Acest tip de evaluare implică deținerea accesului la informații referitoare la performanța procesului, pentru studierea măsurii în care indicatorii propuși în faza de proiectare a programului au fost atinși până în momentul desfășurării evaluării și care sunt cauzele care au condus la realizarea sau nerealizarea acestora.

Evaluarea de impact poate fi realizată în orice moment al desfășurării unui program sau politici, în scopul determinării efectelor înregistrate de implementarea programului, ceea ce poate conduce la caracterizarea ratei sale de succes și la posibilitatea continuării sale. Evaluarea de impact analizează, așadar, măsura în care s-au înregistrat schimbări și îmbunătățiri în situația inițială a grupurilor ținte vizate de program. Metodele de cercetare utilizate în evaluarea de impact variază de la metode experimentale – crearea grupurilor de control, metode cvasi-experimentale – dubla diferență, la tipuri de metode exploratorii – interviuri, studii de caz sau analiza cantitativă a datelor brute.

Pentru conturarea unei viziuni cât mai ample asupra planificării, implementării, impactului și potențialității programului european pentru energie inteligentă de a fi continuat în următorul exercițiu bugetar 2014 – 2020, s-au avut în vedere următoarele surse: Raportul de evaluare ex-ante a programului – ”Ex ante evaluation of a renewed multiannual Community programme in the field of energy (2007 – 2013)”, raportul intermediar de evaluare – ”Interim evaluation of the Intelligent Energy – Europe II Programme within the Competitiveness and Innovation Framework Programme – April 2009” și raportul de evaluare ex-post ”Final Evaluation of the Intelligent – Europe II Programme within the Competitiveness and Innovation Framework Programme – June 2011”.

Prin urmare, se au în vedere trei rapoarte de evaluare – unul de tip ex-ante, unul intermediar și un raport ex-post, realizate pentru programul studiat, pe parcursul întregului său ciclu de viață. Din punct de vedere al metodologiei alese pentru analiza celor trei rapoarte de evaluare, trebuie menționat că s-a dorit crearea unei viziuni cât mai ample asupra calității acestora, atât în ceea ce privește echipa de evaluatori, cât și în privința metodelor utilizate, a structurii rapoartelor de evaluare, a îndeplinirii scopului evaluărilor și a concluziilor și recomandărilor formulate.

În acest sens, s-a stabilit ca șablon al procesului de evaluare o structură formată din cinci etape generale, care, odată dezvoltate, să dețină capabilitatea de a contura o perspectivă asupra întregului ciclu de evaluare al programului. În final, în urma analizei concluziilor formulate pentru fiecare raport de evaluare, se încearcă formularea unui nou model îmbunătățit de evaluare a programului european pentru energie inteligentă.

Celor cinci etape enunțate le corespund cinci criterii de evaluare, cărora le sunt anexate întrebările de evaluare propuse, conform Anexei 1.

1. Rolul procesului de evaluare stabilește importanța raportului de evaluare pentru programul analizat, măsura în care evaluatorii țin cont de așteptările organismului care a solicitat evaluarea și modul în care este definită evaluarea.

2. Capacitatea evaluatorilor vizează îndeplinirea cerințelor etice și gradul de familiarizare al evaluatorilor cu programul analizat.

3. Consistența procesului de evaluare face referire la respectarea standardelor formulate de cei care au solicitat evaluarea, stabilirea scopului evaluării de către echipa de evaluatori și gradul de informare și cercetare al acestora pentru elaborarea raportului de evaluare.

4. Calitatea raportului de evaluare vizează criteriile de evaluare, metodele de cercetare, structura, claritatea și inteligibilitatea raportului de evaluare și aplicabilitatea recomandărilor făcute.

5. Aprecierea globală a raportului de evaluare formulează o viziune de ansamblu asupra îndeplinirii scopului evaluării și asupra segmentelor unde rapoartele de evaluare pot fi îmbunătățite.

3.1 Raport de evaluare ex-ante al unui program comunitar multianual reînnoit în domeniul energiei (2007 – 2013)

Raportul de evaluare ex-ante a fost realizat de ECOTEC Research and Consulting Ltd, ECORYS Nederland Bv, sub seria C2719, în luna septembrie a anului 2004.

1. Rolul procesului de evaluare

Conform sumarului general, miza raportului de evaluare este adoptarea propunerii pentru un nou program de către Directoratul General pentru Energie și Transport, care să vină în continuarea primei inițiative a Programului Energie Inteligentă – Europa, desfășurată în perioada 2003 – 2006. Implicațiile inițierii unui nou program sunt de natură bugetară și de consum al resurselor, prin urmare raportul ex-ante reprezintă un element procedural necesar obținerii aprobării propunerii pentru noul program.

O abordare mai detaliată a scopului final al raportului de evaluare implică îndeplinirea următoarelor obiective:

Justificarea intervenției comunitare, inclusiv a nivelului de finanțare propus;

Asistarea în dezvoltarea unui set clar de obiective care pot fi utilizate pentru măsurarea și evaluarea programului;

Stabilirea unei baze informaționale considerabile care să susțină evaluările ulterioare intermediare și ex-post;

Identificarea responsabilităților managementului.

În ceea ce privește primul obiectiv, raportul de evaluare dispune de o analiză cost-beneficiu a intervenției comunitare, care oferă informația necesară referitoare la estimările până în ultimul an de implementare al Programului IEE II.

De asemenea, dezvoltarea unui set clar de obiective care să funcționeze ca suport pentru evaluarea și măsurarea programului este realizată pe parcursul celui de-al treilea capitol al raportului de evaluare, unde sunt stabilite obiectivele programului, indicatorii de pornire pentru măsurătorile viitoare. Majoritatea indicatorilor de bază pornesc de la bazele de date Eurostat și sunt justificați prin directive și plafoane legislative de mediu. Pentru clarificarea obiectivelor programului, este realizată matricea cadrului logic și arborele obiectivelor, structurat în Obiective generale, obiective operaționale și rezultate.

Cel de-al treilea obiectiv asumat echipa de evaluatori responsabilă pentru raportul ex-ante este legat de crearea unei baze informaționale care să reprezinte o bază considerabilă de pornire pentru rapoartele ulterioare de evaluare planificate – intermediară și ex-post. Din acest punct de vedere, raportul de evaluare oferă o analiză descriptivă detaliată a programului și a componentelor acestuia, o analiză a nevoilor, o analiză SWOT și o analiză a stakeholder-ilor. De asemenea, este realizată o evaluare a riscurilor și se au în vedere problemele întâmpinate în programele anterioare.

Responsabilitățile managementului sunt trasate în finalul raportului de evaluare, unde sunt specificate și recomandările referitoare la o comunicare mai eficientă la acest nivel, recomandări provenite din rapoartele anterioare și din consultările cu stakeholderii. Acest aspect nu este însă foarte bine vizibil sau structurat în raportul de evaluare ex-ante.

În cerințele programului referitoare la desfășurarea evaluării ex-ante, Comisia stabilește că dezvoltarea acestei analize trebuie decisă în mod pragmatic și că trebuie să țină cont de circumstanțee individuale ale programului. De asemenea, afirmă că raportul de evaluare ex-ante ”depinde, în afară de oricare alți factori, de cantitatea și calitatea informațiilor disponibile în evaluările precedente, în studii sau orice alt tip de resurse, dar și de cheltuilelile și resursele implicate în acest tip de proces decizional”.

Raportul de evaluare ex-ante realizat de ECORYS are ca scop documentarea, acumularea de informații și dezvoltarea de analize care să ajute în definirea obiectivelor, asigurării îndeplinirii acestor obiective, a utilizării cost-eficiente a instrumentelor utilizate și a asigurării unei evaluări viitoare.

În ceea ce privește implicația propriu-zisă asupra programului, este specificat faptul că reprezintă un aspect procedural necesar pentru obținerea aprobării pentru demararea programului propus. De asemenea, conform cerințelor Comisiei referitoare la concluziile evaluării, este specificat faptul că raportul de evaluare ar trebui să includă o secțiune scurtă în care să fie precizată măsura în care recomandările anterioare au fost integrate în program. De asemenea, se afirmă faptul că și programul ar trebui să includă o secțiune referioare la raportul de evaluare și la măsura în care recomandările evaluatorilor au fost integrate în program. La momentul elaborării raportului de evaluare ex-ante, nu existau încă evaluări ale programului anterior, ceea ce a făcut imposibilă raportarea evaluatorilor la recomandări precedente.

Raportul ex-ante ia totuși în considerare recomandările precedente regăsite în evaluările intermediare ale Programului – Cadru pentru Energie 1998 – 2002 (inclusiv SAVE, ALTENER, SYNERGY, CARNOT, SURE și inițiative ETAP) și evaluarea ex-post a programului ALTENER (1998 – 2002).

Conform raportului de evaluare studiat, „evaluarea ex-ante este procesul care sprijină pregărirea propunerilor pentru acțiunile noi sau reînnoite ale Comunității, al cărei scop este elaborarea analizelor care să faciliteze formularea obiectivelor și îndeplinirea lor, asigurarea că instrumentele utilizate sunt cost-eficiente și crearea unei baze pentru evaluările ulterioare.”

Capacitatea evaluatorilor:

În ceea ce privește selectarea evaluatorilor și expertiza lor, compania de consultanță care conduce procesul de evaluare deține un istoric amplu de lucru cu instituțiile europene, în special în zona monitorizării și evaluării politicilor și programelor europene. De asemenea, Ecorys desfășoară, în contextul semnării de acorduri – cadru și contracte individuale, numeroase studii și cercetări pentru mai multe Directorate Generale ale Comisiei Europene.

Ecorys deține expertiză în varii domenii, printre care se pot enumera: comerțul, industria, finanțele publice, management, economie, competitivitate și inovare. În ceea ce privește capacitatea companiei de consultanță de a desfășura evaluarea ex-ante a Programului Energie Inteligentă – Europa II, un argument pozitiv este reprezentat de deținerea expertizei și experienței în analiza programelor de mediu, energie și schimbări climatice desfășurate.

Unica observație referitoare la etica procesului de evaluare este legată de gradul de neutralitate în evaluare în contextul existenței unui acord al firmei de evaluare pentru mai multe rapoarte ale Programului Energie inteligentă Europa I și II. Ecorys a desfășurat, sub egida acordului cu Directoratul General Transport și Energie al Comisiei Europene, inclusiv Raportul de Evaluare Intermediară a Programului Multianual Energie Inteligentă – Europa 2003 – 2006. Acest raport de evaluare este realizat abia în anul 2006, ceea ce nu oferă un argument care afectează gradul de obiectivitate al evaluatorilor. Dacă raportul de evaluare intermediară a programului anterior ar fi fost publicat înaintea celui de evaluare ex-ante a programului Energie Inteligentă Europa II, s-ar fi putut discuta despre eventualitatea unui conflict de interese privind ponderea concluziilor evaluării intermediare pentru evaluarea ex-ante. Prin urmare, se poate afirma că, deși Ecorys a condus mai multe procese de evaluare ale Programului Energie Inteligentă Europa, fie în primul ciclu 2003-2006, fie din perioada 2007-2013, nu se ridică problema existenței semnelor de întrebare referitoare la etica procedurilor desfășurate.

Consistența procesului de evaluare:

Standardele prezentului raport de evaluare sunt formulate de Ghidul Comisiei Europene pentru realizarea evaluărilor ex-ante ”Ex ante evaluation. A practical guide for preparing proposals for expenditure programmes”, publicat în 10 Decembrie 2001. Forma recomandată în ghid este respectată în general, raportul de evaluare fiind structurat astfel:

Analiza problemelor și evaluarea nevoilor;

Stabilirea obiectivelor;

Enunțarea alternativelor și analiza riscurilor;

Valoarea adăugată a implicării Comunității;

Lecții învățate din trecut;

Planificarea monitorizărilor și evaluărilor viitoare;

Sprijin pentru cost-eficiență;

Rezultatele consultărilor cu stakeholderii;

Rezultatele discuției cu oficialii CE și cu alți stakeholderi.

Ultimele două capitole referitoare la consultările cu părțile interesate nu sunt prevăzute sub această formă în recomandarea ghidului Comisiei Europene, dar pot fi considerate un plus adus raportului de evaluare.

Pe de altă parte, ghidul impune o abordare clară și vizibilă a structurii și rezultatelor raportului de evaluare prin existența Anexei 1, care este destinată rezumării conținutului raportului sub forma unei liste, pentru o înțelegere imediată a tipului, metodelor și rezultatelor evaluării. Deși urmărește în linii mari indicațiile din ghidul Comisiei Europene, prezentul raport de evaluare ex-ante nu dispune de această formă de rezumare a conținutului, făcând astfel dificil de urmărit structura și punctele esențiale ale evaluării.

Este stabilit scopul evaluării?

Scopul evaluării este ”de a acumula informații și de a desfășura analize care pot veni în sprijinul definirii obiectivelor, pentru a asigura îndeplinirea lor și utilizarea eficientă a instrumentelor”.

Evaluarea ex-ante este realizată pentru a justifica intervenția comunitară, atât din punct de vedere al acțiunilor propuse, cât și din perspectiva bugetelor alocate. Pentru a putea adopta un nou program în domeniul energiei la nivel comunitar, în scopul continuării acțiunilor anterioare, corectării vulnerabilităților întâlnite în trecut și a investirii eforturilor suplimentare pentru un program amplificat, s-a impus elaborarea unui raport de evaluare ex-ante. De asemenea, trebuie să ajute la definirea unor obiective clare care să faciliteze punerea în practică a următoarelor procese de evaluare planificate și să dețină o bază informațională solidă, care să funcționeze ca punct de plecare pentru analizele viitoare. Acest raport, conform ghidului pentru evaluări ex-ante emis de CE în 2001, trebuie să survină unei decizii pragmatice și să ia în considerare toate circumstanțele individuale ale programului.

Sunt sursele de informare suficiente pentru a răspunde cerințelor evaluării?

În ceea ce privește sursele de informare care stau la baza raportului de evaluare ex-ante, trebuie menționat că nu sunt foarte solide. Raportul de evaluare are la baza informații provenind din rapoartele de evaluare ale programului anterior sau a componentelor acestuia. Astfel, printre sursele de informare se numără Raportul de evaluare intermediară a Programului Cadru pentru Energie 1998-2002, Raportul de evaluare ex-post a componentei ALTENER 2004 și date preluate din bazele Eurostat. Acest aspect este recunoscut ca o limitare de către echipa de evaluatori, afirmând că volumul de informații necesar pentru elaborarea unui raport de evaluare ex-ante pentru programul Energie Inteligentă Europa II este extrem de redus, datorită faptului că la momentul elaborării acestuia, primul program începuse de doar doi ani. În figura de mai jos este evidențiată linia cronologică a desfășurării programului și planificarea etapelor de evaluare.

Calitatea raportului de evaluare:

Sunt metodele de cercetare suficiente pentru a îndeplini scopul evaluării?

Evaluarea ex-ante utilizează următoarele metode de evaluare: analiza problemelor și evaluarea nevoilor, pentru determinarea relevanței proiectului pentru toate părțile implicate și enunțarea îmbunătățirilor aduse designului programului, analiza SWOT, analiza cost-beneficiu dezvoltată în scopul testării fezabilității programului și pentru legitimarea continuării inițiativei începute în perioada 2003-2006 pe o perioadă extinsă în următorul exercițiu bugetar.

Raportul de evaluare utilizează atât metode cantitative, cât și metode calitative; metoda analizei documentelor disponibile în domeniul energiei – rapoarte de evaluare anterioare și a bazelor de date Eurostat, este utilizată pentru colectarea datelor necesare pentru atingerea scopului evaluării. Deoarece această metodă, în ciuda avantajului costului scăzut, nu este suficientă pentru crearea unei imagini clare a necesității continuării programului Energie Inteligentă Europa II, fiind dublată de interviuri luate factorilor decizionali, stakeholderilor și contractorilor proiectului, ale căror răspunsuri au fost grupate într-o comunicare unică semnată de directorul fiecărei instituții respondente.

Întrebările interviurilor și răspunsurile stakeholderilor intervievați nu au fost anexate raportului de evaluare. Din acest punct de vedere, se poate lua în considerare o limitare a vizibilității asupra întregului proces de evaluare derulat. Deși tematica generală, instituțiile și grupurile de interes, persoanele individuale intervievate sunt anexate raportului, acesta nu dispune de metodologia de interpretare a datelor utilizată de echipa de evaluatori.

Sunt enunțate și definite criteriile de evaluare?

Prezentul raport de evaluare nu dispune de criterii de evaluare clar definite, iar acest fapt se datorează tipului de evaluare și scopului declarat. Totuși, în urma analizei raportului, principalele criterii de evaluare ce reies din structura și scopul evaluării sunt cost-eficiența, relevanța, sustenabilitatea și eficacitatea.

Este raportul de evaluare suficient de bine structurat și de clar din punct de vedere al conținutului?

Structura raportului de evaluare este în conformitate cu instrucțiunile emise de Comisia Europeană în ceea ce privește elaborarea evaluărilor ex-ante. Conținutul raportului este relativ clar, îmbinând secțiuni descriptive referitoare la program, cu elemente schematice ce reprezintă etapele și metodologia de evaluare. Rezultatele evaluării nu sunt clar poziționate în raport, fiind succint prezentate fragmente specifice în finalul fiecărui capitol.

Sunt recomandările evaluatorilor aplicabile?

Echipa de evaluatori face o serie de recomandări pentru Programul Energie Inteligentă Europa II 2007-2013, în ceea ce privește îmbunătățirea mai multor aspecte. Pentru procesul de aplicare, sunt recomandate o serie de măsuri pentru buna desfășurare a procesului de aplicație și câștigare a proiectelor – program riguros al depunerii aplicațiilor, resurse umane adecvate procesului de aplicație, implicarea accentuată a statelor membre în implementarea programului, asistența technică accentuată la nivel național pentru stimularea participării, adaptarea proiectelor la nevoile pieței, un sistem unic al propunerilor, contractelor și schemei de management, sisteme IT adecvate pentru colectarea datelor, menținerera datelor necesare monitorizării la zi, ș.a.

În ceea ce privește evaluarea programului, este recomandată derularea unei evaluări intermediare, condusă de o echipă de experți independenți la sfârșitul celui de-al doilea an de implementare. De asemenea, se recomandă și evaluarea ex-post a programului, pentru analizarea impactului general și al performanței programului, dar și a cost-eficienței, impactului și valorii adăugate Comunității.

Evaluatorii Ecorys recomandă și evaluarea Agenției Executive, a cărei componență și rol nu erau bine stabilite la momentul elaborării raportului, recomandările fiind făcute cu referire la sensul pe care îl va căpăta în timp. Astfel, evaluarea acrivității Agenției Executive este recomandată după primul an de activitate, în scopul identificării și justificării eventualelor schimbări. În ceea ce privește evaluarea la nivel de proiect, este recomandat ca aceasta să nu se limiteze la aspectele tehnologice, ci să vizeze și aspecte legate de buget, cost-eficiență și impact al activităților desfășurate pentru îndeplinirea obiectivelor programului.

Aprecierea globală a raportului de evaluare:

A fost îndeplinit scopul evaluării?

Scopul evaluării a fost definit în jurul ideii de creare a unei baze informaționale pentru facilitarea desfășurării următoarelor procese de evaluare, de formulare a unor obiective clare și a unor indicatori care să poată măsura performanța noului program pentru energie inteligentă la nivel comunitar. De asemenea, raportul de evaluare promite sintetizarea tuturor informațiilor disponibile, în scopul identificării elementelor ce pot duce la îmbunătățirea programului în ansamblu.

Evaluarea ex-ante prezintă, într-adevăr, o sinteză a puținelor materiale, rapoarte și documente disponibile până la momentul respectiv, oferind o imagine de ansamblu asupra stadiului programului de la momentul respectiv. Chiar dacă aceste informații sunt limitate, este creat un punct de plecare pentru următoarele procese de evaluare.

În ceea ce privește formularea obiectivelor și indicatorilor programului, evaluarea și-a îndeplinit scopul, prezentând o propunere pentru matricea cadrului logic de implementare a Programului Energie Inteligentă Europa II.

Desfășurarea analizei SWOT și a analizei cost-beneficiu susține și pilonul „fezabilitate” al propunerii noului program comunitar în domeniul energiei, oferind o perspectivă temporală de șase ani, comparată cu ipoteza non-acțiunii pe acest plan.

Poate fi îmbunătățit raportul de evaluare?

Raportul de evaluare analizat este limitat de volumul informațiilor disponibile. Deoarece în momentul începerii evaluării trecuseră doar doi ani de la începerea primului program Energie Inteligentă Europa 2003-2006, evaluatorii nu au avut un punct de reper în privința stadiului implementării sau a dificultăților înregistrate până la momentul respectiv. Singura soluție în acest sens ar fi putut fi dată de amânarea evaluării ex-ante, în limitele posibilităților, până în momentul conturării evaluării intermediare a programului curent. Un raport de evaluare intermediară ar fi putut crea o imagine mai apropiată de realitate pentru succesul, dificultățile și limitările programului, ceea ce putea justifica într-o măsură mai pronunțată inițierea unui nou program pentru următorul exercițiu bugetar.

În al doilea rând, utilizarea metodelor calitative de cercetare este limitată atât din punct de vedere al volumului, cât și al vizibilității, având în vedere lipsa unei baze informaționale solide, prin urmare a unor date concrete suficiente pentru conturarea unor opinii clare în ceea ce privește statusul implementării proiectelor, problemelor semnalate de Comisia Europeană sau recomandărilor părților interesate. Evaluatorii au intervievat Directoratele Generale asociate domeniului general al programului și diverși stakeholderi, fără a publica însă întrebările interviului, acest fapt afectând transparența procesului de evaluare.

În al treilea rând, consider că pentru înțelegerea situației propriu zise, ar fi putut fi utilizate mai multe metode de cercetare calitative, precum focus grupul – pentru a vedea care sunt așteptările părților interesate față de noul program, chestionare trimise prin eșantionare diverșilor beneficiari și stakeholderi – pentru identificarea gradului de mulțumire și înțelegere a actualului program, metoda observației în departamentele de asistență tehnică alese prin sondaj de echipa de evaluatori – pentru testarea responsivității autorităților de management și pentru cuantificarea solicitărilor de clarificare sau dificultăților generate de program pentru beneficiari. Astfel, raportul de evaluare ar fi acoperit într-o oarecare măsură golul informațional cu opinii, recomandări și probleme întâmpinate în prezent de toți factorii implicați în scurta perioadă de implementare a Programului Energie Inteligentă Europa 2003 – 2006.

3.2 Evaluarea Intermediară a Programului Energie Inteligentă Europa II, în contextul Programului Cadru pentru Competitivitate și Inovare

Raportul de evaluare intermediară a Programului Energie Inteligentă Europa II a fost început în 15 Decembrie 2008 și finalizat în 27 Aprilie 2009, de către compania de consultanță Deloitte Consulting CVBA/SCRL. Evaluarea acoperă primii doi ani de implementare ai programului IEE II – 2007 – până în Decembrie 2008.

I. Rolul procesului de evaluare

Conform raportului de evaluare ex-ante a Programului Energie Inteligentă Europa II 2007-2013, evaluarea intermediară este planificată la sfârșitul celui de-al doilea an de implementare. De asemenea, s-a propus ca evaluarea intermediară trebuie să ofere oportunitatea de a face ajustări în aria procedurală a programului, în selectarea proiectelor, în structura și rezultatele programului. Evaluarea intermediară trebuie așadar să țină cont de recomandările raportului anterior, în privința mai multor aspecte: revizuirea sistemului de indicatori de monitorizare a impactului, din cauza dificultăților înregistrate la momentul respectiv, ajustarea rezultatelor anticipate de program, revizuirea strategiei de selectare a proiectelor în ceea ce privește numărul, relevanța, dimensiunea și tipul propunerilor sau chiar structura programului. De asemenea, Programul Cadru pentru Competitivitate și Inovare, afirmă că evaluarea intermediară trebuie să aibă în vedere implementarea financiară a programului, în raport cu rezultatele și impactul activităților realizate.

Raportul de evaluare intermediară reușește să răspundă acestor necesități în parte, analizând pertinența obiectivelor în raport cu nevoile și problemele cărora trebuie să corespundă design-ul programului și oportunitățile de maximizare a relevanței programului. De asemenea, raportul face referire la măsura în care logica intervenției și metodele de management pot crește standardele implementării programului, la cost-eficiență și sursele generatoare ale ineficienței înregistrate până la momentul evaluării. În final, evaluarea intermediară pune problema schimbului informațional dintre autorități, stakeholderi și beneficiari și a eficienței acestui schimb pe parcursul celor doi ani de implementare.

Concluziile evaluatorilor sunt menite să îmbunătățească, reorienteze programul și să scoată în evidență aspectele care conduc la pierderea eficienței și relevanței acestuia. Conform Programului Cadru pentru Competitivitate și Inovare – Plan de lucru pentru anul 2008, evaluarea intermediară a programelor specifice și alocările bugetare necesare trebuie incluse în planurile ulterioare de lucru.

De asemenea, în Decizia nr. 1639/2006/CE privind Programul Cadru pentru Competitivitate și Inovare 2007-2013, Articolul 8.2, este specificat faptul că programul Energie Inteligentă Europa II trebuie să fie subiectul unei evaluări intermediare și finale, care trebuie să examineze probleme precum relevanța, coerența, sinergiile, eficacitatea, eficiența, sustenabilitatea, utilitatea și, unde este cazul, distribuția fondurilor.

Așadar, concluziile evaluatorilor vor fi luate în considerare ca recomandări pentru îmbunătățirea programului și vor fi introduse în planurile de lucru pentru perioada imediat următoare.

Este definit procesul de evaluare în raport?

Abordarea prezentului raport în privința procesului de evaluare intermediară este desfășurată în jurul următoarelor idei: aceasta se desfășoară în timpul implementării programului, iar principalul său obiectiv este de a evidenția procesele programului în scopul identificării primelor rezultate. Evaluarea intermediară poate reorienta elemente esențiale ale programului, în scopul atingerii rezultatelor așteptate.

Prin urmare, evaluarea este una formativă, bazată pe teorie, în scopul înțelegerii parametrilor prin care Programul Energie Inteligentă Europa II poate atinge eficiența, eficacitatea și relevanța maximă, utilizând informațiile obținute printr-o serie de metode calitative și prin analiza documentației disponibile. Pornind de la modelul logic al programului (figura de mai sus), evaluatorii încearcă să identifice punctele forte, punctele slabe și ceea ce poate fi îmbunătățit la programul analizat.

Capacitatea evaluatorilor:

Deloitte, una dintre cele patru mari companii mondiale de consultanță și audit, deține expertiză în domeniul energiei și resurselor, oferind soluții integrate pentru toate segmentele din domeniul petrolier, energetic, minier, naval și sectorul apelor. Grupul de consultanță Deloitte oferă servicii de evaluare și audit în domeniul energetic, conducând numeroase evaluări ale programelor comunitare din domeniul energetic.

Îndeplinesc evaluatorii cerințele etice pentru a realiza analiza propusă?

Raportul de evaluare ex-ante al Programului Energie Inteligentă Europa II 2007 – 2013 stipulează faptul că evaluarea intermediară trebuie să fie realizată de către un evaluator extern și independent. Din acest punct de vedere, Deloitte deține atât neutralitatea, cât și expertiza necesară pentru a pune în practică procesul de evaluare intermediară.

Consistența procesului de evaluare:

Decizia Comisiei Europene privind implementarea Programului Cadru pentru Competitivitate și Inovare afirmă, în cadrul Articolului 8 Monitorizare și evaluare faptul că atât evaluările intermediare, cât și cele finale trebuie să adopte metodologiile potrivite pentru măsurarea impactului Programului Cadru și programelor specifice, în ceea ce privește obiectivele de competitivitate, inovare, antreprenoriat, creșterea productivității, angajabilității și calitatea mediului. Aceste evaluări trebuie să examineze calitatea serviciilor prestate de cei care le implementează. Rapoartele de evaluare trebuie să funcționeze după criterii de evaluare potrivite, indicatori calitativi și cantitativi pentru analizarea eficacității în livrarea rezultatelor care vor contribui la atingerea obiectivelor specifice ale programului. De asemenea, rezultele evaluării trebuie să fie vizibile și să fie integrate în politica din domeniu.

Din aceste puncte de vedere, raportul de evaluare respectă toate criteriile emise de legislația comunitară, fiind în conformitate cu cerințele referitoare la alegerea criteriilor de evaluare și a indicatorilor potriviți pentru a enunța într-o manieră realistă și transparentă rezultatele analizei programului pentru energie inteligentă.

B. Este stabilit scopul evaluării?

Scopul evaluării este de a realiza o analiză care să ia în considerare constrângerile temporale și financiare și să evalueze eficiența, eficacitatea și relevanța programului, dar și eficacitatea activităților de informare și conștientizare.

Prezenta evaluare are ca scop secundar producerea unui raport anual asupra implementării financiare și a rezultatelor și impactului activităților derulate. Prin urmare, esența raportului de evaluare este de a oferi o viziune clară din punct de vedere calitativ și cantitativ a rezultelor obținute în primii doi ani de implementare a programului Energie Inteligentă Europa II 2007 – 2013.

C. Sunt sursele de informare suficiente pentru a răspunde cerințelor evaluării?

Sursele de informare pentru elaborarea raportului de evaluare sunt diversificate, combinând documente legislative cu raportul anterior de evaluare ex-ante al programului Energie Inteligentă Europa II, procesele verbale ale întâlnirilor Comitetului Programului, Raportul Curții Europene a Auditorilor privind implementarea primului program pentru energie inteligentă 2003-2006 și o analiză cost-eficacitate a aceluiași program. Aceste surse utilizate pentru elaborarea raportului de evaluare au fost secundate de metode de cercetare calitative.

Încă din primele pagini ale raportului, evaluatorii recunosc o limitare în volumul informațional disponibil, mai ales în ceea ce privește existența rezultatelor efective produse de programul analizat. Acest fapt se datorează inițierii evaluării intermediare la sfârșitul celui de-al doilea an de implementare, la doar trei luni după acordarea primelor granturi.

Calitatea raportului de evaluare:

Sunt metodele de cercetare suficiente pentru a îndeplini scopul evaluării?

Echipa de evaluatori a ales o serie complexă de metode de cercetare, pentru atingerea scopului central al evaluării, de a livra o imagine cât mai realistă a rezultatelor primilor doi ani de implementare a Programului Energie Inteligentă Europa II. În vederea realizării acestui obiectiv, s-au utilizat atât metode cantitative, cât și metode calitative. Astfel, prima metodă utilizată este analiza documentelor relevante, ale cărei rezultate sunt anexate raportului de evaluare. S-au avut în vedere documente legislative și rapoarte de evaluare anterioare, colectate de pe website-ul Comisiei Europene sau direct prin DG TREN și Agenția Executivă pentru Competitivitate și Inovare.

Cea de-a doua metodă de cercetare utilizată a fost realizarea interviurilor face-to-face cu stakeholderii programului – guverne ale statelor membre, Parlamentul European, Comisia Europeană, EACI, reprezentanți ai industriei, ONG-uri, etc. Rezultatele interviurilor au fost utilizate în scopul completării datelor provenite din analiza documentelor, pentru colectarea datelor calitative în vederea completării indicatorilor calitativi definiți în cadrul analitic și pentru a identifica potențiale puncte de îmbunătățire a relevanței, eficienței, eficacității, informației și conștientizării programului.

A treia metodă utilizată este reprezentată de chestionarele online, elaborate pentru colectarea sistematică și standardizată a opiniilor Punctelor de Contact Naționale, membrilor Comitetului de Management al IEE și a coordonatorilor de proiect și partenerilor IEE II. Chestionarul on-line a vizat principalele criterii de evaluare selectate pentru analiza programului.

De asemenea, au fost selectate șase proiecte finanțate de Programul Energie Inteligentă Europa II, pentru a elabora șase studii de caz, în care să fie evidențiate așteptările beneficiarilor asupra rezultatelor și impactului proiectului, modului de atingere a obiectivelor și, în special, pentru a ajuta evaluatorii să identifice problemele de ordin administrativ. Cele șase proiecte au fost selectate din șase țări membre ale Uniunii Europene – Bulgaria, Germania, Italia, Polonia, Spania și Suedia. Schema interviului și lista persoanelor intervievate sunt anexate raportului de evaluare.

Activitatea în teren în cele șase state membre a ajutat evaluatorii să colecteze informații necesare studiilor de caz desfășurate. În fiecare stat membru, echipa de evaluatori a întâlnit coordonatori de proiect și parteneri, a făcut vizite Punctelor Naționale de Contact, Membrului Comitetului de Management al IEE și reprezentanți ai organizațiilor interesate (Camere de Comerț, alte organizații reprezentative). De asemenea, această informație este anexată raportului de evaluare.

Ultima metodă de cercetare utilizată este cea a focus grupului, cu membrii Comitetului de Management IEE și reprezentanți ai Punctelor Naționale de Contact, pentru a testa primele opinii și asumpții colectate în timpul vizitei în teren în cele șase state membre și interviurile desfășurate. Au participat la focus grup reprezentanți din nouă state comunitare – Cehia, Asociația Europeană a Liberului Schimb, Danemarca, Franța, Germania, Olanda, Slovacia, Suedia și Marea Britanie. Pentru a menține confidențialitatea răspunsurilor, nu a fost invitat niciun membru al Agenției Executive. Temele de discuție sunt publicate în raportul de evaluare, iar rezultatele au fost considerate utile pentru răspunsurile formulate întrebărilor de evaluare.

Se poate observa că metodele de cercetare utilizate se contrabalansează din punct de vedere al conținutului și pot fi considerate o baza informațională solidă și transparentă. Evaluatorii nu s-au limitat la o alegerea unei singure metode calitative, utilizând atât interviul, cât și studiul de caz și focus grupul. Singura remarcă ce poate fi adusă metodelor de cercetare este legată de alegerea celor șase state membre pentru studiile de caz și a celor nouă state membre pentru participarea la focus grup. Deși metodele sunt diversificate și concepute pentru a se controla reciproc din punct de vedere al calității informațiilor, acestea vizează totuși un spectru îngust. Pentru o mai bună vedere de ansamblu asupra implementării programului până la momentul respectiv, cercetarea s-ar fi putut extinde, cel puțin la nivelul focus grupurilor, la toate statele membre ale Uniunii Europene.

B. Sunt enunțate și definite criteriile de evaluare?

Criteriile de evaluare alese de echipa de evaluatori sunt: relevanța, eficacitatea, eficiența și gradul de informare și conștientizare. Criteriile de evaluare sunt atent structurate și au alocate o serie de întrebări de evaluare. Raportul de evaluare intermediară rezervă câte un capitol fiecărui criteriu de evaluare, unde rezultatele cercetării sunt vizibile și inteligibile.

Relevanța este definită ca măsura în care cele șase studii de caz sunt pertinente nevoilor, problemelor și aspectelor cărora direcțiile IEE II le sunt destinate. Eficiența reprezintă măsura în care impactul dorit este atins la un cost rezonabil. Eficacitatea măsoară dacă impactul sau rezultatele așteptate sunt sustenabile, iar gradul de informare și conștientizare aduc în vedere eficacitatea programului de a transmite potențialilor stakeholderi și beneficiari informațiile necesare referitoare la instrumentele, finanțarea, rezultatele și impactul programului.

Este raportul de evaluare suficient de bine structurat și de clar din punct de vedere al conținutului?

Raportul de evaluare este structurat în șase capitole și este ușor de analizat. Primele trei capitole creează un cadru general asupra Programului Energie Inteligentă Europa ca ansamblu și evidențiază pe scurt ceea ce raportul de evaluare își propune, care este designul evaluării, metodele utilizate și principalele rezultate ale procesului de evaluare.

Următoarele capitole aprofundează desgin-ul evaluării (scopul evaluării, metode și instrumente utilizate și un subcapitol în care sunt expuse limitările și obstacolele evaluării desfășurate), rezultatele evaluării (structurate în funcție de criteriul de evaluare avut în vedere) și, în ultima fază, partea de concluzii și recomandări. În anexele raportului se regăsește lista documentelor analizate, lista interviurilor, template-ul studiului de caz, compararea obiectivelor poiectelor, instrumentele de comunicare alese și alte informații relevante pentru procesul de evaluare intermediară.

D. Sunt recomandările evaluatorilor aplicabile?

Echipa de evaluatori oferă recomandări în urma răspunsurilor identificate pentru fiecare întrebare de evaluare. Recomandările evaluatorilor sunt pertinente și legate de următoarele aspecte:

Bugetul Programului IEE: este recomandată o creștere a bugetului, pentru a răspunde nevoilor în creștere pentru surse alternative de energie necesare pentru a face față schimbărilor curente înregistrate la nivel global și țintelor extrem de ridicate propuse pentru viitor la nivel comunitar. Sursele alocate la momentul respectiv pentru programul IEE erau insuficiente pentru susținerea acestor obiective.

Analiza inter-relațiilor cu Fondurile Structurale: este sugerată o colaborare mai accentuată cu Fondurile Structurale, pentru a prioritiza acțiunile care au înregistrat succes prin acest tip de finanțare, în scopul maximizării rezultatelor IEE II.

Elaborarea unui cadru strategic pentru perioada de programare rămasă (2010-2013): un cadru strategic ar putea furniza informații adiționale cu privire la obiectivele IEE II pe termen lung, ar putea permite aplicanților să își planifice mai bine propunerile de proiecte și să accelereze elaborarea planurilor anuale de lucru.

Consultări frecvente: evaluatorii recomandă depunerea unui efort suplimentar din partea Comisiei în organizarea de sesiuni de informare cu stakeholderii, reprezentanți ai industriei, ONG-uri și mari corporații, pentru a permite o mai bună înțelegere a nevoilor, necesităților și pentru identificarea barierelor care opresc contractarea proiectelor prin IEE II.

Ierarhizarea indicatorilor de performanță (nivel strategic, nivel de program, nivel operațional).

Reducerea numărului de obiective și indicatori la nivel de proiect, pentru menținerea unui nivel realist al așteptărilor.

Transparentizarea Punctelor de Contact Național și al Comitetului de Management, pentru a facilita gradul de informare și conștientizare.

Realizarea unui Balanced Scorecard de către EACI, pentru monitorizarea indicatorilor de management ai programului.

Simplificarea administrativă a EACI.

Permanenta updatare a sistemelor de informare ale EACI.

Clarificarea tipurilor de participanți eligibili la IEE II.

Creșterea Zilelor de Informare Națională și Europeană pentru statele membre, pentru o mai bună informare și înregistrarea unui număr mai ridicat și mai calitativ de propuneri de proiecte finanțate IEE II.

Implicarea specialiștilor în comunicare în procesele de diseminare a proiectelor finanțate IEE II.

Prioritizarea obiectivelor IEE II de către Comisia Europeană.

Planificarea plăților în funcție de rezultatele obținute.

Aprecierea globală a raportului de evaluare:

A. A fost îndeplinit scopul evaluării?

Scopul prezentei evaluări este de a monitoriza implementarea din primii doi ani de desfășurare a Programului Energie Inteligentă Europa II și de a-i analiza eficiența, eficacitatea, relevanța și măsura în care gradul informare și conștientizare în rândul părților interesate este eficace.

Din această perspectivă, toate aspectele au fost avute în vedere în raportul de evaluare, în care s-a răspuns tuturor întrebărilor formulate de evaluatori prin intermediul rezultatelor obținute cu ajutorul mai multor tipuri de metode de cercetare. Raportul ia în considerare și constrângerile temporale și financiare ale programului, conturându-și designul în funcție de circumstanțele existente la momentul respectiv.

B. Poate fi îmbunătățit raportul de evaluare?

Deși designul evaluării dispune de numeroase metode de cercetare, practicate în scopul obținerii unor informații cât mai diversificate și calitative, echipa de evaluatori alege doar șase proiecte din șase state membre și doar nouă state membre pentru focus grupuri. Din acest punct de vedere, raportul de evaluare ar putea fi îmbunătățit, ținând cont de realitățile diferite din teren, în ceea ce privește activitatea beneficiarilor și punctelor naționale de contact ale programului.

Activitatea în teren depusă în cele șase state membre consumă multe resurse umane și materiale firmei de consultanță care conduce evaluarea programului. Vizitele la fața locului ar putea fi înlocuite cu videoconferințe cu reprezentanții tuturor părților interesate, din toate statele membre. Păstrând aceeași schemă a intervenției, aceleași întrebări și aceiași indicatori, evaluatorii ar putea avea în vedere realitatea în domeniul energiei din toate statele membre, pentru a contura o imagine mai exactă la nivel comunitar asupra impactului programului Energie Inteligentă Europa II și a oportunităților de îmbunătățire a acestuia.

Raportul Final de Evaluare a Programului Energie Inteligentă – Europa II, în cadrul Programului Cadru pentru Competitivitate și Inovare, Comisia Europeană, Directoratul General pentru Energie

Raportul de evaluare finală a Programului Energie Inteligentă Europa II a fost realizat de compania de consultanță Deloitte Consulting CVBA/SCRL, în perioada 29 Noiembrie 2010 – 8 Iunie 2011. Raportul de evaluare cuprinde o viziune de ansamblu asupra programului IEE, designul evaluării în cadrul căruia sunt reliefate scopul, obiectivele evaluării, instrumentele și tehnicile utilizate, răspunsurile la întrebările de evaluare, concluziile generale ale raportului de evaluare, o serie de recomandări formulate în baza concluziilor raportului de evaluare și anexele care cuprind lista documentelor colectate, eșantioanele proiectelor selectate, lista interviurilor și studiile de caz realizate.

I. Rolul procesului de evaluare

Asemenea evaluării intermediare, raportul de evaluare finală este în concordanță cu prevederile Comisiei Europene cu privire la Programul Cadru pentru Competitivitate și Inovare, unde este specificat faptul că evaluarea finală trebuie să fie realizată astfel încât rezultatele să fie luate în considerare în momentul evaluării finale a întregului program, planificată pentru 31 Decembrie 2011. Articolul 8 prevede faptul că evaluarea finală trebuie să adopte metodologiile protrivite pentru măsurarea impactului Programului cadru și a programelor specifice, în ceea ce provește obiectivele (comptetitivitate, inovare, antreprenoriat, creșterea productivității, angajabilitate și protecția mediului).

Decizia Comisiei Europene stipulează și criteriile de evaluare pe care trebuie să le aibă în vedere evaluarea finală – relevanță, coerență și sinergie, eficacitate, eficiență, sustenabilitate, utilitate și, unde este cazul, distribuirea fondurilor în relație cu sectoarele specifice programului. Evaluarea finală trebuie, de asemenea, să examineze măsura în care Programul Cadru, ca întreg și fiecare program specific în parte, își atinge obiectivele.

Raportul de evaluare finală respectă toate cerințele Comisiei Europene, concentrându-se asupra confirmării criteriilor de evaluare, formulării concluziilor în baza aplicării metodelor de evaluare alese de echipa de lucru, analizei rezultatelor programului și a impactului acestuia și formulării de recomandări realiste, imparțiale și relevante pentru ajustarea implementării IEE II și a pregătirii unui succesor pentru următorul exercițiu bugetar 2014 – 2020.

Vor avea concluziile evaluatorilor implicații asupra programului?

Concluziile formulate de echipa de evaluatori vor fi utilizate ca bază pentru elaborarea raportului de evaluare finală a Programului Cadru pentru Competitivitate și Inovare, alături de analiza celorlalte programe specifice, reprezentând una dintre principalele surse care vor sta la baza analizei rezultatelor și impactului inițiativelor programului cadru pentru îndeplinirea obiectivelor propuse la nivel comunitar în acest domeniu.

De asemenea, concluziile raportului de evaluare finală vor avea o pondere importantă pentru elaborarea unui succesor al programului pentru următoarea perioadă de finanțare 2014 – 2020.

Așadar, raportul de evaluare finală a Programului Energie Inteligentă Europa II 2007 – 2013 are implicații atât pentru îmbunătățirea acțiunilor aflate în desfășurare la momentul elaborării prezentei evaluări, cât și pentru crearea unei baze informaționale care să sprijine, alături de evaluările celorlalte programe specifice, trasarea concluziilor cu privire la implementarea de ansamblu a Programului Cadru. Cel mai important element îm privința mizei prezentului raport de evaluare este faptul că participă considerabil la decizia privind constituirea unui succesor pentru următorul exercițiu bugetar 2014 – 2020.

Este definit procesul de evaluare în raport?

Procesul de evaluare este structurat pentru a oferi legitimitate unui eventual succesor și pentru a analiza implementarea până la momentul elaborării raportului de evaluare a Programului Energie Inteligentă Europa II, în scopul de a aduce îmbunătățiri anilor de implementare rămași și pentru a participa la conturarea unei viziuni de ansamblu asupra întregrului Program Cadru pentru Competitivitate și Inovare la nivel comunitar. Evaluarea face parte dintr-un acord – cadru al Comisiei Europene cu Firma de consultanță și audit Deloitte, semnat pentru prestarea de servicii de evaluare ce implică elaborarea mai multor rapoarte, printre care și documentul analizat.

Evaluarea finală a Programului Energie Inteligentă Europa II este „dezvoltată prin tehnici potrivite pentru măsurarea impactului acțiunilor sprijinite prin obiectivele programului, luând în considerare și rapoartele de evaluare anterioare”.

Evaluarea finală este bazată pe teorie și vizează mai mult decât impactul programului, dată fiind multitudinea întrebărilor de evaluare și a metodelor de cercetare utilizate. Datorită complexității problemei impactului programului analizat, se poate considera că impactul reprezintă unul dintre criteriile importante ale prezentei evaluări, care, alături de celelalte, poate oferi o imagine cât mai fidelă a implementării Programului Energie Inteligentă Europa II.

Capacitatea evaluatorilor:

Compania de consultanță Deloitte a condus atât evaluarea intermediară a Programului Energie Inteligentă Europa II, având totodată și un acord semnat cu DG Energie a Comisiei Europene pentru prestarea de servicii de evaluare pentru acest program, însemnând: un Raport de Început, un Raport de Progres, un raport intermediar al Primelor Rezultate și Recomandări și un Raport Final al programului.

Așadar, echipa Deloitte deține atât expertiza, cât și experiența anterioară necesare pentru familiarizarea cu preceptele programului din domeniul energetic lansat la nivel comunitar.

Îndeplinesc evaluatorii cerințele etice pentru a realiza analiza propusă?

Raportul de evaluare ex-post a programului analizat este semnat nominal de către patru evaluatori ai Deloitte Consulting CVBA/SCRL, însemnând Luc Chalsège, Benoît Vandresse, Jean-Jacques Lennon și Lydia Da Silva Gaspar, spre deosebire de raportul intermediar, care este emis în numele firmei de consultanță.

Având în vedere cerințele Comisiei referitoare la independența evaluatorilor care să analizeze Programul pentru Energie Inteligentă Europa II, se poate face un comentariu referitor la faptul că două din trei evaluări ale aceluiași program sunt conduse de aceeași companie. Dintr-un anumit punct de vedere faptul este justificabil prin argumentul expertizei deținute în domeniu și din perspectiva experienței anterioare deținute cu acest program. Rapoartele anterioare reprezintă o bază reală de informații pentru elaborarea prezentului raport, fapt ce poate afecta calitatea prezentei evaluări.

Consistența procesului de evaluare:

Standardele Comisiei Europene privind evaluarea Programului Energie Inteligentă Europa II sunt enunțate în Decizia nr. 1639/2006, privind implementarea Programului Cadru pentru Competitivitate și Inovare. Așa cum a fost menționat și pentru raportul de evaluare intermediară, acestea trebuie să adopte cele mai potrivite metodologii pentru măsurarea impactului programului în ceea ce privește competitivitatea, inovarea, antreprenoriatul, creșterea productivității, angajabilității și a calității mediului. De asemenea, raportul de evaluare finală trebuie să fie realizat în baza unor criterii potrivite, a unor indicatori calitativi și cantitativi selectați pentru analizarea eficacității în livrarea rezultelor care contribuie la atingerea obiectivelor programului.

Raportul de evaluare respectă cerințele emise de legislația comunitară, alegând atât o serie de criterii și indicatori care să pună în valoare o redare cât mai transparentă a implementării Programului Energie Inteligentă Europa II până în anul 2011, astfel încât să participe la luarea deciziei în privința unui succesor pentru perioada 2014 – 2020.

B. Este stabilit scopul evaluării?

Evaluarea finală a Programului Energie Inteligentă Europa II își propune să analizeze implementarea programului având în vedere criteriile de evaluare stabilite de echipa de evaluatori. Obiectivele specifice ale evaluării finale a programului avut în vedere sunt: confirmarea criteriilor și metodologiilor utilizate pentru evaluare, formularea concluziilor prin intermediul analizei aplicate prin metodele utilizate, estimarea rezultelor pe termen lung ale IEE II, inclusiv a rezultatelor și impactului acțiunilor finanțate și co-finanțate pentru care există informații disponibile și oferirea de recomandări realiste și imparțiale pentru ajustarea implementării programului în ultimii ani ai perioadei 2007 – 2013 și în următoarea perioadă 2014 – 2020.

Așadar, scopul evaluării este de a acorda legitimitate unui eventual succesor al programului și de a analiza, în vederea îmbunătățirii, implementarea până în 2011 a Programului Energie Inteligentă Europa II 2007 – 2013.

Sunt sursele de informare suficiente pentru a răspunde cerințelor evaluării?

Evaluatorii au avut în vedere surse diverse de informare, enunțate în Anexa 1 a Raportului final de evaluare a Programului Energie Inteligentă Europa II. Printre acestea se numără documentație legislativă la nivel comunitar – decizii, comunicate, rapoarte de evaluare – ex-ante, intermediar, cost-beneficiu, rapoarte ale Programului Cadru pentru Competitivitate și Inovare, procese verbale ale ședințelor Comitetului Executiv al IEE, rapoarte anuale de implementare a programului IEE, rapoarte privind țările terțe participante la program și documentele de programare ale IEE II 2007 – 2013.

Sursele de informare sunt diversificate, evaluatorii dispunând la momentul elaborării raportului de mai multe documente referitoare la implementarea programului, spre deosebire de echipele responsabile cu evaluările precedente.

Aceste informații ar putea fi probate, în vederea unei duble verificări a atingerii obiectivelor propuse la nivel de program, cu informații preluate din bazele de date Eurostat, pentru a vedea dacă rezultatele programului sunt vizibile și în statisticile europene.

Calitatea raportului de evaluare:

Sunt metodele de cercetare suficiente pentru a îndeplini scopul evaluării?

O parte dintre indicatorii cadrului analitic au fost identificați prin metoda analizei de birou a documentelor enumerate în Anexa 1 a raportului de evaluare. În afara rapoartelor anterioare de evaluare anterioare obținute de la Comisia Europeană și de informații colectate de pe site-urile web ale DG Energie și IEE, evaluatorii au colectat documente direct de la coordonatorii de proiecte pentru studiile de caz desfășurate.

A doua metodă utilizată de echipa de evaluatori este reprezentată de interviurile face-to-face cu reprezentanții Comisiei Europene și ONG-urilor din domeniul energiei. Informațiile colectate au fost utilizate pentru a completa datele provenite din analiza documentelor, pentru a colecta informații calitative pentru indicatorii definiți în cadrul analitic și pentru a explora potențiale îmbunătățiri pentru relevanța, eficiența, eficacitatea, impactul, utilitatea, sustenabilitata, coerența și sinergiile cu inițiative asemănătoare a programului IEE II.

De asemenea, au fost aplicate chestionare on-line pentru a colecta opinii provenite de la Punctele Naționale de Contact (rată de răspuns 50%), membrii ai Comitetului Executiv IEE (63%), Coordonatori de proiect și parteneri IEE (75%), Coordonatorii de Proiect ELENA (100%).

Au fost selectate șase proiecte (din toate ariile de activitate IEE II – ALTENER, SAVE, STEER, inițiative integrate) pentru elaborarea studiilor de caz, pentru a analiza în profunzime rezultatele și impactul înregistrat până la momentul respectiv, pentru a obține răspunsuri întrebărilor referitoare la modul și motivele referitoare la îndeplinirea sau neîndeplinirea obiectivelor și pentru a ajuta evaluatorii să răspundă întrebărilor de evaluare formulate.

Pentru a dispune de informații calitative necesare anumitor întrebări de evaluare și pentru colectarea datelor necesare elaborării studiilor de caz, a fost realizată muncă de teren în următoarele opt state membre: Belgia, Bulgaria, Germania, Franța, Ungaria, Polonia, Spania și Suedia, în perioada 21 Februarie – 18 Martie. În acest timp, echipa de evaluatori a luat contact cu partenerii și coordonatorii proiectelor, cu Agențiile Naționale pentru Energie, cu Agențiile SAVE și/sau IEE, cu Punctele Naționale de Contact, cu alte organizații naționale reprezentative și cu mediul academic, intervievând în total 77 de persoane.

Ultima metodă de cercetare utilizată este focus grupul cu membrii Comitetului de Management IEE, realizat în data de 7 Aprilie 2011, în scopul testării primelor concluzii și asumpții. De-a lungul întrevederii, au fost prezentate rezultatele preliminarii și s-a solicitat feedback oral sau scris din partea invitaților.

Metodele de cercetare utilizate de evaluatori pentru a derula analiza programului avut în vedere sunt diversificate și se echilibrează reciproc pentru a răspunde întrebărilor de evaluare. Au fost utilizate numeroase metode calitative pentru obținerea informațiilor necesare formulării unor răspunsuri pentru întrebările de evaluare, precum interviul, focus grupul, activitatea de teren, elaborarea studiilor de caz. Însă, asemenea raportului de evaluare intermediară, se au în vedere doar anumite state membre pentru activitatea de teren, ceea ce limitează transparența rezultatelor programelor la nivel comunitar. Au fost alese opt state membre în care sunt implementate proiecte finanțate prin IEE II, care să acopere întregul spectru de activitate al programului, fără a se avea în vedere parcursul celorlalte state în ceea ce privește implementarea și rezultatele obținute.

B. Sunt enunțate și definite criteriile de evaluare?

Criteriile de evaluare sunt: relevanța, eficacitatea, eficiența, coerența, sustenabilitatea, utilitatea și impactul Programului. Unul dintre obiectivele specifice ale evaluării finale este de a confirma criteriile de evaluare în baza cărora este analizat programul:

Relevanța obiectivelor programului pentru a asigura energie sigură și sustenabilă Europei, într-un mediu competitiv;

Coerența și sinergiile cu alte inițiative similare sau comparabile la nivel european;

Eficacitatea programului în ceea ce privește claritatea, inteligibilitatea și adecvarea cadrului legal, instrumentelor politice și a modalităților de implementare, a activităților de diseminare a rezultatelor programului și a comunicării la un nivel superior a atingerii obiectivelor IEE;

Eficiența programului în ceea ce privește valabilitatea resurselor, cost-eficienței și a programării procesului de selecție, atragerea beneficiarilor performanți financiar și productiv;

Sustenabilitatea rezultatelor programului și efecte de durată;

Utilitatea programului pentru stakeholderii naționali și valorare adăugată;

Impactul programului pentru dezvoltarea politicii în domeniul energetic la nivelul UE, la nivelul politicilor regionale și programelor naționale.

Întrebările de evaluare formulate pentru fiecare criteriu de evaluare sunt prezentate în tabelul de mai jos:

Este raportul de evaluare suficient de bine structurat și de clar din punct de vedere al conținutului?

Raportul de evaluare finală a Programului Energie Inteligentă Europa II este structurat asemănător celui de evaluare intermediară, fiind compus din șase capitole generale și anexe. Prima parte a conținutului creează un cadru general al Programului, în ceea ce privește contextul, scopul, obiectivele, bugetul, interacțiunea cu alte inițiative din domeniu și concluziile și implicațiile evaluării intermediare.

Ulterior, este prezentat designul evaluării – scopul, obiectivele, instrumentele și metodele de cercetare utilizate, rezultatele evaluării pentru fiecare criteriu de evaluare avut în vedere, un capitol dedicat concluziilor generale și unul rezervat recomandărilor făcute de echipa de evaluatori. Anexele cuprind lista documentelor studiate, eșantionul proiectelor analizate, lista persoanelor intervievate și a studiilor de caz.

Trebuie menționat faptul că raportul nu face public în anexe draftul interviurilor sau formatul studiilor de caz. Acest fapt afectează transparența procesului de evaluare și înțelegerea aprofundată a metodologiei utilizate.

Sunt recomandările evaluatorilor aplicabile?

În urma informațiilor obținute cu ajutorul metodelor de cercetare alese de echipa de evaluatori, s-a conturat o serie de concluzii, în baza cărora au putut fi formulate recomandări pentru anii de implementare rămași. Astfel, la nivel de program, evaluatorii recomandă o comunicare consolidată la toate nivelurile, pentru a asigura vizibilitate și consistență în acțiunile desfășurate. De asemenea, se recomandă existența unei evidențe unitare a grupurilor țintă și o definire clară a acestora pentru diferitele componente ale programului, pentru o înțelegere îmbunătățită a acestui aspect.

Se recomandă, în privința Punctelor Naționale de Contact, organizarea unor sesiuni de formare pentru a oferi un suport mai bun la rândul lor beneficiarilor IEE II. Prioritizarea acțiunilor desfășurate în ultimii doi ani de implementare 2012 și 2013, luarea în considerare a specificităților fiecărei țări membre în ceea ce privește criteriile de selecție, modalitățile de promovare și diseminare a rezultatelor, continuarea monitorizării atente a potențialelor suprapuneri dintre IEE II și alte programe din domeniul energetic (SF/CF INTERREG IVC și LIFE+) și continuarea sinergiilor reprezintă direcțiile de recomandare a evaluatorilor la nivelul programului în curs de desfășurare IEE II.

În privința potențialității unui succesor al IEE II în următorul exercițiu bugetar, evaluatorii fac următoarele sugestii: durata programului ar trebui să se întindă pe o perioadă cuprinsă între trei și șapte ani și să se desfășoare începând cu o prioritizare superioară și o programare îmbunătățită. De asemenea, se recomandă o regrupare a acivităților programului în jurul a cinci tipuri principale – creșterea conștientizării, construirea capacităților și a abilităților, pregărirea pentru noi investiții, facilitarea implementării politicilor, crearea condițiilor favorabile de piață. Evaluatorii sugerează crearea posibilității de extindere a proiectelor de succes sau de aplicare pentru finanțare continuată a acestora, printr-o procedură transparentă. Totodată, se consideră că este necesară în viitor o urmărire mai atentă a rezultatelor și impactului programului, pentru a asigura sustenabilitatea. Este susținută și creșterea contribuției programului viitor la eliminarea barierelor în implementarea pe termen lung a sinergiilor IEE II, pentru a înregistra rezultate cât mai valoroase pentru scopurile și obiectivele programului.

Așadar, evaluatorii aduc sugestii pentru îmbunătățirea implementării programului Energie Inteligentă Europa II în ultimii doi ani de implementare, considerând totodată și posibilitatea continuării acestuia în aceeași structură și în următoarea perioadă de programare. Recomandările sunt legate de aspecte care să vină în sprijinul contractării mai facile și mai extinse a proiectelor finanțate prin programul IEE II, dar și în sprijinul unei vizibilități mai accentuate a rezultatelor și impactului programului.

Aprecierea globală a raportului de evaluare:

În ce măsură a fost îndeplinit scopul evaluării?

Scopul evaluării este de a analiza implementarea programului IEE II în perioada 2007 – 2011 în ceea ce privește relevanța, eficiența, eficacitatea, impactul, coerența, sustenabilitatea și utilitatea acestuia, pentru a identifica posibilitățile de îmbunătățire pentru ultimii doi ani de implementare și pentru a legitima ipoteza continuării programului în următoarea perioadă de programare 2014 – 2020.

Concluziile evaluatorilor sunt în mare parte pozitive la adresa implementării până în anul 2011 a programului IEE II, afirmând că în ceea ce privește cadrul legal, programul este clar și inteligibil, obiectivele sunt bine formulate, acoperind o varietate mare de nevoi, luându-se totodată în considerare dificultatea estimării eficienței din pricina greutății întâmpinate în demersul de cuantificare și evaluare a impactului acțiunilor de mediu. În privința utilității și sustenabilității programului, se poate afirma că acțiunile programului contribuie la îndeplinirea obiectivelor strategice ale UE în domeniul energiei și că impactul acțiunilor desfășurate prin program este de lungă durată.

Utilizând metode de cercetare calitative și cantitative, evaluatorii au reușit să îndeplinească scopul demersului lor, reliefând atât aspectele ce pot fi îmbunătățite în următorii ani de implementare, cât și aducând o serie de recomandări care să fie luate în vedere în implementarea succesorului programului IEE II. Este recomandată chiar acordarea unui buget crescut pentru următorul program, date fiind plafoanele din domeniul energetic pe care statele membre trebuie să le atingă până în 2020.

În ce măsură poate fi îmbunătățit raportul de evaluare?

Raportul de evaluare ex-post a Programului Energie Inteligentă Europa II utilizează multe metode de cercetare și formulează clar întrebările de evaluare în baza criteriilor alese. Deși paleta metodelor de cercetare este variată, transparența acestora poate fi îmbunătățită prin publicarea schemelor propriu-zise de aplicare a interviurilor, a focus-grupului și a strategiei dezvoltate în activitatea de teren. Chiar dacă sunt oferite datele de contact ale persoanelor intervievate și întrebările chestionarelor on-line sunt publicate și explicate grafic în raportul de evaluare, un punct slab este reprezentat de absența anexelor explicative pentru metoda interviului, a studiului de caz și a focus grupului.

Pe de altă parte, în privința studiilor de caz și a activității de teren a evaluatorilor, trebuie făcută observația conform căreia evaluarea nu ar trebui să se limiteze la alegerea a doar opt state membre în care proiecte IEE II din toate direcțiile de aplicare ale programului. Pentru a oferi o imagine cât mai fidelă a stadiului implementării și a rezultatelor obținute până la acel moment, ar fi fost recomandabil ca studiile de caz să vizeze toate statele membre care au atras finanțare prin IEE II. Acest lucru ar putea fi realizat fie prin înlocuirea vizitelor la fața locului cu videoconferințe cu persoane – cheie din aceleași instuții vizate și utilizând aceleași întrebări de evaluare și aceiași indicatori, pentru eficientizarea consumului de resurse financiare care ar fi fost necesare realizării studiilor de caz în fiecare stat membru.

Recomandările privind potențialitatea unui succesor al programului în următoarea perioadă de programare ar putea fi completate cu o analiză cost-eficacitate, inspirată din cele mai bune practici înregistrate în perioada analizată 2007 – 2011. Astfel, impactul și sustenabilitatea rezultatelor înregistrate până la acel moment ar fi mai vizibile și ar avea o pondere mai pronunțată pentru continuarea cu un nou program pentru energie inteligentă, dar și pentru atingerea plafoanelor din domeniul energiei până în 2020 la nivel comunitar.

Evaluarea Programului Energie Inteligentă Europa II 2007–2013 – Model propus

Cadru general

Programul Energie Inteligentă Europa II, ca succesor al IEE (2003-2006), a moștenit structura și obiectivele acestui program, fapt ce a creat atât avantajul menținerii coerenței programării, a similitudinii măsurilor în sensul de a obișnui beneficiarii cu procedurile de aplicare și implementare a proiectelor finanțate IEE II, dar și o serie de dezavantaje pentru îndeplinirea obiectivelor la nivel de program și la nivel comunitar în domeniul energiei și protecției mediului.

Obiectivele și scopul IEE II, definite în decizia Programului Cadru pentru Competitivitate și Inovare, sunt de a sprijini depășire barierelor non-tehnologice (informaționale, comportamentale, instituționale și financiare) ale inovării, implementării și diseminării soluțiilor care contribuie la o energie sustenabilă, sigură și la un preț competitiv în Europa. Aceste obiective rămân relevante până în 2020, fiind valabile inclusiv pentru un succesor al IEE II.

Programul IEE II a oferit un real ajutor tuturor organizațiilor care au susținut îmbunătățirea sustenabilității energetice. Începând din 2003, sub forma IEE 2003-2006, programul a luat parte la inițiativa Comisiei Europene de a crea un viitor inteligent din punct de vedere energetic pentru populația europeană, sprijinind politicile de eficiență și sustenabilitate energetică în scopul atingerii target-urilor 20/20/20 – scăderea emisiilor de gaze cu efect de seră cu 20%, îmbunătățirea eficienței energetice cu 20% și utilizarea resurselor energetice regenerabile în UE cu 20% mai mult.

Programul a participat considerabil la atingerea acestor obiective, finanțând cu un buget de 730 milioane de Euro atât proiecte demarate de Statele Membre, cât și din Norvegia, Islanda, Liechtenstein, Croația și Macedonia. Până în anul 2012, IEE II a finanțat peste 370 de proiecte cu o valoare estimată la 400 milioane de euro.

Cele mai multe fonduri au fost alocate Eficienței Energetice în clădiri, produse și industrie, surselor de energie regenerabilă și abordărilor integrate ale primelor două direcții de finanțate. Nu este de neglijat nici investiția pentru eficiența energetică în domeniul transporturilor, care a accesat aproximativ 16% din fondurile IEE II 2007 – 2013. Cele mai multe proiecte au avut ca beneficiari organizații non-guvernamentale și organisme publice. În proporție de 22% au fost accesate fonduri IEE II de alte tipuri de organizații private.

În privința rezultatelor efective ale proiectelor finanțate prin IEE II, datele arată că în anul 2012 proiectele care au avut impact pe termen scurt finanțate cu 33 milioane de euro din fondul IEE II, au condus la salvarea a 130 000 de tone/an de combustibil fosil, 500 000 de tone de CO2 și au generat 490 milioane de euro în investiții.

Bioenergia asigură peste două treimi din sursele de energie regenerabilă din Uniunea Europeană și se așteaptă să atingă mai mult de jumătate până în 2020, ceea ce ar acoperi 11% din totalul consumului de energie la nivel european. Peste 40 de proiecte în acest sector au fost finanțate prin IEE II, pentru asigurarea furnizării biomasei solide, biocombustibililor lichizi și biogazului.

În privința electricității regenerabile, IEE II a finanțat o serie de 20 de proiecte cu beneficiari ONG-uri, care s-au concentrat asupra dezvoltării de resurse strategice și asupra schemelor de formare și conștientizare asupra problemei. Peste 40 de proiecte IEE II au sprijinit transportul eficient energetic, care au condus la o economisire considerabilă de energie și au implicat peste 1 milion de cetățeni în campaniile organizate.

Așadar, rezultatele efective obținute de Programul Energie Inteligentă Europa II sunt promițătoare pentru atingerea țintelor propuse în strategia 20/20/20, alături de celelalte programe specifice ale Programului pentru Competitivitate și Inovare. Evoluția IEE II a fost performantă, iar rapoartele de evaluare elaborate de Ecorys și Deloitte au avut un profund rol formativ în implementarea programului până în 2013.

Îmbunătățirea proceselor de evaluare poate crește performanța programului, prin măsurile și recomandările formulate de echipa de evaluatori, dar și prin acuratețea informațiilor generate de datele disponibile, care au rolul de a reda cât mai fidel realitățile efective ale implementării proiectului (aplicarea, implementarea, diseminarea, sustenabilitatea rezultatelor, accesul diferitelor tipuri de beneficiari, utilizarea cost-eficientă a resurselor, etc.).

Pornind de la cadrul logic al Programului Energie Inteligentă Europa II și de la recomandările aduse în secțiunile anterioare celor trei rapoarte de evaluare, se încearcă propunerea unui nou model de evaluare, în scopul îmbunătățirii performanței IEE II.

Primul tabel pune în evidență observațiile aduse celor trei rapoarte de evaluare și recomandările care se face în vederea îmbunătățirii calității acestora și, implicit, a rezultatelor IEE II.

Design-ul propunerii de evaluare a Programului IEE II 2007 – 2013:

Pentru susținerea acestui model de evaluare, este necesară lărgirea paletei de metode de cercetare utilizate de cele trei echipe diferite de evaluatori și, implicit suplimentarea bugetului alocat secțiunii de evaluare a programului. Modelul de evaluare propus pentru analiza Programului Energie Inteligentă pentru Europa în toate cele trei cicluri – ex-ante, interim și ex-post, implică o abordare focalizată pe cercetare și obținere de date care să suplimenteze deficitul informațional pentru primul stadiu ex-ante, și o abordare participativă pentru evaluările intermediară și ex-post, în scopul redării cât mai apropiate de realitate a stadiului implementării programului și a îndeplinirii obiectivelor specifice în toate statele implicate.

Pentru a susține metodele de cercetare propuse pentru toate cele trei tipuri de evaluare, va fi necesară suplimentarea resurselor financiare și umane implicate în procesul de evaluare și, totodată, implicarea reprezentanților organismelor – cheie relaționate Programului Energie Inteligentă Europa II în procesul de evaluare.

Deoarece există disparități între statele europene în ceea ce privește utilizarea surselor energetice regenerabile, consumul energetic, nivelul dependenței energetice, ș.a., metodele de cercetare calitative pot fi aplicate în mod special în statele unde aceste valori sunt mai jos de media înregistrată la nivel european. De pildă, în state precum Norvegia sau Elveția, unde producerea electricității prin surse regenerabile este mult mai pronunțată decât în restul Europei, nu este necesară aplicarea tuturor metodelor de cercetare calitativă; designul propus al evaluării are scopul de a identifica, în principal, cauzele care stau la baza scorurilor modeste din domeniul energetic al statelor participante la acțiunea IEE II.

Așadar, prin distribuirea metodelor de cercetare utilizate în evaluările intermediare și ex-post, echipele de evaluatori își pot doza eforturile în funcție de performanța statelor implicate în Program în atingerea obiectivelor. Astfel, se vor aduce îmbunătățiri semnificative atât în design-ul programului, referitor la evaluarea intermediară, cât și în legitimarea sau fundamentarea unui succesor al IEE II, referitor la evaluarea ex-post, cu un consum ponderat de resurse umane și financiare.

Pentru a vizualiza modelul propus de evaluare a Programului IEE II 2007 – 2013 în ansamblul implicațiilor, avantajelor sau dezavantajelor pe care le aduce, în raport cu variantele deja existente, s-a elaborat analiza SWOT a propunerii expuse în tabelul anterior:

CONCLUZII

La nivel european, eficiența energetică reprezintă un efort comun asociat angajamentului tuturor statelor implicate de a aduce standardele de mediu și piața energetică sustenabila pentru viitor. Evalaluarea programelor de mediu și eficiență energetică reprezintă un demers extrem de util la nivel comunitar, în sensul de a măsura rezultatele eforturilor depuse și de a legitima continuarea strategiei începute, pentru a asigura îndeplinirea obiectivelor comune propuse în domeniul energiei și protecției mediului.

Din perspectivă proprie, prezenta lucrare și-a îndeplinit obiectivele asumate, în sensul de a contura o viziune asupra importanței politicilor și inițiativelor din domeniul energiei la nivel european, de a realiza o meta-evaluare a instrumentului „Energie Inteligentă – Europa II” și de a propune un model de evaluare în trei cicluri, în scopul îmbunătățirii programului și atingerii obiectivelor propuse.

Încercarea de a contura o meta-evaluare a unui program din domeniul energetic a reprezentat o reală provocare, atât datorită specificului inițiativei analizate, cât și datorită complexității rapoartelor de evaluare. Printre limitările prezentei lucrări se pot menționa următoarele: insuficiența documentației, indisponibilitatea informațiilor suficiente referitoare la stadiul anual al „Energie Inteligentă – Europa II” sau a rapoartelor naționale de implementare a programului și bibliografia sumară disponibilă în domeniul meta-evaluării.

Ca viziune de ansamblu, lucrarea de față a reprezentat un exercițiu eficient de analiză a implementării unui program european complex, de înțelegere a importanței metodelor de cercetare alese sau a calității unui raport de evaluare și, totodată, o viziune îmbunătățită a importanței procesului de evaluare în evoluția politicilor și programelor europene.

Anexa 1 – Grila metodologică a meta-evaluării (criterii și întrebări de evaluare):

Anexa 2 – Cadrul logic al Programului Energie Inteligentă Europa II

BIBLIOGRAFIE:

Cărți și articole de specialitate:

***, Indicative guidelines on evaluation methods: ex-ante evaluation. The New Programming Period 2007 – 2013, European Commission, DG Regional Policy, Thematic development, Impact, evaluation and innovative actions, Evaluation and additionality, 2006

Daly, Herman E., Operationalizing Sustainable Development by investing in natural capital” – Investing in Natural Capital: The ecological economics approach to sustainability, Washington, D.C. Island Press, 1994

Harris, M., Basic Principles of Sustainable Development, Global Development and Environment Institute, Working Paper 00-04, Tufts University, USA, June, 2000

Knaap, Gerrit J., Tschangho, J.K., Environmental Program Evaluation. A Primer, University of Illinois, 1998

Owen, John M., Evaluation forms. Toward an Inclusive Framework for Evaluation Practice, Evaluation Roots. A Wider Perspective of Theorists’ Views and Influences Second Edition, Sage Publications, Inc., 2013

Patton, Michael Q., Utilization-focused evaluation, ediția a doua, Newbury Park, CA, SAGE Publications, 1986, citat de Jenny Hughes în Project Manager's Guide ot Evaluation

Șandor, Sorin Dan, Analiză și cercetare în administrația public, Ed. Accent, Cluj-Napoca, 2005

Toman, Michael, The difficulty in defining sustainability – Professor Wallace Oates, „The RFF Reader in Environmental and Resource Policy”, Second Edition

Documente legislative:

***, Communication from the Commission to the European Parliament, the Council, the Economic and Social Committee and the Committee of the Regions – Towards a global partnership for sustainable development.

Directiva 2001/77/CE: Promovarea Electricității din surse energetice regenerabile pe piața internă de energie

Directiva 2003/30/CE: Promovarea utilizării biocombustibililor sau a altor surse regenerabile pentru transport

Official Journal of the European Union, Decision No 1639/2006/EC of the European Parliament and of the Council of 24 October 2006 establishing a Competitiveness and Innovation Framework Programme (2007 to 2013)

Rapoarte de evaluare:

***, Interim Evaluation of the Intelligent Energy – Europe II Programme within the Competitiveness and Innovation Framework Programme, European Commission, Directorate General Energy and Transport, 2009

***, Ex ante evaluation of a renewed multiannual Community programme in the field of energy (2007 – 2013), final report, ECOTEC Research and Consulting Ltd ECORYS Nederland BV, 2004

***, Global Work Programme for the years 2003 – 2006, Intelligent Energy – Europe, 2003

***, Interim Evaluation of the Intelligent Energy – Europe II Programme within the Competitiveness and Innovation Framework Programme, European Commission, Directorate General Energy and Transport, 2009

***, European Commission, „Intelligent Energy – Europe II Performance Report 2007 – 2012”, 2013

***, European Commission, Directorate-General Energy, Final Evaluation of the Intelligent Energy – Europe II Programme within the Competitiveness and Innovation Framework Programme, Final Report, Deloitte, 2011

BIBLIOGRAFIE:

Cărți și articole de specialitate:

***, Indicative guidelines on evaluation methods: ex-ante evaluation. The New Programming Period 2007 – 2013, European Commission, DG Regional Policy, Thematic development, Impact, evaluation and innovative actions, Evaluation and additionality, 2006

Daly, Herman E., Operationalizing Sustainable Development by investing in natural capital” – Investing in Natural Capital: The ecological economics approach to sustainability, Washington, D.C. Island Press, 1994

Harris, M., Basic Principles of Sustainable Development, Global Development and Environment Institute, Working Paper 00-04, Tufts University, USA, June, 2000

Knaap, Gerrit J., Tschangho, J.K., Environmental Program Evaluation. A Primer, University of Illinois, 1998

Owen, John M., Evaluation forms. Toward an Inclusive Framework for Evaluation Practice, Evaluation Roots. A Wider Perspective of Theorists’ Views and Influences Second Edition, Sage Publications, Inc., 2013

Patton, Michael Q., Utilization-focused evaluation, ediția a doua, Newbury Park, CA, SAGE Publications, 1986, citat de Jenny Hughes în Project Manager's Guide ot Evaluation

Șandor, Sorin Dan, Analiză și cercetare în administrația public, Ed. Accent, Cluj-Napoca, 2005

Toman, Michael, The difficulty in defining sustainability – Professor Wallace Oates, „The RFF Reader in Environmental and Resource Policy”, Second Edition

Documente legislative:

***, Communication from the Commission to the European Parliament, the Council, the Economic and Social Committee and the Committee of the Regions – Towards a global partnership for sustainable development.

Directiva 2001/77/CE: Promovarea Electricității din surse energetice regenerabile pe piața internă de energie

Directiva 2003/30/CE: Promovarea utilizării biocombustibililor sau a altor surse regenerabile pentru transport

Official Journal of the European Union, Decision No 1639/2006/EC of the European Parliament and of the Council of 24 October 2006 establishing a Competitiveness and Innovation Framework Programme (2007 to 2013)

Rapoarte de evaluare:

***, Interim Evaluation of the Intelligent Energy – Europe II Programme within the Competitiveness and Innovation Framework Programme, European Commission, Directorate General Energy and Transport, 2009

***, Ex ante evaluation of a renewed multiannual Community programme in the field of energy (2007 – 2013), final report, ECOTEC Research and Consulting Ltd ECORYS Nederland BV, 2004

***, Global Work Programme for the years 2003 – 2006, Intelligent Energy – Europe, 2003

***, Interim Evaluation of the Intelligent Energy – Europe II Programme within the Competitiveness and Innovation Framework Programme, European Commission, Directorate General Energy and Transport, 2009

***, European Commission, „Intelligent Energy – Europe II Performance Report 2007 – 2012”, 2013

***, European Commission, Directorate-General Energy, Final Evaluation of the Intelligent Energy – Europe II Programme within the Competitiveness and Innovation Framework Programme, Final Report, Deloitte, 2011

Anexa 1 – Grila metodologică a meta-evaluării (criterii și întrebări de evaluare):

Anexa 2 – Cadrul logic al Programului Energie Inteligentă Europa II