101Extending the Independent Evaluation Practice [616808]

101Extending the Independent Evaluation Practice
in Romania: From European Union Funded
Programs to National Public Policies
AbstractBy using evaluations for the socio-economic
and development programs, the European Union (EU) played a decisive role for the introduction of evaluation as a management tool in Romania, as well as in the other Member States. A proper management of the implementation of the EU programs has been a constant concern of the Romanian administration. Since its accession to the EU on January 1, 2007, Romania became responsible for administrating the evaluation of EU funded programs, under the Extended Decentralization Implementation System (EDIS).
The paper is trying to examine how the
experience gained throughout the independent evaluations of the pre-accession funds generated knowledge for learning and could further contribute to the development of the public policies evaluation practice in Romania.
The hypothesis is that experience generated
by independent evaluation use of pre-accession EU funds will contribute to further expansion of the evaluation practice to the national public policies.
The methodology employed in this paper relies
on empirical research of all relevant documents related to the both interim evaluations: Phare and Structural Instruments. The opinion of the key stakeholders on the evaluation practice was also considered, by applying a speci fic questionnaire
regarding the evaluation use, combined with interviews of the key stakeholders.
Key words: evaluation, evaluation practice,
public policy, pre-accession, post-accessionEXTINDEREA PRACTICII
EVALUĂRII ÎN ROMÂNIA: DE LA PROGRAMELE FINANȚATE DE UNIUNEA EUROPEANĂ LA POLITICILE PUBLICE
*
Marian NICA
Marian NICA
Doctorand: [anonimizat], Academia de Studii Economice din Bucure ști,
București, RomâniaTel.: 0040-213-354.653Email: [anonimizat]
* Acest articol a fost elaborat ca parte a proiectului
POSDRU/88/1.5./S/55287 „Doctorat în economie
la standardele Europei cunoa șterii (DOESEC)”,
proiect cofinan țat din Fondul Social European
prin Programul Operaț ional Sectorial Dezvolta-
rea Resurselor Umane 2007-2013 ș i coordonat de
Academia de Studii Economice din Bucure ști în
parteneriat cu Universitatea de Vest din Timi șoara.
Articolul a fost prezentat în cadrul celei de-a 19-a
Conferințe anuale interna ționale „Administrația
publică a viitorului”, organizat ă de către Re țeaua
Institutelor și Școlilor de Administrație Publică
din Centrul și Estul Europei (NISPAcee), la Varna,
Bulgaria, în perioada 19-22 mai 2011.
Revista Transilvan ă
de Științe Administrative
2(29)/2011, pp. 101-117

1021. Introducere
Dezvoltarea practicii evalu ării reprezint ă o preocupare crescut ă în rândul cerce-
tătorilor din Europa, dar și din România. Evaluarea necesit ă mobilizarea unor resurse
semnificative; cu toate acestea, beneficiile unei evalu ări adecvate a programelor și
politicilor publice pot avea o contribuție importantă în cadrul procesului de dezvoltare
socio-economic ă a unei țări. Practica evalu ării în România a fost introdusă de către
donorii externi. Astfel, programele finan țate de c ătre Banca Mondială, Agențiile
Națiunilor Unite, și de alte Agen ții Internaționale, precum Agen ția de Dezvoltare
Internațională a Statelor Unite (USAID) sau Departamentul pentru Dezvoltare
Internațională al Marii Britanii (DFID), au fost înso țite de evaluări.
Cel mai notabil aspect l-a reprezentat cadrul de implementare al fina țării de pre-
aderare și de post-aderare a programelor finan țate de către Uniunea European ă, care a
impus un stil particular în managementul programelor, care a inclus evaluarea ca parte
din procesul de implementare. Prin utilizarea evalu ării programelor socio-economice
și de dezvoltare, Uniunea European ă a jucat un rol decisiv în introducerea evalu ării
ca un instrument de management în Statele Membre, inclusiv în România. Procesul de pre-aderare și de post-aderare a României la Uniunea European ă a avut, și încă
are, o influență importantă în practica în care se realizeaz ă evaluarea proiectelor,
programelor și politicilor publice din România.
Această lucrare încearc ă să examineze modul în care experien ța dobândită în
cadrul evaluărilor independente a fondurilor de pre-aderare a generat cuno ștințe
pentru expertiz ă, contribuind la realizarea unor evalu ări mai eficiente a Instrumentelor
Structurale, și pot contribui, mai departe, la dezvoltarea practicii evalu ării politicilor
publice în România. În momentul de față, au fost finalizate ultimele evalu ări
intermediare ale programului Phare și Facilitatea de Tranzi ție, în timp ce se derulează
primele evaluări ale Instrumentelor Structurale.
Ipoteza formulat ă vizează dacă experiența generat ă de utilizarea evalu ărilor
independente a fondurilor de pre-aderare UE sprijin ă utilizarea exerci țiului de
evaluare a Instrumentelor Structurale, și vor contribui la extinderea în continuare a
dezvoltării practicii evaluării, către politicile publice finanțate din bugetul național.
Metodologia utilizată în această lucrare implică cercetarea empiric ă a tuturor
documentelor relevante legate de ambele evalu ări intermediare: Phare și Facilitatea de
Tranziție și Instrumentele Structurale. Astfel, au fost analizate strategiile de evaluare,
ghidurile de evaluare (Evalsed și versiunea națională a acestuia), precum și rapoartele
de evaluare emise în cadrul evalu ărilor intermediare. De asemenea, a fost solicitat ă
părerea factorilor cheie implica ți în practica evaluării, prin aplicarea unui chestionar
specific, combinat cu interviuri, prin care s-a vizat opinia privind utilizarea evalu ării.
În primul capitol articolul prezintă evoluția evaluării la nivel global și în România.
În al doilea capitol este prezentat ă evoluția asistenței de pre-aderare în România, și
acreditarea Sistemului Extins de Descentralizare a Implement ării (EDIS). În al treilea
capitol sunt prezentate rezultatele celui mai important exerci țiu de evaluare din cadrul
EDIS din România, care a cuprins 28 de evaluări intermediare. În al patrulea capitol

103sunt prezentate rezultatele unui chestionar care a analizat aspectele ce țin de evaluarea
intermediar ă. În capitolul al cincelea este prezentat cadrul de evaluare al programelor
de asistență post-aderare finan țate de către Uniunea European ă în România. Capitolul
de concluzii încearc ă să descrie atitudinea factorilor cheie implica ți în evaluare,
asupra acestei practici, ținând cont de experiența acumulată până în prezent.
2. Evoluția evalu ării la nivel global și în România
La nivel mondial, în evoluția evaluării politicilor publice pot fi identificate mai
multe etape. Primele demersuri de evaluare sunt destul de contestate în literatur ă
din cauza faptului că nu se diferențiază clar de practica aplicării unor instrumente
de investigare social ă (Cerkez, 2009). O prim ă etapă, cuprinsă între anii 1930 și 1950
a avut ca pionieri ai evalu ării pe Ralph Tzler, Percz Bridgman și E.L. Thorndike
conform lui Stufflebeam și Shinkfield (2007, p. 160). Principala preocupare a fost
măsurarea gradului de îndeplinire a obiectivelor, fiind aplicabil ă în mod special
proiectelor mici, care au obiective clare și realizabile. O a doua etapă de evaluare
poate fi delimitată între anii 1960–1970, dorind s ă facă din politic ă o practică mai
rațională, mai științifică, pornindu-se de la premisa că scopul unei evaluări este
de a identifica adevărul. Reprezentan ții acestei genera ții de evaluare sunt Scriven,
Campbell, Lindquis, Suchman, Stanley, Cronbach, Snow, Boruch și Nave, principala
metodă dezvoltată și utilizată de aceștia fiind experimentul social conform lui
Stufflebeam și Shinkfiel, (2007, p. 174). Aceast ă generație de evaluare este cunoscut ă
și sub denumirea de pozitivistă, rațional-analitică și tehnocrat ă.
O nouă genera ție de evaluare, reprezentat ă de Rossi și Freeman, păstreaz ă metodele
și tehnicile de investigare social ă, însă o utilizează pentru a realiza estim ări cu
privire la conceptualizarea, designul, implementarea și utilitatea programelor de
intervenție socială. Cei care adoptă aceast ă strategie de evaluare consider ă că dată
fiind complexitatea realităților, lumea poate fi mai bine surprins ă și descrisă prin
instrumente statistice care pot identifica prezen ța sau absenta anumitor factori și
efecte. O alt ă particularitate a evalu ării din această etapă, se refer ă la momentul de
decizie, care este într-o continu ă schimbare, evaluarea având rolul de a corela și a
actualiza informa ția în cadrul procesului decizional, generând totodat ă o dezbatere
publică mai informată, conform lui Shadish, Cook și Leviton (1991, p 172). Cea mai
recentă genera ție de evaluare, reprezentat ă de Guba, Lincoln, Torgerson, Fischer,
Forester, Deleon, Caulley și Chen, pune la îndoial ă posibilitatea de a analiza
fenomenele socio-politice prin separarea faptelor de valori, precum și posibilitatea
de a ajunge la un singur adevăr universal valabil pentru utilizarea metodelor științifice
și a logicii. Conform Hanberger, pentru justificarea utiliz ării metodelor multiple,
reprezenta ții acestei genera ții de evaluare apeleaz ă la o epistemologie pluralistă și
relativistă, (Hangerger, 2001, p. 47).
La nivelul Uniunii Europene au fost introduse progresiv și sistematic metode
riguroase și sofisticate pentru implementarea programelor, care au inclus evaluarea,
ca un important instrument managerial. În anii recen ți, mediul administrativ extins

104din Statele Membre ale Uniunii Europene a devenit mai deschis pentru utilizarea
evaluării (Polverari et al. , 2007). Exist ă diferențe considerabile între Statele Membre
ale Uniunii Europene, în ceea ce prive ște nivelul de utilizare a evalu ării politicilor
publice. Se poate vorbi chiar de o împărțire „nord-sud” în practica evalu ării (Tavistock
Institute, GHK Consultants & IRS, 2003). În țări precum Olanda, Marea Britanie,
Germania și Franța evaluarea are o tradi ție puternică. În aceste țări se desfășoară
cu regularitate evalu ări ale interven țiilor politicilor publice, iar rezultatele generate
din aceste evalu ări constituie parte integrant ă a procesului de formulare a politicilor
publice. Prin contrast, în Italia, Spania, Portugalia și Grecia, practica evalu ării
politicilor publice nu este bine stabilit ă în cultura administrației publice. România
se încadreaz ă în rândul celui de-al doilea grup de țări prezentat aici.
De la deschiderea procesului de negociere cu Uniunea European ă (februarie 2000),
România și-a concentrat eforturile pentru adoptarea și pregătirea implementării
acquis-ului comunitar din toate domeniile politicilor comunitare. De atunci și
până la momentul aderării, România a parcurs un proces de schimb ări importante
instituționale, legislative și structurale. Procesul de pre-aderare, cât și cel de post-
aderare al României la Uniunea European ă au avut și au o influență importantă asupra
cadrului instituțional și metodologic în care se desf ășoară evaluarea de programe și
proiecte și, în mod mai extins, al implement ării politicilor publice în administrația
publică din România.
Astfel, este remarcat ă angajarea administra ției publice românești în tendința spre
un sistem de bugetare pe baz ă de programe, ceea ce a determinat schimb ări vizibile în
ultimii ani în arhitectura instituțională a evaluărilor de politici publice și de programe
din România. Astfel, cel mai notabil aspect este înființarea, în 2006, a Unit ății Centrale
de Evaluare (UCE) în cadrul Ministerului Finanțelor Publice și lansarea, în același an,
a Strategiei Na ționale de Evaluare, precum și extinderea rolului Direc ției de Politici
Publice din cadrul Secretariatului General al Guvernului în monitorizarea și evaluarea
politicilor publice. Totodată, evaluarea politicilor publice a fost formal introdusă prin
HG 775/2005, pentru aprobarea Regulamentului privind procedurile de elaborare,
monitorizare și evaluare a politicilor publice la nivel central. Cu toate acestea, în afara
evaluării programelor finan țate de Uniunea European ă, practica evaluării politicilor
publice nu este dezvoltat ă, în ciuda cadrului instituțional și legislativ creat.
3. Evaluarea asisten ței de preaderare UE și acreditarea EDIS
Relațiile între Uniunea European ă și România au început încă din 1990; asisten ța
financiară a Uniunii Europene în România a demarat în 1991, principalul instrument
fiind Phare (din 1991), completat prin ISPA și SAPARD (după 1999). În prezent, există
în faza de finalizare ultimele programe cu finan țare Phare și Facilitatea de Tranzi ție,
aferente asisten ței de preaderare. Aproximativ 7 miliarde de Euro și peste 1.000 de
experți și oficiali UE au susținut eforturile române ști de integrare.
Acordul financiar între Comisia European ă și Guvernul român a fost semnat la
12 martie 1991. Acest document a stabilit cadrul tehnic, juridic și administrativ

105pentru cadrul financiar, tehnic și de altă natură de cooperare. Pentru înfiin țarea
acestor structuri, dou ă Memorandumuri de Înțelegere au fost semnate între Comisia
European ă și Guvernul român, prin care au fost stabilite urm ătoarele: Coordonatorul
Național al Asistenței, Autoritatea de Autorizare și Plată, Fondul National, Oficiul de
Plăți și Contractare Phare, Autorit ățile și Agențiile de Implementare ale programelor.
Cadrul legislativ necesar a fost finalizat în 1999, precum și toate structurile
administrative și bugetare care sunt necesare pentru punerea în aplicare a programelor
finanțate de Uniunea European ă. De asemenea, în anul urm ător s-au creat structuri
comune de monitorizare a punerii în aplicare a programelor: Comitetul Comun de
Monitorizare și Sub-comitetele de monitorizare sectorial ă.
În toate noile state membre a fost introdus Sistemul Extins de Implementare
Descentralizat ă, ca un imperativ pentru evolu ția de la un sistem de control ex-ante
la un sistem de control ex-post. Necesitatea dezvolt ării acestui sistem este determinat ă
în primul rând de eliminarea treptată a Delegațiilor UE din noile state membre, care a condus la un transfer semnificativ de resurse umane și financiare, întrucât au fost
înlocuite de către Reprezentan țe, care îndeplinesc în principal func ții de informare
și comunicare. În al doilea rând, derularea programelor de post-aderare cu finan țare
din fonduri comunitare solicită statelor membre s ă adapteze administrațiile lor pentru
un cadru de implementare descentralizat în care Comisia European ă menține doar
controlul ex-post. Procesul de adoptare EDIS a fost prev ăzut în documentele intitulate
„Pregătirea pentru Sistemul Extins de Implementare Descentralizat ă a programelor
Phare și ISPA” și „Foaia de parcurs c ătre EDIS pentru PHARE și ISPA”. Aceste
documente au stabilit patru etape procedurale care trebuie s ă fie supuse înainte ca
acreditarea s ă poată fi acordată. Cu asistență din partea Comisiei, statele candidate sau
în curs de aderare au necesitat s ă parcurg ă singure primele trei etape ale acredit ării.
Acestea constau în:
1. Evaluarea nevoii: Acest lucru implic ă efectuarea unei evalu ări a instituțiilor
naționale țintă (în principal Fondul Na țional și Agențiile de Implementare), în
scopul de a determina în ce m ăsură condițiile pentru EDIS sunt îndeplinite în
prezent și să identifice acțiunile specifice, precum și modificări și îmbunătățiri
necesare.
2. Acțiuni de remediere: autorit ățile naționale trebuie s ă facă schimbările și îm-
bunătățirile necesare procedurilor și în cadrul instituțiilor țintă, prin punerea
în aplicare a recomand ărilor din Raportul de evaluare a nevoilor.
3. Evaluarea conformit ății: acest exerci țiu permite autorităților naționale respon-
sabile să determine dac ă pre-condițiile sunt îndeplinite, astfel încât aplicaț ia
formală EDIS să fie transmisă Comisiei Europene.
4.
Cea de-a patra etapă, și ultima, este pregărirea pentru Decizia Comisiei Euro-
pene, care este responsabilitatea exclusiv ă a Serviciilor Comisiei de a analiza
solicitarea acord ării acredit ării EDIS, permițându-le să decidă dacă vor conferi
status-ul de management descentralizat, în baza Articolului 12(2) din Regula-mentul 1266/1999.

106Întrucât România a acumulat o experien ță importantă în punerea în aplicare și
coordonare a programelor finan țate de UE, acest sistem a fost dezvoltat rapid, prin
urmare, între 2005-2006 a început procesul de acreditare EDIS.
Prima fază EDIS a început în 2002, printr-o evaluare a Fondului Național și a
Agențiilor de Implementare, la nivel de programe Phare și ISPA. În anul 2004 a fost
efectuată o analiză actualizată a nevoilor. Cea de a doua fază EDIS, cu scopul de a
efectua ac țiuni de remediere prezentate de analiz ă, a fost inițiată de către Fondul
Național și de Agențiile de Implementare, fiind încheiată în 2005. Cea de a treia fază,
care a preg ătit trecerea la EDIS, a vizat evaluarea conformit ății. Raportul a stabilit
că toate condițiile au fost îndeplinite. Recomandările au fost puse în practic ă, prin
urmare, toate cele trei faze au fost finalizate pân ă la sfârșitul anului 2005. Prin urmare,
autoritățile române au înaintat Comisiei Europene cererea oficial ă pentru acreditarea
EDIS (care este considerat ă cea de-a patra faz ă EDIS). Acreditarea a fost primit ă în 28
iunie 2006 pentru ISPA, și în 14 decembrie 2006 pentru Phare, România fiind prima
țară care prime ște acreditare EDIS înainte de aderarea sa la Uniunea European ă.
4. Evaluarea intermediar ă a programelor Phare în contextul EDIS
Evaluarea Intermediar ă a programelor Phare din România, derulat ă prin Contractul
Schemei de Evaluare RO 2005/017-553.05.03.01, a fost contractat ă de către Ministe-
rul Finațelor Publice din România, Autoritatea pentru Coordonarea Instrumentelor
Structurale (ACIS). Pe parcursul implement ării sale, de la 9 mai 2007 la 28 februarie
2009, au fost emise 28 de rapoarte de evaluare: două pentru fiecare dintre sectoarele naționale (Piața Internă, Social, Mediu, Transport, Finanțe Publice, Administrație
Publică, Coeziune Economică și Socială & Cooperare Transfrontalier ă, Justiție, Afaceri
Interne, Agricultur ă), trei evalu ări tematice (Proceduri și practici Phare de achizi ții
publice, Revizuirea indicatorilor, Lec ții Phare pentru Fondurile Structurale), dou ă
evaluări metodologice aplicate și trei Rapoarte Consolidate de Țară. În 2007 au fost
emise 13 rapoarte de evaluare: 10 sectoriale, 1 tematic, 1 Raport Consolidat de Țară și 1
raport metodologic aplicat; în 2008-2009 au fost emise alte 15 rapoarte de evaluare: 10
sectoriale, 2 tematice, 2 Rapoarte Consolidate de Țară și 1 raport metodologic aplicat.
Acest contract de evaluare a constituit cel mai extins prim exerci țiu de evaluare
operat în România, în sistemul EDIS. Domeniul de aplicare al evaluărilor a acoperit toată asistența Phare de pre-aderare, care era în implementare la acel moment, acoperind programe care totalizau un buget de aproximativ 1 miliard de Euro/an. Scopul Schemei de Evaluare Intermediar ă Phare a fost dublu: de a oferi o analiz ă
independentă a eficienței și eficacității programelor în curs de desf ășurare, eviden țiind
succesul programelor în îndeplinirea obiectivelor lor, performan țele părților implicate
și capacitatea de a pune în aplicare acquis-ului comunitar și de a disemina lecțiile
de experiență în vederea îmbunătățirii punerii în aplicare a programelor actuale și
în conceperea programelor viitoare.
Unitatea Central ă de Evaluare (UCE) din cadrul Autorit ății pentru Coordonarea
Instrumentelor Structurale (ACIS) stabile ște liniile directoare de evaluare și supra-

107veghează executarea planului de evaluare intermediar ă, care este efectuat ă de către
evaluatori externi. Criteriile utilizate pentru structurarea evalu ării intermediare au
fost următoarele (Comisia European ă, 2001):
• Relevanța – măsura în care obiectivele declarate adreseaz ă în mod corect
problemele sau nevoile reale identificate.
• Eficiența – cât de bine diverse activit ăți au transformat resursele disponibile în
rezultate scontate.
• Eficacitatea – se refer ă la cât de departe rezultatele proiectului au fost utilizate
(cât de mult au utilizat beneficiarii viza ți produsele sau serviciile puse la
dispoziție).
• Impact – m ăsura în care beneficiile primite de c ătre beneficiarii țintă au avut
un efect de ansamblu mai larg, implicând un num ăr mai mare de persoane din
cadrul domeniului, regiunii sau la nivel național.
• Durabilitate – dacă rezultatele pozitive ale proiectului la nivel de scop sunt
probabil să continue și dup ă ce finanțarea extern ă se va încheia și, de asemenea,
dacă impactul lor pe termen lung cu privire la procesul de dezvoltare mai larg
poate fi susținut la nivel de domeniu, regiune sau la nivel național.
Procedura de preg ătire a rapoartelor de evaluare a fost un proces participativ,
implicând activ toți factorii interesa ți în gestionarea programelor evaluate. Principalele
instrumente ale exerci țiului de evaluare sunt recomandările și avertismentele timpurii.
Recomandările emise în cadrul raportului de evaluare indic ă autoritatea responsabil ă
și un termen limită pentru punerea în aplicare a recomand ării. Un proces de
dezbatere a recomand ărilor, precum și un sistem de monitorizare a acestora, în cadrul
managementului programelor Phare, au completetat ciclul de evaluare. Recomand ările
emise în cadrul evaluărilor au fost urm ărite în cadrul Sub-comitetelor sectoriale de
monitorizare (SMS) care au avut loc la fiecare 6 luni, la nivel de sectoare, și în cadrul
Comitetului Comun de Monitorizare (JMC), care a avut loc anual. Avertiz ările timpurii
au fost emise atunci când, pe parcursul procesului de evaluare, au fost identificate
situații problematice care au necesitat o aten ție urgent ă din partea factorilor interesa ți.
În cazul în care evaluatorul a constatat nereguli sau o nevoie urgent ă de acțiuni
corective, aceast ă situație a fost raportat ă imediat către Unitatea Central ă de Evaluare.
Rapoartele de evaluare emit, de asemenea, calificative de performan ță, pe fiecare
dintre cele cinci criterii de evaluare, pentru fiecare component ă a sectorului, dar
și asupra sectorului global, pe o scal ă de la -2 la 2. Aceste calificative numerice
corespund unei scale ordinale (calificative de performan ță), după cum urmează:
-2 -1 0 1 2
Total nesatisf ăcător Nesatisfăcător Aproape satisf ăcător Satisfăcător Total satisf ăcător
În Tabelul 1 de mai jos sunt prezentate toate aceste instrumente prezentate mai
sus, care au fost aplicate în evaluarea intermediar ă a programelor Phare sectoriale,

108în perioada 2007 – 2008: calificativele de performan ță, numărul de recomandări și
numărul de avertismente timpurii, emise în cadrul celor 10 sectoare evaluate (Pia ță
internă – INT, Social – SOC, Mediu – ENV, Transport – TRA, Administrație publică
– PAD, Finanțe publice – FIN, Coeziune economic ă și socială – ESC, Justiție – JUS,
Afaceri interne – HA, Agricultur ă – AGR).
Tabelul 1: Calificative de performan ță și număr de recomand ări și de avertiz ări timpurii,
în cadrul Evaluării Intermediare Phare
Surse: www.evaluarephare.ro, Unitatea Centrală de Evaluare, Ministerul Finan țelor Publice
Așa cum se constat ă din acest tabel, criteriul eficien ță a avut cel mai scăzut
calificativ în ambii ani (înregistrând totu și o creștere din 2007 în 2008). Num ărul
recomandărilor a fost, de asemenea, ridicat pentru acest criteriu (46 de recomand ări),
inclusiv pentru criteriul eficacitate (47 de recomand ări). De asemenea, în cei doi ani
de derulare a proiectului de evaluare intermediar ă au fost emise 11 avertiz ări timpurii.
Toate aceste lucruri demonstreaz ă utilitatea evaluărilor intermediare, care
faciliteaz ă identificarea unor situa ții problematice și aplicarea corec țiilor necesare
în timpul implementării programelor și proiectelor. Este posibil ca evaluarea s ă fi avut
o contribuție la creșterea eficien ței implementării proiectelor, a șa cum este remarcat
în creșterea mediei calificativelor de performan ță al acestui criteriu (-0,2 în 2008 fa ță
de -0,5 în 2007). De asemenea, evaluarea intermediar ă a identificat și elemente de
bună practică, contribuind la diseminarea acestora într-un cadru extins.

1095. Analiza evalu ării intermediare
Începând cu 2002 au fost derulate 4 contracte de evaluare intermediar ă a
programelor PHARE, în cadrul c ărora au fost realizate aproximativ 100 de rapoarte
de evaluare (sectoriale, tematice și rapoarte consolidate de țară). Fiecare din cele 10
sectoare na ționale au fost evaluate cel puțin o dată pe parcursul unui an: Piață Internă,
Social, Mediu, Transport, Finanțe Publice, Administrație Publică, Coeziune Economică
și Socială & Cooperare Transfrontalier ă, Justiție, Afaceri Interne, Agricultur ă. De
asemenea, în fiecare an au fost realizate câte 2 rapoarte consolidate de țară precum și
anumite rapoarte tematice (de ex.: Proceduri și practici PHARE de achiziții publice,
Revizuirea indicatorilor, Lec ții Phare pentru Fondurile Structurale).
Seria evalu ărilor intermediare a programelor de asisten ță de preaderare din România
s-a încheiat în decembrie 2010, o dată cu finalizarea proiectului „Evaluarea Intermediar ă
a Programului PHARE și a Facilității de Tranziție” (FT 2007/19343.07.01.03). În
vederea analizei utiliz ării evaluării intermediare în cadrul programelor de asisten ță de
preaderare din Romania, a fost aplicat un chestionar (Evaluarea Evalu ării), în perioada
21 decembrie 2010 – 31 ianuarie 2011, la încheierea seriei de evalu ări intermediare a
asistenței de pre-aderare din România. Chestionarul a fost adresat membrilor Unit ăților
de Implementare a Proiectelor (UIP) din cadrul organiza țiilor beneficiare de asisten ță
cu finanțare PHARE, și a obținut un număr de 33 de răspunsuri.
Apelând la o metodologie similară evaluării intermediare PHARE, s-a solicitat
aprecierea responden ților cu privire la relevan ța, eficiența, eficacitatea, impactul și
durabilitatea evalu ării intermediare (acordând calificative pentru cele 5 criterii de
evaluare: relevan ță, eficiență, eficacitate, impact și durabilitate) precum și formularea
de concluzii și recomandări privind utilizarea acestei practici în viitor. R ăspunsurile
agregate și analiza acestora sunt prezentate în cele ce urmeaz ă.
Criteriul relevan ță – s-a urmărit dacă obiectivele declarate ale evalu ării intermediare
au adresat în mod corect problemele sau nevoile reale desprinse din implementarea
proiectelor și programelor cu finan țare PHARE și Facilitatea de Tranzi ție. Răspunsurile
au fost în general pozitive fa ță de relevan ța evaluării intermediare. S-a considerat
că metodologia utilizată de evaluare a fost suficient de comprehensiv ă, pentru a
permite sugestii de îmbunătățire a interven țiilor. De asemenea, s-a apreciat c ă
obiectivele evalu ării au fost concrete și coerente. Cu toate acestea, a existat o opinie
critică referitoare la metodele de evaluare, care implic ă consultarea unor documente
de raportare care nu sunt neap ărat actuale la momentul evalu ării, și referitor la
intervievarea unor persoane care nu sunt cele mai relevante pentru un astfel de
exercițiu. O altă critică a evidențiat faptul că evaluarea intermediar ă poate să se
întâmple fie prea devreme fie prea târziu, în ciclul de implementare a proiectului, fiind astfel mai puțin relevant ă.
Criteriul eficien ță – dacă activitățile evaluării au transformat resursele disponibile
(resurse umane, materiale, informa ționale) în rezultate a șteptate (rapoarte de evaluare
emise în timp util și de calitate acceptabil ă). Respondenții au fost apreciativi fa ță de
eficiența evaluării intermediare. Chiar dac ă evaluarea este considerat ă a fi un exercițiu

110Figura 1: Distribuția răspunsurilor, criteriul relevan ță
Tabelul 2: Distribuția răspunsurilor, criteriul relevan ță
Califi cativulFrecvența relativă
(%)Frecvența cumulativă
(%)
Total nesatisf ăcător 3 3
Nesatisfăcător 0 3
Aproape satisf ăcător 6 9
Satisfăcător 44 53
Total 47 100
complex și extensiv, se consideră c ă rapoartele de evaluare au surprins realitatea. A
existat o critic ă referitoare la unele întârzieri întâmpinate în planul de evaluare, care
pot fi explicate prin resursele limitate alocate/existente. De asemenea, poate s ă mai
existe și o barier ă lingvistică pentru exper ții internaționali, în accesarea documenta ției
relevante (care este în mare parte în limba român ă).
Figura 2: Distribuția răspunsurilor, criteriul eficien ță

111Tabelul 3: Distribuția răspunsurilor, criteriul eficien ță
Califi cativulFrecvența relativă
(%)Frecvența cumulativă
(%)
Total nesatisf ăcător 0 0
Nesatisfăcător 3 3
Aproape satisf ăcător 9 12
Satisfăcător 47 59
Total 41 100
Criteriul eficacitate – dacă rezultatele evalu ării (în special recomandările și
avertizările timpurii) au fost utilizate de c ătre factorii implica ți în implementarea
proiectelor.
Recomandările emise de c ătre evaluatori au constituit un instrument pentru
eficientizarea implement ării proiectelor. Recomand ările nu au fost întotdeauna
acceptate de c ătre beneficiari, acest fapt determinând ini țierea unui proces de
dezbatere și de ajustare/adaptare a acestor recomand ări. Câteodată, recomandările
care au vizat aspecte strategice nu au fost implementate sau au fost implementate
cu întârziere. Recomand ările emise au fost urm ărite în mod regulat în cadrul Sub-
Comitetelor de Monitorizare și în cadrul Comitetelor Comune de Monitorizare a
programelor de asisten ță de pre-aderare.
Figura 3. Distribuția răspunsurilor, criteriul eficacitate
Tabelul 4: Distribuția răspunsurilor, criteriul eficacitate
Califi cativulFrecvența relativă
(%)Frecvența cumulativă
(%)
Total nesatisf ăcător 0 0
Nesatisfăcător 0 0
Aproape satisf ăcător 18 18
Satisfăcător 41 59
Total 41 100

112Criteriul impact – dacă rezultatele evalu ării au generat un efect de ansamblu,
extins la nivelul sectorului/domeniului sau la nivel național. Opinia respondenților
a fost că impactul rezultatelor evalu ărilor intermediare au fost mai vizibile în cazul
proiectelor de investi ții. De asemenea, rezultatele evalu ării au fost utile în ajustările
realizate în cadrul sectorului Dezvoltarea Resurselor Umane. O alt ă opinie este că
rezultatele evalu ării nu au generat neap ărat un impact, însă procesul de evaluare
(activitățile din cadrul evaluării) au contribuit la dezvoltarea capacit ății și practicii
de evaluare din România.
Figura 4: Distribuția răspunsurilor, criteriul impact
Tabelul 5: Distribuția răspunsurilor, criteriul impact
Califi cativulFrecvența relativă
(%)Frecvența cumulativă
(%)
Total nesatisf ăcător 0 0
Nesatisfăcător 10 10
Aproape satisf ăcător 17 27
Satisfăcător 43 70
Total 30 100
Criteriul durabilitate – dacă practica evalu ării intermediare va continua și va fi
extinsă atât la programele cu finan țare european ă, dar și la politicile publice, finanțate
din bugetul național. Majoritatea responden ților consideră c ă practica evalu ării
va continua pentru programele cu finan țare european ă. Există un progres evident
din 2007, în utilizarea acestui instrument. Cu toate acestea, utilizarea evalu ării la
programele și politicile publice finanțate din bugetul statului va depinde în primul
rând de voința politică (care este dificil de a fi apreciat ă) și de calitatea evalu ărilor
realizate în aceast ă perioadă (care, de asemenea, trebuie s ă fie îmbunătățită).

113Figura 5: Distribuția răspunsurilor, criteriul durabilitate
Tabelul 6: Distribuția răspunsurilor, criteriul durabilitate
Califi cativulFrecvența relativă
(%)Frecvența cumulativă
(%)
Total nesatisf ăcător 3 3
Nesatisfăcător 6 9
Aproape satisf ăcător 16 25
Satisfăcător 41 66
Total 34 100
Concluziile formulate de c ătre responden ți privind utilizarea evaluării intermediare,
evidențiază c ă aceasta constituie o bun ă practică în implementarea proiectelor
și programelor, constituind un important instrument de management, atât prin
identificarea unor deficien țe întâmpinate pe parcursul implement ării proiectelor,
cât și prin propunerea măsurilor de corec ție necesare. Astfel, evaluarea intermediar ă
este un exerci țiu util pentru administrația publică, constituind un mecanism modern
pentru luarea deciziei. Totodat ă, evaluările ofer ă lecții învățate pentru implementarea
programelor, astfel c ă acestea contribuie la procesul de formulare și proiectare a
viitoarelor programe.
Cu toate acestea, exist ă unele critici la adresa evalu ării. Chiar dacă evaluarea
este apreciat ă ca fiind utilă, aceasta nu a reu șit întotdeauna să atingă obiectivele. De
asemenea, chiar dac ă metodele de evaluare sunt considerate a fi adecvate, câteodat ă
aceste metode nu au fost aplicate în mod corect. Chiar dac ă seriozitatea evaluatorilor
a fost apreciat ă, volumul de activitate a fost ridicat, astfel încât nivelul de rigurozitate
a fost fluctuant. De asemenea, în anumite domenii unde se cere o expertiz ă tehnică
anume (de exemplu, energia nuclear ă), evaluatorii au întâmpinat anumite probleme de
înțelegere a situa ției. Ca o concluzie general ă, s-a considerat c ă evaluarea intermediar ă
a programelor și proiectelor PHARE a contribuit la dezvoltarea culturii de evaluare în
România. Cu toate acestea, dezvoltarea capacit ății de evaluare este esen țială pentru

114a acoperi nevoia de evaluare a programelor post-aderare cu finan țare european ă, dar
și pentru extinderea acestei practici la nivelul politicilor publice.
Recomandările formulate de c ătre responden ți cu privire la utilizarea în viitor a
evaluării, poate fi rezumat ă în cele ce urmeaz ă1. În exercițiile viitoare de evaluare,
scopul acesteia trebuie mai bine definit. Func ția evaluării trebuie sus ținută de resurse
adecvate. În situa ția evaluării intermediare, evaluarea ar trebui realizat ă cât mai
aproape de jumătatea implementării proiectului/programului, pentru a surprinde
progresul acestuia, dar și pentru a permite suficient timp pentru corec țiile necesare.
De asemenea, durata evalu ării ar trebui scurtat ă, pentru a permite oferirea punctelor
de vedere în timp util. Este recomandat implicarea factorilor de decizie în întreg procesul de evaluare (din momentul planific ării până la momentul dezbaterii
concluziilor și recomandărilor). Cu toate acestea, ar fi mai adecvat dac ă beneficiarul
evaluării (instituția evaluată) să nu fie totodat ă și comisionar al evaluării (autoritate
contractant ă), întrucât acest fapt poate avea un efect negativ în procesul evalu ării.
Astfel, se recomand ă ca experien ța acumulată în cadrul evaluării fondurilor de
pre-aderare s ă fie împărtășită și utilizată și în cadrul evaluărilor fondurilor de post-
aderare. De asemenea, este recomandat ă extinderea evalu ării pentru politicile publice
finanțate în cadrul bugetului na țional. În acest sens, este necesar ă dezvoltarea unei
culturi de evaluare, astfel încât aceast ă practică s ă nu reprezinte doar o secven ță
formală în cadrul ciclului managementului de proiect.
6. Evaluarea intermediar ă a Programelor Opera ționale
Managementul eficient al implement ării programelor cu finan țare UE a constituit
preocuparea constant ă a administrației românești, ca urmare a cerin țelor și condițiilor
impuse de UE. Ministerul Finanțelor Publice a adoptat Planul Unic de Ac țiune în
vederea îmbun ătățirii sistemelor de management pentru implementarea fondurilor
UE în România (fonduri de pre-aderare și instrumente structurale). Obiectivul general
al Planului Unic de Acțiune este acela de a „îmbun ătăți capacitatea administra ției
din România de a gestiona într-un mod eficient și eficace procesul de absorb ție a
fondurilor europene și după aderarea României la UE”.
Alocarea total ă de fonduri structurale și de coeziune pentru România este de
19,668 mld. Euro din care 12,661 mld Euro reprezint ă Fondurile structurale din cadrul
obiectivului „Convergen ță”, 6,552 mld. Euro din Fondul de coeziune și 0,455 mld.
Euro în cadrul obiectivului european de cooperare teritorial ă (inclusiv transferul c ătre
Instrumentul de Asisten ță de Preaderare – IPA, și către Instrumentul de Parteneriat
și Vecinătate European – ENPI).
În 2007, fosta Autoritate de Management pentru Cadrul de Sprijin Comunitar din
cadrul Ministerului Economiei și Finanțelor s-a transformat în Autoritatea pentru
Coordonarea Instrumentelor Structurale (ACIS) și reprezint ă Statul Membru în proble-
mele legate de programarea și implementarea Fondurilor Structurale și de Coeziune.
1 Răspunsurile au fost prelucrate, fiind centralizate în func ție gradul de asemănare acestora.

115Cadrul reglementativ prezint ă trei tipuri principale de evaluare care trebuie realizat ă
pentru interven țiile fondurilor structurale: evaluare ex-ante, evalu ări continue (în
timpul implementării Programelor Opera ționale) și evaluare ex-post. Astfel, categoriile
de evaluări care vor fi realizate în perioada 2007–2015 pentru Cadrul Strategic Na țional
de Referin ță sunt următoarele:
a. Evaluarea formativ ă a implementării instrumentelor structurale, care examineaz ă
sistemul de implementare în vederea îmbun ătățirii utilității, eficacității și
consistenței strategiei și procesul de management al Instrumentelor Structurale.
Aceste evalu ări scot în evidență bunele practici în gestionarea Instrumentelor
Structurale în vederea disemin ării în rândul actorilor implicați, precum și
eventualele blocaje în ceea ce prive ște utilizarea fondurilor.
b. Două meta-evalu ări în 2009 și 2012 care se vor baza pe evaluările intermediare
ale programelor opera ționale. Există două obiective ale acestor exerci ții:
pe de o parte înregistrarea progresului implement ării tuturor programelor
operaționale, identificarea eventualelor blocaje și rezolvarea lor rapid ă; pe de
altă parte informa țiile din această meta-evaluare sunt esen țiale pentru elaborarea
Raportului Strategic dar și pentru procesul de decizie în general. În special
evaluarea din 2012 va contribui la exerci țiul de programare pentru perioada
post 2013, și va oferi informa ții și date pentru evaluarea ex-ante care trebuie
realizată pentru următoarea perioad ă de programare.
c. O serie de evalu ări se vor concentra exclusiv pe cele cinci priorit ăți ale CSNR, pe
gradul lor de realizare și, în consecință, pe contribuția instrumentelor structurale
din România la îndeplinirea obiectivelor Strategiei de la Lisabona și a Strategiei
de Dezvoltare Durabil ă, cât și asupra îndeplinirii priorităților orizontale ale
Uniunii Europene.
Obiectivul general al evalu ării este acela de a contribui la implementarea eficient ă
a Programelor Opera ționale în vederea utiliz ării eficiente și transparente a fondurilor
structurale și a co-finanțării naționale prin asigurarea coeren ței și calității măsurilor
privind implementarea și prin menținerea unui sistem de management și control
eficient pentru aceste fonduri. Activit ățile de evaluare care vor fi realizate la nivel de
CSNR vor avea, de asemenea, ca obiectiv identificarea bunelor practici (de exemplu,
procedurale, institu ționale etc.) și a posibilelor metode și idei pentru diseminarea lor,
sinergiile între interven ții sprijinite din fonduri ale diferitelor programe opera ționale,
precum și valoarea adăugată a Comunității Europene. Priorit ățile orizontale și
problemele transversale ale tuturor programelor opera ționale trebuie, de asemenea,
să constituie un element central pentru activit ățile de evaluare la nivel de CSNR.
Până în prezent, în cursul anului 2009 și 2010 au fost realizate 6 evaluări
intermediare pentru cele 7 Programe Opera ționale din România (Programul Opera țional
Mediu nu a realizat încă o evaluare intermediar ă). Criteriile în baza c ărora au fost
structurate evalu ările intermediare au fost similare celor din evaluarea intermediar ă a
fondurilor de preaderare. Întrucât programele sunt în faz ă incipientă de derulare, au
fost utilizate criteriile relevan ță, coeren ță, eficiență și eficacitate (urm ătorul exerci țiu

116de evaluare intermediar ă programat pentru 2012 și 2013 va aborda și criteriile impact
și durabilitate). De asemenea, pân ă în prezent, au fost derulate 6 evalu ări formative
și tematice în cadrul Programelor Opera ționale din România.
7. Concluzii
Practica evalu ării în România a fost dezvoltată în principal în cadrul implement ării
programelor de pre-aderare finan țate de Uniunea European ă. Acest aspect a avut o
influență majoră asupra cadrului instituțional și a metodologiei în care programele
și proiectele, cât și politicile publice din România sunt implementate și evaluate. În
procesul de acreditare în Sistemul Extins de Implementare Descentralizat ă (EDIS)
din perioada de pre-aderare, România a fost preg ătită pentru a prelua responsabilit ăți
importante legate de implementarea asisten ței de post-aderare.
Examinarea evalu ărilor intermediare a programelor Phare, în contextul EDIS (în
perioada 2007-2008), a demonstrat utilitatea evaluării ca instrument managerial. Au
fost utilizate ambele tipuri de evaluare: formativ ă, pentru evaluările sectoriale, și
sumativă, pentru evaluările tematice. Num ărul mare de recomand ări emise de către
evaluatori (un total de 167, cu o medie de 8 recomand ări per evaluare), care au
fost acceptate de c ătre factorii interesa ți, demonstrează c ă interac țiunea în cadrul
procesului a fost ridicat ă și că evalu ările au facilitat dezbaterea anumitor probleme.
De asemenea, în acea perioad ă au fost emise un număr de 11 avertiz ări timpurii,
câteva din acestea fiind critice pentru rezolvarea unor probleme întâmpinate în cadrul
proiectelor și programelor evaluate. Este posibil ca evaluarea s ă fi avut o contribuție
în creșterea eficien ței implementării proiectelor, a șa cum este remarcat în cre șterea
mediei calificativelor de performan ță al acestui criteriu (-0,2 în 2008 față de -0,5
în 2007). De asemenea, evaluarea intermediar ă a identificat și elemente de bun ă
practică, contribuind la diseminarea acestora într-un cadru extins. Aceste aspecte demonstreaz ă că utilizarea evalu ărilor intermediare, a reprezentat un instrument de
management în facilitarea identific ării (potențialelor) probleme și pentru aplicarea
corecțiilor necesare în cadrul implement ării proiectelor și programelor.
Chestionarul „Evaluarea Evalu ării”, care a analizat utilizarea evalu ărilor intermedi-
are în cadrul programelor Phare și Facilitatea de Tranzi ție, a evidenț iat o largă apreciere a
utiliză rii acestui instrument. Aprecierea general ă a evaluă rii a fost una pozitivă , întrunind
o medie de 39% pentru calificativul „total satisfă cător” și 39% pentru calificativul
„satisfă cător”, pentru cele cinci întreb ări/criterii de evaluare. Recomand ările oferite
de că tre responden ți sunt constructive ș i îndreptate spre dezvoltarea unei culturi de
evaluare a proiectelor și programelor de post-aderare finan țate de Uniunea European ă,
dar ș i a politicilor publice finanț ate din bugetul naț ional.
Totodată, în cadrul unui studiu recent derulat de către Facultatea de Administra ție
și Management Public, Academia de Studii Economice din București, fost aplicat un „Chestionar privind utilizarea planific ării strategice și a evaluării performan ței la
nivelul administrației publice din România”. Trei dintre întreb ările chestionarului
au vizat practica evalu ării independente în România: (1) evaluarea contribuie la

117îmbunătățirea managementului implement ării programelor, (2) evaluarea contribuie
la creșterea responsabilit ății utilizării fondurilor publice, (3) evaluarea contribuie la
o mai bună transparen ță în g estionarea fondurilor publice. Aproximativ 80% din cei
138 de respondenți au răspuns „de acord” sau „acord total” la toate cele 3 întreb ări
menționate mai sus. Astfel, se poate aprecia c ă evaluarea este perceput ă pozitiv la
nivelul administrației publice din România.
Astfel, în urma experien ței dezvoltate pân ă în prezent prin utilizarea evalu ării
independente a programelor de pre-aderare, în prezent autorit ățile române utilizeaz ă și
sprijină evaluarea, cu scopul de a contribui la îmbunătățirea implementării Programelor
Operaționale, pentru o utilizare eficient ă și transparent ă a fondurilor structurale, prin
asigurarea unor m ăsuri care s ă asigure calitatea și coeren ța implementării, precum și
managementul eficient și sistemul de control al acestor fonduri.
Utilizarea evalu ării, în special în contextul crizei economice globale actuale, poate
avea un rol important din cel puțin două perspective. În primul rând, ținând cont de
resursele limitate, evaluarea poate contribui la o cheltuire mai eficient ă a resurselor din
cadrul programelor și politicilor care au un impact extins și să contribuie la rezolvarea
unor probleme care au un grad ridicat de necesitate și urgență din perspectiva nevoii
sociale. Un alt beneficiu îl reprezint ă responsabilitatea instituțiilor publice, prin
crearea unei mai bune comunic ări privind intervențiile publice între clasa politică,
guvern și cetățeni, generând, de asemenea, suportul cet ățenilor necesar în ac țiunile
guvernamentale.
Bibliografie:
1. Cerkez, M., Evaluarea programelor și politicilor publice. Teorii, metode și practici, Iași:
Polirom, 2009.
2. Comisia Europeană, Direcția Generală Extindere și Politici Regionale, Foaia de parcurs
către EDIS pentru ISPA și PHARE, 21 septembrie 2001.
3. „Evaluarea Intermediar ă a Programelor Phare în România”, [Online] disponibil ă la
adresa ww.evaluarephare.ro, accesat ă la data de 12 februarie 2011.
4. Hanberger, A., „What is the Policy Problem? Methodological Challenges in Public
Evaluation”, 2001, Evaluation, vol. 7, no. 1, pp. 45-62.
5. Polverari, L., Mendez, C., Gross, F. și Bachtker, J., „Making Sense of European Cohe-
sion Policy: 2007-2013 Ongoing Evaluation and Monitoring Arrangements”, IQ-Net
Thematic Paper, 21 (2) European Policies Research Centre, University of Strathclyle,
Glasgow, 2007, [Online] disonibil la adresa http://www.eprc.strath.ac.uk/iqnet/downloads/IQ-Net_Reports%28Public%29/ThematicPaper21%282%29Final.pdf, accesat la data de 10 februarie 2011.
6.
Shadish, W.R., Cook, T.D. și Leviton, L.C., Foundations of Program Evaluation. Theories
of Practice, Newbury Park: Sage Publications, 1991.
7. Stufflebeam, D.L. și Shinkfield, A.J., Evaluation Theory, Model, and Applications, San
Francisco: Jossey-Bass, 2007.
8. Tavistock Institute, GHK Consultants & IRS, The Evaluation of Socio-Economic Deve-
lopment. The Evalsed Guide , ediția 1, Londra: Tavistock Institute, 2003.