Intrumente de Interventie ale Unui Stat Democratic

CUPRINS

Content / 7 Prefață / 9

PARTEA ÎNTÂI /13

Politicile publice: instrumente de intervenție ale unui stat democratic /14

Nevoia de politici publice / 16

Necesitatea de a corecta acțiunile pieței / 18

Promovarea unor valori acceptate social / 22

Analiza de politici publice / 25

Rolul analizei de politici publice / 25

Analistul de politici publice / 26

Monitorizarea politicilor publice / 30

Delimitări conceptuale și noțiuni fundamentale / 30

Funcții și întrebări specifice / 32

Participarea populației țintă / 34

Tehnici de monitorizare / 37

Graficele/37

Indexul Gini / 39

Reprezentările tabelare / 40

Numerele de index / 40

Analiza de interval temporar / 42

Analiza seriilor de control / 43

Evaluarea de politici publice / 44

Caracteristici ale evaluării / 45

Criterii de evaluare / 45

Tipuri de evaluare / 46

Dificultăți și limite inerente cercetării evaluative / 49

Construcția metodologică și mizele sale / 52

Abordări clasice în evaluarea de politici publice / 56

Evaluarea formativă / 62

Evaluarea sumativă / 64

Analiza cost – beneficiu / 64

Analiza cost – eficiență / 69

Analiza risc — beneficiu / 70

Evaluarea de impact / 72

Abordări post-pozitiviste / 96

Evaluarea ca dezbatere / 99

Meta-evaluarea/ 101

Reflecții critice și soluții alternative /102

PARTEA A DOUA/109

Educația – domeniu strategic / 110

Dezvoltarea durabilă și educarea resursei umane / 116

învățământul superior și tipul de stat / 121

Finanțarea învățământului superior / 122

Raportul dintre public și privat

în învățământul superior românesc / 133

Necesitatea evaluării programelor educaționale / 139

Standarde calitative în învățământul superior / 142

Cooperare internațională în domeniu / 146

Maniere alternative de evaluare a învățământului superior / 150

Evaluarea reformei învățământului superior din România /154

Actorii beneficiari / 155

5.1.1 .Corpul profesoral / 156

Studenții /158

Intrarea pe agendă și formularea politicii de reformare / 162

Identificarea problemei / 163

Definirea problemei / 164

Intrarea pe agendă și filtrarea problemei / 167

Modul de stabilire a agendei / 169

Publicul politicii / 173

Strategii de respingere / 175

Concluzii privind elaborarea reformei / 177

Evaluare de impact / 179

Structura grupurilor de testare /183

Metode de recrutare și cercetare / 184

Rezultate ale cercetării /188

Concluzii /196

încheiere / 201 Anexe / 203 Bibliografie / 276

CONTENT

PUBLIC POLICY EVALUATION
A Case Study: The Reform of the Higher Education Sector in

Romania

Preface / 9 SECTION ONE/13

L Public policies: democratic state’s instruments for intervention /14

The public policies necessity / 16

To rectify market failures / 18

To promote social values / 22

Public Policy Analysis / 25

The role of public policy analysis / 25

The public policy analyst / 26

Public policy monitoring / 30

Definitions and concepts / 30

Functions and specific questions / 32

Targeting beneficiars / 34

Monitoring techniques / 37

Graphic displays / 37

Gini index / 39

Tabular displays / 40

Index numbers / 40

Interrupted time – series analysis / 42

Control – series analysis / 43

Public policy evaluation / 44

The characteristics of the evaluating process / 45

Evaluating criteria / 45

Evaluating types / 46

Difficulties and immanet limits of the evaluating research / 49

Methodology and its stakes / 52

Classical approaches in public policy evaluation / 56

Formative evaluation / 62 3.6.2 Summative evaluation / 64

Cost – benefit analysis / 64

Cost – effectiveness analysis / 69

Risk – benefit analysis / 70

Impact assessment / 72

Post-positivist approaches / 96

Evaluation as a counsel / 91

Meta-evaluation / 101

Critical reflections and alternative solutions /102

SECTION TWO / 109

Education – strategic field / 110

Long term development and human resource education /116

Higher education and the state’s type /121

Higher education resources / 122

Public – private relation in Romanian higher education / 133

Educational programs evaluation necessity /139

Qualitative standards in higher education / 142

International cooperation in the field /146

Alternative evaluating methods of higher education /150

The Reform of the Romanian higher education / 154

Beneficiaries /155

Academic teaching staff / 156

Students / 158

Agenda setting and reform policy wording / 162

Problem identification /163

Problem definition / 164

Agenda building /167

Agenda setting / 169

The public of the policy / 173

Denying agenda acces /175

Conclusions about reform issue /177

Impact assessment /179

Testing group structure /183

Recruitment and research methods / 184

Results / 188

Conclusions / 196

Review / 201 Annexes. / 203 Bibliography / 276

Prefață

9

Distincția dintre politicile sociale și politicile publice a generat multe dezbateri, inclusiv în România, asumarea teoretică a domeniului intervenției publice fiind controversată. Cea mai semnificativă diferență rezidă în faptul că, în timp ce politicile sociale desemnează o intervenție guvernamentală destinată rezolvării unei „probleme sociale”, cele publice pot fi și proactive, inclusiv în sensul dezvoltării durabile, iar agenția guvernamentală responsabilă poate decide să angajeze o instituție privată pentru elaborarea alternativei de intervenție, pentru implementarea politicii sau pentru evaluarea ei.

Se înfruntă de fapt două concepții despre stat și despre efectele benefice ori paradoxale ale politicilor asistențiale. în țările de inspirație profund liberală, cum sunt Statele Unite ale Americii, se consideră că politicile sociale sunt o specie a celor publice, iar în țările în care statul este, prin tradiție, hipertrofiat, cum este Franța, se consideră că toate politicile publice sunt, de fapt, sociale. Această dispută are și un corespondent autohton, reflectat în cogularea a două grupuri, care au făcut carieră prin reprezentanții lor de marcă: profesorii Adrian Miroiu, Mihaela Miroiu (mai ales în privința politicilor de egalitate de șansă și a celor feministe) și Lazăr Vlăsceanu (cu deosebire în câmpul politicilor educaționale) își desfășoară discursul teoretic, dar și inițiativele, în logica politicilor publice iar profesorii Cătălin și Eî*na Zamfir iunt stât tesdemtc« eâf și practie, precursorii și exponenții domeniului politicilor sociale.

Regia volumului constă dintr-o prezentare în prima parte a teoriilor privind politicile publice și, mai ales, a problematicii referitoare la evaluarea acestora. Partea a doua nu face decât să aplice o metodologie de evaluare la politica de reformare a unui domeniu de maxim interes: educația. Drept urmare, sunt sortite eșecului încercările de a înțelege modul în care au fost alese și utilizate datele cantitative și calitative, căile de analiză, principala metodă de cercetare (focus – grup) etc., fără un efort de cuprindere a ariei epistemice a evaluării politicilor publice în general. Apelul la flecare instrument de cercetare în parte reflectă o opțiune în care au contat atât criteriile de conformare la canonul științific, cât și resursele.

După o configurare a liniilor forte ale domeniului în care are loc evaluarea, cu sublinierea raporturilor dintre tipul de stat și modul în care funcționează sau, eventual, se reformează învățământul superior, sunt prezentate diferite standarde care ar putea deveni repere pentru o astfel de analiză. In capitolul de evaluare propriu-zisă a reformei învățământului superior din România se procedează la o caracterizare instituțională sumară a stării actorilor sociali semnificativi: corpul didactic și studenții. De aceea, evaluarea este însoțită de ample referiri la realitățile, fenomenele ori persoanele care au marcat evoluțiile din anii de reformă.

încadrarea evaluării după tipurile majore prezentate în prima parte ar dovedi că este externă deoarece nu este înterprinsă de pe pozițiile vreuneia dintre categoriile implicate în proiectarea reformei ori în aplicarea ei (ipostaze care ar fi plasat demersul sub eticheta de evaluare internă ori politică). Dat fiind momentul evaluării, mai mult de un deceniu de la demararea politicii publice, aveți în față o evaluare ex-post: nu este interesată de anticiparea efectelor unei posibile variante de reformă față de o alta, nu este interesată nici de eficiența economică a implementării, ci se raportează la consecințele subiective pe care le-au avut măsurile de implementare asupra populației țintă, mai precis-percepția unor segmente din rândul acesteia asupra schimbărilor instituționale din învățământul superior.

Este o evaluare mai degrabă sumativă deoarece nu este destinată celor responsabili de gestionarea viitoare a altor măsuri de reformare (cu rol formativ), pe cât se dorește a fi un raport de constatare pentru toți cei interesați de cum arată învățământul superior românesc în urma aplicării măsurilor de reformare.

Metodologia evaluării este „sûr mésure”, adică nu a fost folosită o rețetă „de a gata” pentru a aprecia randamentul reformei, ci evaluarea fost elaborată cu scopul de a fi aplicată acestei politici publice și pentru a surprinde aceste rezultate, având la dispoziție anumite resurse (umane, financiare, de timp, de date). Abordarea este vădit constructivistă (nu pozitivistă), fiind interesată de modul în care studenții și profesorii au resimțit reforma, cum se raportează la ea (tocmai de aceea fiind utilizată tehnica focus grupului), iar evaluatorul a interacționat cu realitatea cercetată, urmărind re-construirea imaginii pe care actorii beneficiari ai reformei învățământului superior și-au format-o despre acest proces de schimbare, în primul rând instituțională.

Complementaritatea evaluării derivă din conjugarea unor elemente specifice tuturor vârstelor pe care le-a cunoscut evaluarea ca procedură și etapă în cadrul domeniului politicilor publice: tehnică (se redau grafice, statistitici, precum și matricea de formulare a obietivelor și a pașilor de aplicare a reformei); descriptivă (se punctează principalele măsuri, normativ- administrative în evoluția reformei); apreciativă (se califică demersurile de reformare); participativă (se culeg opinii de la actorii importanți implicați în formularea politicii – prin interviuri – îmbogățite cu punctul de vedere celor asupra cărora s-au aplicat măsuri de reformare).

Toate aceste precizări sunt menite a oferi cheia aplicării unei carcase teoretice extrem de laborioase și care este nespecifică dezvoltărilor românești din științele politice. Concluzia evaluării nu este spectaculoasă: reforma învățământului superior din România a fost concepută rațional de experți români și occidentali, după toate standardele de elaborare a unei politici publice, dar nu a fost aplicată și nu s-a încheiat în aceeași notă de coerență. Dimpotrivă, măsurile de reformare continuă, nu numai datorită fărâmițării proiectului inițial, datorită politizării ori subfmanțării, inerției instituțiilor, dar și pentru că natura învățământului superior impune o dinamică accelerată. Imperativelor de reformare a unui sistem centralizat și învechit, cu conținuturi autorist etatiste și atitudini rigide li s-au adăugat necesitățile de adaptare la standardele Uniunii Europene, care la rându-le, se transformă.

Procesul de înfăptuire a politicilor este unul mai degrabă politic, decât rațional (în sens paretian). înfăptuirea politicilor nu poate fi caracterizată ca exclusiv rațională, ci, mai degrabă, ca un proces de raționalizare. Etapele care se succed în cadrul unei politici publice presupun constrângeri sociale, politice, economice. Drept urmare, procesul în sine nu poate fi cu ușurință surprins integral printr-un model rațional. Alături de caracteristicile problemelor, de contextul activităților determinate de analiză, cadrul politic este definitoriu.

Pentru a putea evalua elaborarea, implementarea sau efectele unei politici publice, trebuie focalizate interacțiunile dintre actorii semnificativi implicați. O politică publică este rezultanta unor negocieri și compromisuri între diverse interese, proprii în egală măsură actorilor din sfera guvernamentală sau neguvemamentală.

Datorită legăturii dintre apariția politicilor publice și neîmplinirile pieței, precum și ascensiunea sectorului public în viața societății, este posibilă interpretarea greșită că tensiunea dintre piața liberă și sectorul public generează preocuparea pentru politicile publice, precum și motivul centralității lor în rândul activităților guvernamentale.

Nu doar instituțiile sau agențiile guvernamentale sunt actori relevanți în formularea și aplicarea politicilor publice. Există și modelele de implementare a politicilor de sus în jos și de jos în sus, de unde rezultă că nu este suficientă centrarea pe agențiile guvernamentale.

Statul și piața nu sunt contradictorii, ci numai contrare; ele nu sunt singurele mecanisme prin care se poate răspunde problemelor unei comunități. Ce altfel de mecanisme există și cum pot fi ele să devină funcționale? Există asemenea mecanisme alternative în cazul învățământului universitar românesc? Dacă da, care sunt ele, cum acționează și, mai ales, cu ce efecte?

Autoarea

PARTEA I

Politicile publice: instrumente de intervenție ale unui stat democratic

Nevoia de politici publice

Necesitatea de a corecta acțiunile pieței

Promovarea unor valori acceptate social

Analiza de politici publice

Rolul analizei de politici publice

Analistul de politici publice

POLITICILE PUBLICE: INSTRUMENTE DE INTERVENȚIE ALE UNUI STAT DEMOCRATIC

„ Politicile publice nu se preocupă doar cu cei trei E – economie, eficiență și eficacitate, ci în egală măsură cu cei doi P—participare și politică ” (W.

Parsons, 1995).

Distincția dintre sfera publică și cea privată a început să își piardă din fermitate. Educația, sănătatea, planificarea urbană, construcțiile de infrastructură au devenit cu toate obiect al reglementărilor și interferării statului. Neo-liberalismul (J. Dewey, J. M. Keynes) susține că doar forțele pieței nu pot produce convergența dintre interesele private și cele publice, cele din urmă fiind asigurate prin intervenția statului. După al doilea război mondial sfera de intervenție a statului s-a extins major. Sectorul public a devenit o prezență activă de necontestat în viața tuturor: educația (mai ales cea de bază), asistența medicală, securitatea națională și ordinea publică – sunt exemple clasice în care statul a fost nevoit să intervină.

„Sectorul public se definește pe șase dimensiuni, dimensiuni care pot evolua diferit: 1) deciziile instituțiilor și organizațiilor guvernamentale; 2) alocările guvernamentale (consumul și investițiile); 3) transferurile guvernamentale; 4)proprietatea publică; 5) contractările publice; 6) angajările de forță de muncă guvernamentale”. Deși pe o anumită dimensiune sectorul public poate să scadă, el poate să se mențină la același nivel sau chiar să crească pe o alta. Această definiție a sectorului public ridică două probleme:

Cum se deosebește sectorul public de cel privat? și: 2) Cât de mare este (și, corelat, cât de mare ar trebui să fie) sectorul public? (…) Nici diferențele dintre cele două sectoare nu se reduc la un singur aspect (argumentează J.-E. Lane). în fapt, avem șase distincții (A. Miroiu, M. Zulean, M. Rădoi, 2002: 14-15):

Distincția dintre autoritatea guvernamentală și libertatea individuală; dintre ceea ce este legitim ca guvernarea să impună și libertatea de acțiune individuală.

Distincția dintre alocările publice (pentru consum, dar și investițiile guvernamentale) și alocările private: consumul și, respectiv, investițiile private. (De pildă, consumul individual se realizează din venitul net – din care au fost extrase taxele.)

Distincția dintre transferurile publice și cele private. Cum redistribuie statul veniturile sale este o problemă de mare importanță pentru toți membrii societății: de pildă, cât din bugetul de stat revine educației sau sănătății sau culturii sau cercetării?

Distincția dintre proprietatea publică și proprietatea privată.

Distincția dintre contractările publice și cele private. Statul poate să ofere un bun fără ca el însuși să îl producă: de pildă, prin contracte cu firme particulare sau prin concesionarea către unele firme private a anumitor activități.

Distincția dintre cei angajați în seclurul public și cei angajați în sectorul privat.

După W.JE Baber (apud W. Parsons, 1995:9) sectorul public diferă de cel privai prin următoarele caracteristici:

sarcini mai complexe și mai ambigue;

mai multe probleme în implementarea unei decizii;

mai mulți oameni angajați, cu motivații mai diverse;

mai marea preocupare pentru asigurarea de oportunități;

preocuparea față de compensarea eșecurilor pieței;

semnificația simbolică mai ridicată a activităților vizate;

standardele de legalitate trebuie să fie mai bine respectate;

echitatea socială este mai bine aproximată;

interesul public este cel pentru care funcționează sau trebuie să funcționeze;

necesitatea unui minim nivel de sprijin, mai ridicat decât cel din sectorul privat.

în perioada contemporană, asistăm la o creștere uriașă a sectorului public, explicabilă prin existența unor bunuri care nu pot fi furnizate cetățenilor în cantități suficiente și la un preț îndeajuns de scăzut numai prin mecanismul pieței. Acestea pot fi oferite numai dacă intervine statul, iar în societățile contemporane nevoile de astfel de bunuri au crescut foarte mult; de aceea a crescut și implicarea statului pentru a le oferi propriilor cetățeni.

Bunurile private au două caracteristici: rivalitatea în privința consumului și exclusivitatea în privința proprietății. Dacă avem două caracteristici, pe care un bun le poate avea sau nu, apar patru posibilități, bunurile care nu sunt private fiind: a) comune; b) vămuite; c) publice (a se vedea pe larg în A. Miroiu, 2001: 11-12). Prin intermediul sectorului public, statul poate să aloce astfel de bunuri.

hh Nevoia de politici publice*

Intervenția statului nu elimină automat problemele, mai mult: creează propriile probleme.

înțelegerea faptului că instituțiile guvernamentale au ca principal obiect de activitate formarea și aplicarea politicilor publice s-a produs cu greu în România, pentru ca acum să se vehiculeze frecvent sintagme ca: politica de securitate națională, politici de integrare europeană, politici sectoriale (privind, de pildă, reforma învățământului).

Studiul politicilor aparține științelor politice, abordarea fiind una interdisciplinară: analiza politicilor presupune cunoștințe din sociologie, economie, științe administrative, management, teoria deciziei etc. Ca urmare, este dificil de precizat ce sunt politicile publice, în mod obișnuit termenul „politică publică” fiind folosit cu mai multe sensuri (B. Hogwood și L. Gunn, 1984; 2000: cap. 2):

1, Politicile ca etichete ale unor domenii de activitate – mai ales guvernamentale (de exemplu politici economice, politici sociale sau politică externă).

‘ Termenul „public” este întâlnit în sintagme precum: opinie publică; drept public; sănătate publică; transport public; educație publică; datorie publică – dar și în expresia „politici publice”. O politică publică, la nivelul simțului comun, privește o acțiune în domeniul public – înțeles ca opus domeniului „privat”.

Politicile ca expresie a scopului general sau a stării de fapt dorite – în documente ale unui partid politic sau ale unui guvern, termenul de „politică publică” indică finalitatea, dar mai poate descrie starea care va fi atinsă odată cu realizarea scopului propus.

Politicile ca propuneri specifice – pentru a descrie acțiuni specifice pe care organizații politice (grupuri de interese, partide, guvernul) ar dori să le împlinească.

Politicile ca decizii ale guvernului – în cazuri specifice.

Politicile ca autorizare oficială – pentru a arăta că există legi care îngăduie sau solicită derularea unei activități.

Politicile ca programe – când o organizație guvernamentală are sau aplică un anumit program. Un program implică un pachet de măsuri care cuprind: reglementări, organizare și resurse.

Politicile ca produse – ceea ce guvernul oferă, spre deosebire de ceea ce a promis sau a autorizat prin intermediul legislației.

Politicile ca rezultate – adică ceea ce s-a obținut practic, pentru a evalua dacă scopul declarat este reflectat de situația de după implementarea politicii.

Politicile ca teorii sau modele – presupoziții (rareori explicite) privind relația cauzală dintre fenomene și procese, ori corelații semnificative dintre ele, referitor la ceea ce poate face un guvern și cu ce consecințe.

Politicile ca procese – pe o perioadă lungă de timp exprimând mișcarea de schimbare a unui domeniu: de pildă, politica de reformă a educației.

„O politică publică este o rețea de decizii legate între ele privind alegerea obiectivelor, a mijloacelor și a resurselor alocate pentru atingerea lor în situații specifice. Procesul de înfăptuire a politicilor este procesul de formulare și de aplicare a politicilor publice” (A. Miroiu, M. Zulean, M. Rădoi, 2002: 24).

Ciclul unei politici cuprinde etapele procesului de înfăptuire a politicii respective. Această manieră stadială de conceptualizare nu este adecvată cu realitatea mult mai dinamică, dar se mai folosește din rațiuni pedagogice. Astfel (a se vedea pe larg în O. E. Howlett, M. Ramesh, 1995: 11), etapele ar fi următoarele:

1. stabilirea agendei – procesul prin care problemele ajung
în atenția publicului și a instituțiilor guvernamentale;

formularea politicilor – procesul prin care sunt definite, evaluate, acceptate sau respinse politici alternative de soluționare a unei probleme aflate pe agendă;

luarea deciziilor – procesul prin care instituțiile guvernamentale adoptă o anumită alternativă pentru soluționarea unei probleme;

implementarea – procesul prin care instituțiile guvernamentale aplică politica, fac trecerea de la decizie la practică;

evaluarea – procesul prin care rezultatele politicilor sunt monitorizate și evaluate, putând conduce la recon- ceptualizarea problemei și a soluțiilor propuse.

Prin politicile publice, statul intervine în societate și în economie. Motivele unei asemenea intervenții pot fi: pentru a corecta acțiunea pieței libere: (căci piața are limitări, neîmpliniri, imperfecțiuni); pentru a promova valorile dezirabile, importante pentru o societate.

1.1.1. Necesitatea de a corecta acțiunile pieței

Alocarea bunurilor care nu sunt private reprezintă un caz particular al problemei acțiunii colective. Ideea că grupurile tind să acționeze pentru promovarea intereselor de grup decurge logic din premisa comportamentului rațional. însă, MancurOlson (1965) arăta că, dacă numărul indivizilor este destul de mic ori dacă există coerciție sau alte prevederi speciale care să-i facă pe indivizi să acționeze rațional în interesul comun, doar atunci ei nu vor acționa egoist (apud E. Ostrom, 1999: 6).

Atunci când un bun este alocat prin acțiunea comună a membrilor unui grup, fiecare membru al grupului beneficiază dacă acel bun se produce. Dar dacă toți fără unul ar proceda astfel, acela ar beneficia fără să fi avut partea lui de costuri. Acela care se sustrage contribuției are comportament „blatisf’: beneficiază de un bun fără să plătească pentru el, în timp ce toți ceilalți plătesc. în cazul bunurilor publice, această situație face ca respectivul bun să se producă într-o cantitate mai mică decât cea necesară. în cazul bunurilor comune, accentul cade pe protejarea lor: Garrett Hardin a numit „tragedia bunurilor comune” (1968) situația resurselor care sunt exploatate de toți membrii unei societăți. Bunurile care nu sunt private sunt o cauză a creșterii alocațiilor de stat; în același timp, este stimulată redistribuirea lor de către guvernare, astfel încât respectivele bunuri să se producă sau să fíe protejate. Richmond Campbell explică (1985: Paradoxes of Rationality and Cooperatiori) atracția „dilemei prizonierului”, prin care se sugerează imposibilitatea cooperării între ființe raționale.

Sunt împrejurări în care produsul social ar putea fi mai mare sub anumite alocări ale resurselor decât cel care ar rezulta prin acțiunea forțelor pieței libere. în mod obișnuit, patru astfel de imperfecțiuni ale pieței sunt menționate: a) bunurile publice; b) monopolurile naturale; c) externalitățile; d) asimetria de informație.

Bunurile publice, în general, sunt accesibile tuturor, și nimeni nu poate fi împiedicat să beneficieze de ele. Dacă fiecare persoană se comportă rațional, ea încearcă să beneficieze de acei bun iară însă a plăti pentru el. Dacă grupul din care face parte acea persoană este mare, contribuția sa individuală la producerea bunului este foarte mică: singură, ea nu-1 poate asigura; dar chiar dacă nu participă la producerea lui, ea nu îi împiedică pe ceilalți să producă acel bun. Atunci când grupul este mare, felul în care se comportă o persoană în producerea acelui bun public trece neobservat: dacă ea contribuie, nu este apreciată; iar dacă nu contribuie, nu este sancționată. Ca urmare, dacă nu plătește pentru producerea bunului, acea persoană va avea beneficii. Așadar: persoana blatistă este rațională. Dar, dacă toți membrii grupului ar face la fel – dacă toți s-ar comporta rațional – acel bun nu ar mai fi produs și situația fiecăruia dintre membrii grupului s-ar înrăutăți. Argumentul care se aduce în acest loc este următorul: e nevoie de coordonarea activității membrilor grupului: or, acest lucru presupune intervenția autorității unor instituții (după A. Miroiu, M. Zulean, M. Rădoi, 2002: 27).

E. Ostrom (1999) a demonstrat că mai există căi de evitare a „tragediei bunurilor comune”: de exemplu, prin autoorganizarea comunităților locale respective și, uneori, prin cooperarea acestora cu instituțiile statului. „Instituții stabile de autoadministrare pot fi create dacă anumite probleme de susținere, credibilitate și monitorizare sunt rezolvate” (pag. 42). Susținere pentru noul set de instituții (Robert Bates, 1988), angajare credibilă deoarece nimeni nu dorește să fíe „fraierul” care respectă o promisiune pe care toți o încalcă, fiind deci nevoie de coerciție externă și supraveghere reciprocă (Jon Elster, 1989) iară de care nu sunt motive pentru a propune noi reguli, căci nu vor fi aplicate.

Monopolurile naturale apar când nu există competiție, sau când ea nu este eficientă și se instaurează monopolul asupra producerii sau furnizării unui bun. „Consecința este că prețul acelui bun crește, iar producția lui e mai mică decât cea dezirabilă social. Prin politici publice, guvernarea poate corecta asemenea situații. In cazurile în care puterea monopolului este redusă sau când există substitute pentru acel bun, nu este necesară intervenția directă. Soluția tradițională a constat în înființarea unei întreprinderi publice al cărei scop era producerea bunului respectiv, pornind de la ipoteza că aceasta va produce bunul într-o cantitate mai mare și la un preț mai mic, ca întreprindere publică, obiectivul central nefiind obținerea de profit. O altă soluție este reglementarea activității întreprinderilor private care produc acel bun, fiind stabilite standarde de producere a bunului sau plafonul maxim al prețului acestuia etc. De asemenea, se mai poate recurge la „franchise”: producerea bunului este cedată prin competiție unor întreprinderi private (cea mai bună calitate la oferta cu cel mai mic preț) supoziția fiind că astfel va scădea prețul acelui bun” (ibidem: 28).

Externalitățile reprezintă consecințe (pozitive sau negative) ale unei acțiuni, care afectează o persoană care a participat voluntar la un schimb, dar care nu a consimțit și la respectivele efecte. De pildă, o externalitate negativă este fumul suportat nefumători atunci când se fumează într-un loc public unde sunt și ei.

Externalități negative

poluare chimică a râurilor, care aduce pagube pescarilor din aval

poluarea aerului de către întreprinderi metalurgice, vătămătoare pentru persoanele care locuiesc în zonă

fumul de țigară de la o persoană, care reduce plăcerea comeseanului nefumător

galeria unui club de fotbal, care disturbă activitatea intr-un institut de cercetare

(după Weimer, D.L., Vining, A.R,, 1999: 90)

Informația asimetrică. Fiind un bun public., informația este caracterizată prin nerivalitate, dar și prin exclusivitate. Persoanele dispun de o cantitate și o calitate diferită a informațiilor referitoare la un bun de care sunt interesate, asimetrie de natură să producă selecție adversă și hazard moral. In aceste cazuri, “piețele private tind să producă prea puțin dintr-un bun sau un serviciu și de aceea sunt necesare politici publice pentru a mări bunăstarea cetățenilor” (A. Miroiu, M. Zulean, M. Rădoi, 2002: 30). Rolul instituțiilor guvernamentale este, în primul rând, de a promova informațiile relevante.

Promovarea unor valori acceptate social

Una dintre cele mai importante rațiuni pentru care guvernământul intervine prin politici este de a crește eficiența acolo unde piața liberă nu reușește singură să o ofere pe cea mai ridicată, însă există și alte valori pe care societățile modeme doresc să Ie promoveze: „idealul libertății, al unei societăți mai drepte, al unei societăți în care drepturile persoanelor sunt respectate, au motivat și motivează multe din acțiunile guvernamentale” (ibidem: 31).

Pentru a face mai intuitiv acest aspect, presupunem că am avea o societate compusă din numai trei persoane: A, B, C. Să mai presupunem că măsurăm pe o aceeași scală beneficiile (sau utilitățile) pe care fiecare din cele trei persoane le obține prin cooperarea socială. Simplificând, ar exista doar trei scheme de cooperare socială: politicile

Care dintre rezultatele care apar prin aplicarea acestor politici este cel dezirabil social?

(exemplu adaptat după U. L. Weimer, A. R.Vining, 1999: 136).

Specificarea funcțiilor bunăstării sociale care convertește utilitățile tuturor indivizilor într-un index al utilității sociale, oferă o alternativă la definirea economică a eficienței și agregă starea de. bine. în loc de a defini eficiența drept capacitatea de a face pe cineva să trăiască mai bine, fără a face pe cineva să trăiască mai rău (principiul paretian), eficiența este definită ca acea alocare a bunurilor care maximizează bunăstarea socială (principiul „celui mai mare bine”).

In configurarea bunăstării sociale au apărut trei modele alternative:

Utilitarist-» U'+LP+U3 Rawlsian-» Min.(U'; U2;U3)

Multiplicativ -> ( U'xlPxU3) / 1000 Modelul utilitarist presupune o filosofie a consecințelor, în care acțiunile sunt evaluate în termenii preferințelor individuale pentru una sau alta dintre consecințele care pot fi agregate. Utilitarismul, fondat de John Bentham și John Stuart Mill a fost adus în modernitate de John Harsanyi (deținător al premiului Nobel).

Principiul utilitarismului este descris uneori drept „cel mai mare bine pentru cei mai mulți” (Bentham) dar, de fapt, el se referă doar la „cel mai mare bine”. Nu contează în mod diferit utilitatea cuiva anume, fondatorii principiului presupunându-1 ca incluzând un principiu al imparțialității: fericirea unei persoane contează la fel de mult ca fericirea alteia, abstracție făcând de identitatea persoanei. Referitor la dreptatea socială (distributivă), principiul este nu unul al egalității, ci al echității: fiecăruia după merit.

Critica adusă utilitariștilor de dinaintea lui J. S. Mill se referă la slaba protecție oferită drepturilor fundamentale ale indivizilor, deoarece în aceste cadre nu se garantează alocații minime per individ (D. L. Weimer, A. R.Vining, 1999: 137).

Un fin egalizator al bunăstării sociale este principiul MAXIMIN, al lui John Rawls, care presupune „cel mai mare beneficiu pentru cel mai puțin avantajat membru al societății Acesta poate fi conceput prin imaginarea unei poziții originare în care, din spatele unui văl al ignoranței, oamenii ar trebui să delibereze privind distribuția oportunităților și resurselor. Rawls arată că oamenii vor avea în unanimitate o aversiune față de riscul de a fi ei cel mai dezavantajați și vor selecta situația care să înalțe poziția celui mai puțin avantajat, conducând Ia cea mai justă distribuție a resurselor. Ideea presupune un acord (în necunoștință de cauză în privința situației personale reale) asupra instituțiilor sociale, fiind în spiritul contractualismului, pe linia lui John Locke și Jean-Jacques Rousseau. Rawlsianismul a fost criticat: pe de o parte pentru că propune o redistribuție extremă, care reduce stimulentele la a crea bogăție; pe de altă parte deoarece, în practică, cei aflați în postura originară nu ar avea aversiune privind riscul, așa cum sugerează Rawls.

Cercetătorii au încercat să reconstruiască poziția originară și vălul de ignoranță prin diferite experimente. Unele rezultate au condus la respingerea principiului MAXIMIN, altele la respingera principiului Harsanyi de „maximizare a utilității medii”. Cei mai mulți subiecți au preferat o alocare ce maximiza utilitatea medie cu câteva constrângeri minime (ibidem:138). Modelul multiplicativ reușește să evite alocarea la cele mai mici nivele a utilității fiecăruia. Existența unei funcționări universal acceptate a bunăstării sociale ar reduce în cea mai mare măsură complexitatea sarcinii cu care se confruntă atât analistul, cât și evaluatorul de politici publice.

Reluând: potrivit utilitariștilor fiecare politică trebuie evaluată ținând seamă numai de consecințele aplicării ei asupra tuturor persoanelor afectate. Politica cea mai bună este aceea care produce cea mai mare utilitate. Comparând cele trei politici din exemplul preluat de la D. L. Weimer și A. R.Vining (1999), observăm că a treia produce cea mai mare utilitate și este cea care, potrivit utilitarismului, trebuie adoptată. Utilitarismul este democratic: ia în considerare, cu aceeași pondere, utilitățile fiecărui membru al societății, dar oferă o protecție cetățenilor; politica a treia este aleasă de utilitariști chiar dacă prin aplicarea ei persoana C obține cea mai mică utilitate dintre toate rezultatele posibile.

„Criteriul pe care l-a propus J. Nash este mai egalitarist: dintre două distribuții ale utilităților, el preferă pe cea care nu permite discrepanțe mari între persoanele implicate”(A. Miroiu, 2001:24). J. Ra wls' consideră că utilitarismul, dar și criteriul modificat al lui Nash, nu reușesc să dea seamă de valoarea fundamentală a societăților modeme: cea a echității sau a dreptății sociale, „Atât prin adoptarea politicii 3, cât și prin adoptarea politicii 1 (care rezultă prin acceptarea criteriului utilitarist, respectiv a celui al lui Nash), persoana cea mai dezavantajată, anume C, nu obține cea mai mare utilitate care îi este accesibilă. Dacă însă aplicăm principiul celui mai mare beneficiu pentru cel mai dezavantajat, atunci politica acceptabilă este a doua” (ibidem). Rawls ajunge la această concluzie apelând experimentul mental descris. In exemplul nostru, am alege politica 2, deoarece maximizează utilitatea persoanei C, cea mai dezavantajată din acea societate.

* 1971, „A Theory of Justice” în Teorii ale dreptății, editor A. Miroiu, ed. Alternative, București, 1996.

„Valoarea dreptății este fundamentală pentru societățile moderne; promovarea politicilor publice trebuie să se raporteze necontenit la ea ca o constrângere esențială. Căci ea înseamnă, în fond:

a respecta libertatea individuală;

a respecta egalitatea de șanse;

a respecta demnitatea umană, dreptul fiecăruia la un trai decent” (ibidem: 25).

Dintre politicile promovate în societățile moderne în această direcție amintim de cele care asigură educația de bază, pe cele privind protecția socială a șomerilor și pensionarilor, cele privind asigurările sociale de sănătate, fixarea salariului minim pe economie etc. Mai sunt și alte valori care exercită constrângeri importante asupra instituțiilor guvernamentale în a promova anumite politici publice: de pildă, respectarea drepturilor minorităților (naționale, rasiale, religioase, sexuale), respectul față de calitatea mediului (constrângeri de natură ecologică).

Analiza de politici publice

Rolul analizei de politici publice

Studiul sau analiza politicilor reprezintă o preocupare relativ nouă (datează din anii imediat următori celui de-al doilea război mondial), chiar dacă guvernările se confruntă dintotdeauna cu probleme privind înfăptuirea politicilor. „Desigur, procesul nu a fost unul lin, și nici nu a existat o explozie imediată a cercetărilor de acest tip. Abia în anii ’70 și mai cu seamă în anii ’80 domeniul a căpătat o identitate bine definită. (…) S-a putut astfel vorbi cu sens despre existența unei științe a politicilor” (A. Miroiu, 2001: 28).

Trăsăturile definitorii ale acestei ramuri științifice ar fi:

multidisciplinaritatea: aplică metode și cunoștințe din domenii diferite;

orientarea spre rezolvarea de probleme: nu are un caracter pur academic, ci caută soluții la problemele lumii reale;

asumarea explicită a normativității: în analiza acțiunii guvernamentale, ea face apel la valori alături de tehnici, la scopuri alături de mijloace (după unul dintre pionierii ei, H. Lasswell, 1951: 15).

După H. Lasswell, știința politicilor are ca scop „sporirea cunoașterii necesare îmbunătățirii practicii democrației. Intr-un cuvânt, accentul cade pe știința politicilor într-o democrație, în care scopul fundamental este demnitatea umană, în teorie ca și în practică”. Analiza de politici publice este:

o disciplină care folosește multiple metode de cercetare și de argumentare pentru a produce și a transforma informația relevantă pentru politici și care poate fi utilizată în contexte politice pentru a rezolva probleme publice (W. Dunn, 1986: 60);

o recomandare făcută clientului, relevantă în deciziile publice și întemeiată pe valori sociale (D. L. Weimer și A. R. Vining, 1999:27);

un proces prin care identificăm și evaluăm politici și programe alternative care urmăresc să diminueze sau să rezolve probleme sociale, economice sau politice (C. V. Patton și D.S. Sawicki, 1986:21);

o artă și un meșteșug: e o artă, pentru că solicită intuiție, creativitate și imaginație pentru a identifica, defini și construi soluții la probleme; și este un meșteșug, pentru că solicită stăpânirea unei cunoașteri metodologice, tehnice și interdisciplinare în domenii care merg de Ia economie la drept și la politică, la comunicare, administrație și management. Pe scurt, este o abordare orientată spre client (Geva-May, I., Wildavsky, A., 1997: XXIII).

Analiza politicilor reprezintă un alt mod de abordare a procesului de înfăptuire a politicilor și se poate realiza:

ca analiză a politicilor: o activitate de cercetare (de multe ori universitară) care vizează în principal studierea, înțelegerea teoretică a procesului de înfăptuire a politicilor;

ca analiză pentru politici: o activitate practică (de multe ori solicitată de un client), care vizează soluționarea unei probleme concrete.

1.2.2» Analistul de politici publice

între cele două tipuri de a analiza politicile publice nu putem distinge rigid, ci mai degrabă, activitatea desfășurată de un analist se află între extreme, astfel (a se vedea W. Parsons, 1995: 55):

Analului – jetor politic

Se pornește de la analize ale modului în care e determinată o politică: cum este făcută o politică; de ce; când; pentru cine. Urmează analize ale conținutului politicilor: descrieri ale unei politici particulare, ale conexiunilor ei cu alte politici, critica ei, pentru a continua cu monitorizarea și evaluarea politicilor, adică examinarea modului în care politicile sunt aplicate, prin raportarea la obiectivele propuse și la impactul lor asupra problemei. Apoi, analizele pentru politici cuprind informații folositoare pentru susținerea politicii, rolul lor fiind acela de a sprijini formularea și aplicarea politicii. în sfârșit, susținerea politicii presupune cercetări, argumente elaborate cu scopul de a influența agenda politicilor, din interiorul sau din exteriorul guvernării. Analistul de politici devine astfel un actor politic (la fel cum actorii politici pot în acest caz să acționeze ca analiști de politici).

„Dezvoltarea cercetărilor de acest tip a fost motivată de un ideal (iluminist) potrivit căruia știința în particular știința politică aplicată-poate sprijini (dacă nu chiar înlocui în unele contexte) luarea unor decizii sociale. Ideea fundamentală aflată în spatele lor era aceea că putem aplica metodele științifice în înțelegerea problemelor sociale; că, folosindu-le, putem analiza opțiunile posibile; și că, aplicându-le, putem decide într-o modalitate rațională (și, de aceea, eficientă), sprijinindu-i pe cei care aplică politicile. Desigur, încă de la sfârșitul secolului al XlX-lea guvernele au început să folosească datele privind realitatea economică și socială într-o manieră sistematică. în anii ’ 50 și ’60 în principal în S.U.A., dar și în țările foste socialiste (care dezvoltaseră mecanisme de planificare) metodele elaborate în științele politice și economice au fost utilizate mai mult. Așa cum sperau promotorii lor, ele urmau să sprijine și să simplifice metodele de elaborare a politicilor publice. Dar, privind în urmă, nu se poate spunecă acele speranțe au fost împlinite. Complexitatea uriașă a problemelor cu care s-au confruntat guvernările în această perioadă, lipsa unor metode îndeajuns de bine elaborate au împiedicat realizarea acestor obiective. în anii ’80 s-a produs de aceea o translație în privința sarcinilor pe care și le pot asuma analiștii de politici și a obiectivelor analizei politicilor. Ideea care a predominat este aceea că analiza politicilor nu are rolul de a înlocui deciziile politice, ci – mai degrabă -ea are rolul de a Ie facilita. Nu are rolul de a propune soluții (soluția optimă sau cea mai bună), ci de a oferi informații, de a face analize specifice și în momente bine determinate ale procesului de înfăptuire a politicilor, chiar dacă formularea de recomandări, pe care decidenții sunt liberi să le accepte sau nu, rămâne un obiectiv important” (A. Miroiu, 2001:32).

Analiștii de politici trebuie să probeze abilități științifice, dar și de inteligență socială. Cele științifice vizează: colectarea informației; structurarea informației; analiza propriu-zisă a acesteia, pentru a extrage concluzii pe baza datelor empirice disponibile. Abilitățile sociale sunt importante pentru sprijinirea managementului unei politici politice (în elaborarea, aplicarea și evaluarea ei).

Monitorizarea politicilor publice

Delimitări conceptuale și noțiuni fundamentale

Funcții și întrebări specifice

Participarea populației țintă

Tehnici de monitorizare

Graficele

Indexul Gini

Reprezentările tabelare

Numerele de index

Analiza de interval temporal

Analiza seriilor de control

MONITORIZAREA POLITICILOR PUBLICE

Reprezintă tehnici preponderent cantitative, prin care se încearcă acoperirea distanței dintre intenții, proiecte și materializări ale programelor sociale. Adesea este inclusă în analiza de politici, însă monitorizarea sistematică și obiectivă este „o activitate esențială de evaluare” (P. H. Rossi, H. E. Freeman, 1991:167).

2.1. Delimitări conceptuale și noțiuni fundamentale

Delimitări față de activități conexe: deoarece permite analiștilor Să descrie relațiile dintre operațiunile programului sau politicii și rezultatele acestuia, monitorizarea este o sursă primară de cunoștințe despre implementarea politicii. Procedura aduce informații cu privire la cauzele și consecințele politicilor publice, fiind interesată în primul rând de stabilirea premiselor factuale ale acestora. „în timp ce premisele factuale și valorice sunt un flux continuu, iar faptele și valorile sunt interdependente, doar recomandarea și evaluarea sunt preocupate expres de analiza sistematică a premiselor valorice alternative” (W. Dunn, 1981: 335).

Distincția dintre „monitorizare” și „evaluare” a fost uneori uitată, convergența lor fiind rezultatul instituționalizării crescânde a eforturilor de evaluare, dar și efectul adoptării sistemelor de gestionare a informației de către tot mai multe programe – o mare parte din datele culese pentru monitorizare pot fi folosite pentru evaluare.

Demersurile de monitorizare se derulează în funcție de nevoile de informare ale celor care evaluează, ale celor care conduc desfășurarea programului, ale celor care finanțează, precum și ale tuturor celor implicați. Ideal este ca activitățile de monitorizare, înțelese ca o parte a evaluării, să acopere integral cererile acestor grupuri, în practică însă, datorită limitelor de timp și resurse, categoriile de „consumatori” și perspectivele lor sunt ierarhizate prioritar.

Fără informații rezultate din monitorizare, evaluatorul s-ar găsi în situația de a cerceta o „cutie neagră”, neavând posibilitatea de a determina care aspect al intervenției a fost eficace și care nu ș.a.m.d.

în privința responsabilității, distingem între „monitorizare” și „auditare”: auditul este o activitate normativă care compară „ce este” și „ce ar trebui să fie”. Monitorizarea se concentrează asupra „identificării și măsurării empirice a ceea ce s-a întâmplat în realitate” (Chelimsky, 1985 – apud P. H. Rossi, H. E. Freeman, 1991: 178). De pildă, un auditor poate afla că, deși legislația prevede ca centrele de sănătate mentală să fie deschise 24 de ore pentru asistență de urgență, centrele sunt deschise doar pe timpul zilei. Monitorizarea poate arăta că bugetele alocate centrelor nu sunt suficiente pentru a asigura securitatea angajaților și, drept urmare, este imposibil să fie găsite persoane dispuse să lucreze noaptea în centrele situate în zonele unde se petrec multe delicte. Există multe conexiuni între monitorizare și auditare, dar ele nu se identifică.

Noțiuni fundamentale

strategie de acces: un plan de a oferi „serviciul” întregii populații vizate;

responsabilitate: cei care conduc programul sunt datori să întocmească evidențe sau rapoarte, pentru cei implicați și pentru finanțatori, asupra conformității programului cu aria de acoperire, intervenția, cerințele legale și bugetare;

erori de acoperire: extinderea aplicării programului asupra altor subgrupuri decât cele estimate a fi populația tintă;

arie de acoperire: dimensiunea populației țintă asupra căreia sc intenționează aplicarea programului;

sistem de livrare: procedurile și mecanismele organizaționaie angajate în oferirea „serviciului”;

sistem de gestionare a informațiilor, un sistem, în mod obișnuit informatizat, care oferă date curente despre livrarea „serviciului”

(adesea includ date despre costurile serviciului, date demografice și sociologice și despre rezultatele tratamentului);

studierea procesului: evaluarea activităților legate de identificarea țintelor și aprecierea conformității programului cu proiectul inițial – sintagma se folosește sinonim cu studierea implementării programului;

elementele programului: activitățile de intervenție, „tratamentele” specifice incluse în program.

Funcții și întrebări specifice

Monitorizarea joacă un rol esențial în analiza de politici publice, îndeplinind cel puțin patru funcții'.

determină dacă acțiunile administratorilor de program, staff-ului și altor persoane implicate sunt în concordanță cu standardele și procedurile impuse de legiuitori, agenții de reglementare și corpuri profesionale;

determină dacă grupurile țintă desemnate (indivizi, familii, municipalități, regiuni) beneficiază efectiv de resursele și serviciile alocate;

informează cu privire la schimbările economice și sociale datorate implementării pe termen lung al unui set amplu de programe și politici publice;

produce informații care ajută la explicarea motivelor pentru care rezultatele programelor și politicilor diferă (W. Dunn, 1981:336).

In cazul monitorizării, informațiile privind efectele politicii sunt colectate ia diverse momente în timp, unele fiind cu caracter general, altele specifice.

Monitorizarea:

este interesată de efectele relevante ale politicii,

este centrată asupra scopului,

este orientată către schimbare,

este preocupată de măsurarea obiectivă și subiectivă a efectelor politicii,

permite clasificarea după mai multe variabile a efectelor.

Pe scurt: dacă monitorizarea răspunde la întrebarea „ce s-a întâmplat, cum și de ce?”, evaluarea răspunde la întrebarea „care este diferența între ce s-a întâmplat și dacă nu s-ar fi întâmplat?” (ibidem: 403).

Relativ la monitorizare formulăm următoarele întrebări, ale căror răspunsuri surprind aspectele cel mai frecvent nelămurite în privința acesteia:

Ce? – efectele relevante ale politicii;

Cum? – centrat pe obiective, identificând și măsurând indicatorii sociali semnificativi;

Pentru ce? – permite clasificări încrucișate ale efectelor și impactului și alcătuirea unei baze de date, care „radiografiază” evoluția programului;

Prin ce metode? – audit social (relaționează resursele, procesele, efectele și impactul), experiment social, observație, analiza documentelor cifrice și necifrice;

Prin ce tehnici? – indici numerici, grafice (histograme, poligoane de frecvență cumulativă, serii de timp etc.), „Gini index”, tabele, analiza seriilor întrerupte (Performance Indicator System)

De ce? – există numeroase motive pentru care se procedează la monitorizarea programelor pe parcursul derulării acestora:

administrarea optimă a resurselor cere managerilor să conducă activitățile zilnice cât de eficient este posibil, cei care nu fac astfel punând în pericol nu doar propria poziție, ci chiar viitorul programului;

cei care finanțează programul, precum și cei implicați au nevoie de evidența cât mai actualizată a cheltuielilor, aceste informații fiind adesea argumentul cel mai puternic în compararea performanțelor agenției care aplică programul social respectiv cu o altă agenție concurentă;

implementarea programului în concordanță cu standardele proiectate inițial reprezintă premisă impactului scontat, uneori însă personalul nu este disponibil, bugetul scade sau crește, echipamentele nu mai funcționează sau rațiuni politice schimbă concepția staff-ului, așa încât aceste modificări trebuie cunoscute pentru a estima cât mai exact cum se va finaliza programul.

Apar circumstanțe în care participanții vizați de program nu sunt în numărul cerut, nu pot fi identificați cu precizie ori nu colaborează

conform estimărilor inițiale, O bună monitorizare poate atrage atenția cu privire la asemenea probleme, deoarece apreciază sistematic măsura în care programul operează, respectând proiectul și populația

țintă.

Maniera cea mai obișnuită de a proiecta și derula monitorizarea este aceea prin care se găsesc informațiile relevante despre impact, dar care să vină în întâmpinarea nevoilor de a ști ale celor care conduc, care finanțează și ale celor implicați în derularea programului. Acest fapt se datorează creșterii nivelului de înțelegere și acceptare a procedurilor de evaluare de către cei care coordonează programe, colaborării din ce în ce mai strânse dintre evaluatori și personalul care implementează programele, precum și inovațiilor în culegerea de date și în procedurile de analiză, sub forma „Sistemului de Gestionare a Informațiilor” (Management Information System).

Sintagma „evaluarea procesului” se utilizează prin contrast cu activitățile de cercetare presupuse de „aprecierea impactului” unui program și se aplică formativ, pe parcursul proiectării inițiale și a testării programului. Adesea, evaluatorii doresc să-și mențină pe cât posibil independența față de conducerea programului, preferând să culeagă singuri date și să întreprindă analize pe cont propriu, limitând feed-back-ul de la conducere, până la terminarea evaluării.

Pe scurt: monitorizarea care servește scopurilor conducerii unui proiect diferă de evaluările care apreciază procesul. Persoanele angajate în evaluare insistă în derularea altei monitorizări decât cea aplicată pentru staff-ul programului, cheltuind resurse semnificative pentru aceleași activități. Tocmai de aceea se întâmplă ca cei care conduc programul „să nu mai acorde atenție informațiilor provenite din monitorizarea derulată de o echipă externă de evaluatori, chiar dacă acestea sunt oferite independent și în mod oportun” (P. H. Rossi, H. E. Freeman, 1991: 171). Datorită motivațiilor diferite, poate apărea o oarecare animozitate între evaluatorii externi și cei interni, din conducerea programului.

23. Participarea populației țintă

Definirea precisă a populației țintă este esențială pentru planificarea, design-ul și implementarea programului. Toate acestea ar fi lipsite de utilitate dacă n-ar fi însoțite de proceduri pentru determinarea măsurii în care țintele participă în mod real la program. Pentru a estima nivelul de acceptabilitate al programului trebuie

cunoscută dimensiunea participării.

Orice intervenție care cere participanților să învețe noi proceduri, care solicită schimbarea unor obiceiuri sau care presupun instruire suplimentară, poate înregistra dificultăți în a atrage grupurile țintă – adică persoanele care au caracteristicile specifice avute în vedere de program. Dimensiunea populației asupra căreia se aplică intervenția este importantă atât pentru managerii programului, cât și pentru cei care îl finanțează.

Pentru a conduce eficient un proiect sunt necesare informații corecte și la momentul oportun privind participarea populației țintă, mai ales când procedurile se pot modifica dacă participarea nu are nivelul dorit. Din perspectiva managerilor și finanțatorilor, aceasta este măsura critică a vitalității și eficienței proiectului. Adesea, cei care planifică politicile publice neglijează problema participării atunci când dezvoltă noi programe; ei presupun că „țintele”sunt motivate să participe, ceea ce nu este întotdeauna adevărat.

„în timp ce acoperirea se referă la extensia pe care o populație țintă o atinge conform nivelului specificat în proiectul programului, eroarea (bias) este gradul în care subgrupuri din populația țintă participă diferențiat” (ibidem: 182). Existența unei erori de acoperire a programului echivalează cu acoperirea mai precisă a anumitor grupuri față de altele. Un astfel de „bias” poate rezulta din:

auto selecție, adică unele subgrupuri pot participa voluntar mai frecvent decât celelalte;

acțiunile programului, de pildă personalul programului poate reacționa favorabil față de anumiți beneficiari ai programului, în timp ce îi respinge pe alții;

influențe neprevăzute, cum ar fi situarea biroului care gestionează programul, așezarea sa încurajând mai mult un grup să participe, datorită accesului convenabil Ia activitățile programului.

Atunci când se testează programele, erorile de acest tip pot constitui o amenințare serioasă Ia validitatea evaluărilor de impact, care pot fi compromise dacă, de exemplu, dimensiunea participării țintelor în grupurile „experimentale”, cărora li se aplică noua intervenție, este semnificativ diferită de participarea țintelor din grupurile de „control”, asupra cărora nu se intervine. în multe evaluări de impact membrii grupului de control renunță într-o măsură mai mare decât cei care suportă intervenția din grupurile experimentale. Un program care ajunge la toți participanții pe care i-a estimat inițial,și Ia nimeni altcineva, este fără „erori de acoperire”. Dorința rezonabilă este ca un program să ajungă la o proporție cât mai largă din populația țintă. Excepție fac acele proiecte ale căror resurse sunt prea limitate pentru a interveni adecvat asupra tuturor celor avuți potențial în vedere. In asemenea cazuri, probabil că definirea țintelor nu a fost suficient de restrictivă pe parcursul planificării programului. Situația poate fi corectată ulterior prin listarea exactă a caracte-risticilor populației țintă. Pentru a folosi mai eficient resursele, cei care gestionează programul pot adăuga, de pildă, la problemele de sănătate, variabile ca vârsta, numărul de membri ai familiei, nivelul veniturilor etc., astfel încât să reducă într-o manieră rațională dimensiunea populației care beneficiază de respectivul program.

Cea mai frecventă problemă „de acoperire” în intervențiile sociale rămâne eșecul în a asigura participarea tuturor țintelor fie datorită erorilor în maniera de a recruta beneficiarii, fie pentru că potențialii participanți refuză tratamentul. Se întâlnește însă și situația opusă: supra-acoperire (overcoverage), când țintelor inițiale li se adaugă segmente de populație pe care programul nu le are în vedere, crescând astfel artificial costurile.

Atât o acoperire deficitară, cât și supra-acoperirea reprezintă cazuri de utilizare ineficientă a resurselor alocate programului. Proporția acoperirii insuficiente este desemnată de persoanele care sunt ținte ale programului, dar care de fapt nu participă la acesta; acoperirea excesivă este exprimată de numărul persoanelor care participă la program, deși nu ar avea nevoie. în general, o acoperire eficientă ar presupune maximizarea numărului celor care beneficiază din totalul celor care au nevoie și minimizarea numărului celor care nu au nevoie dar beneficiază de program.

Eficiența acoperirii poate fi măsurată după formula (propusă de P. H. Rossi, H. E. Freeman, 1991: 184):

Eficiența acoperirii = 100 x

Formula produce valoarea pozitivă de 100 atunci când numărul celor care beneficiază este egal cu populația considerată ca țintă care ar avea nevoie de program, și nu există ținte nepotrivite care, totuși, beneficiază. O valoare negativă de 100, se poate produce doar dacă de program beneficiază exclusiv ținte neadecvate. Valorile pozitive și negative între -100 și +100 indică nivelul acoperirii eficiente, formulă oferind o modalitate de â estima eficiența unui program atât în funcție de țintele propuse, cât și de cele cuprinse neadecvat de program.

Aproape întotdeauna în „măsurarea acoperirii” este dificil de precizat numărul celor care au nevoie de respectiva intervenție, adică amploarea populației țintă. Pentru a aprecia extensia populației țintă care a beneficiat de un anume program se pot folosi: înregistrarea celor care au beneficiat, studiul participanților la program (în eșantioane), precum și studiul asupra comunității, iar datele trebuie să fie corecte și consistente.

Monitorizarea furnizării serviciului este importantă pentru deciziile privind continuarea sau extinderea programului. în mod curent apar trei tipuri de eșec de implementare, neajunsuri care pot fi surprinse prin monitorizarea furnizării serviciului respectiv:

mai întâi absența furnizării intervenției sau intervenția insuficientă,

apoi furnizarea unei intervenții greșite,

în sfârșit, o intervenție sub standarde, necontrolată sau care variază pentru anumite segmente din populația țintă.

2.4. Tehnici de monitorizare

Spre deosebire de alte metode de cercetare a politicilor publice, monitorizarea nu implică proceduri care să se asocieze doar unei abordări. Drept pentru care, aceleași tehnici pot fi aplicate pentru fiecare din cele patru abordări: contabilizare de sistem social, audit social, experiment social și cercetări sociale cumulative.

Graficele

Sunt reprezentări picturale ale valorilor uneia sau mai multor acțiuni sau variabile rezultate. Pot fi folosite pentru a descrie o singură variabilă la anumite momente în timp, sau pentru a releva relațiile dintre două variabile. In ambele cazuri, un grafic afișează mai multe puncte, fiecare definit prin coordonatele celor două scale numerice.

Scala orizontală a unui garfic se numește abscisă, iar scala verticală se numește ordonată. Când un grafic este folosit pentru a afișa o relație cauzală, axa orizontală este rezervată pentru variabila independentă x și poartă denumirea de axa x, în timp ce axa verticală este folosită pentru a afișa variabila dependentă y și se numește axa y. Deoarece unul dintre principalele scopuri ale monitorizării este de a explica modul în care acțiunile politicii afectează rezultatele acesteia, așezăm de obicei variabilele de intrare și cele de proces pe axa x și variabilele de ieșire și cele de impact pe axa y.

Unul dintre cele mai simple și folositoare tipuri de grafice este graficul ce folosește o serie de timp. Acesta afișează o variabilă pe axa verticală și timpul în care ea se desfășoară pe axa orizontală.

a. Serii temporale

Graficele se mai pot folosi pentru a descrie relațiile dintre două sau mai multe variabile la un anumit moment în timp. Acestea se numesc diagrame prin puncte. Ele pot fi folosite pentru a afla dacă o variabilă se modifică în același fel cu cealaltă; dacă sunt corelate, în cazul în care o variabiă o precede pe cealaltă în timp sau dacă există o teorie plauzibilă care să explice variabilele corelate, conchidem atunci că există o relație cauzală între variabile. în caz contrar, variabilele sunt doar corelate, deci o variabilă nu este obligatoriu cauza celeilalte.

O problemă obișnuită în folosirea graficelor derivă din interpretarea eronată, situație în care două variabile par să fie corelate, dar, de fapt, sunt corelate fiecare cu o terță variabilă.

Alt mijloc pentru a descrie rezultatele politicii adoptate îl reprezintă graficele cu bare: o reprezentare în care datele sunt prezentate sub forma unor bare paralele separate, așezate de-a lungul axei orizontale sau verticale.

Interpretări eronate și plauzibile ale datelor

(a)

interpretare plauzibilă » distrugerile

mărimea incendiului provocate de foc

(b)

sursă: exemplu preluat din H.W. Smith „Strategii ale cercetării sociale”, 1975 -apud W. Dunn, 1981: 362.

b. Histogramele

Reprezintă un fel de grafice cu bare care organizează informațiile despre o frecvență grupată a distribuției unei acțiuni sau variabilei rezultate la un moment în timp. Intr-o histogramă, grosimea barelor de-a lungul orizontalei este egală și nu există spațiu între bare. înălțimea barelor într-o histogramă arată frecvența cu care, de pildă acțiunea respectivă se întâmplă în fiecare grup (numită intervalul unei clase).

Diferența dintre o histogramă și un poligon de frecvență constă în faptul că acesta din urmă folosește o serie de linii pentru a reprezenta distribuția frecvenței.

Un alt mod de a descrie informațiile referitoare la rezultatele unei politici îl reprezintă poligonul cu frecvențe cumulative. Acesta este un grafic în care sunt prezentate frecvențele cumulative ale unei distribuții de-a lungul axei verticale. Dacă ne deplasăm de la stânga la dreapta de-a lungul axei orizontale, frecvența elementelor din primul grup este așezată pe axa verticală, apoi elementele din al doilea grup sunt așezate pe axa verticală și așa mai departe, până ajungem la sfârșitul scalei orizontale, care reprezintă suma tuturor frecvențelor.

Pentru a observa efectele unei politici concepute pentru diminuarea sărăciei, un model util de frecvență cumulativă este reprezentat de Curba Lorentz, care poate fi folosită pentru a afișa distribuția impozitului populației sau izolării rezidențiale într-o populație dată. De exemplu o curbă Lorentz ne permite să comparăm o parte din venitul total câștigat de fiecare grup procentual din populație. Aceste grupuri procentuale se numesc quintile sau decile (reprezintă o cincime respectiv o zecime din populație).

Indexul Gini

Curbele Lorentz pot fi folosite de asemenea pentru a afișa distribuția populației sau a anumitor tipuri de activități. Curbele Lorentz pot fi exprimate sub forma proporției concentrației Gini (index Gini), prin care se măsoară proporția ariei totale aflată între diagonală și curba Lorentz. Formula pentru a calcula această proporție este:

[(ZXiYi+1) — (SXi+1 Yi)]

GI =

ZXiYi+1

notă: Xi – distribuția procentajului cumulativ al numărului de teritorii;

Yi – distribuția procentajului cumulativ al populației sau al unei activități.

Indexul Gini arată proporția ariei dintre diagonală și curba Lorentz. Poate fi folosit pentru a descrie nivelul de bogăție, veniturile, numărul populației, a grupurilor etnice, a infracțiunilor și a altor condiții sociale. Avantajul oferit de indexul Gini este reprezentat de faptul că acesta măsoară exact concentrația, care aduce mai multă informație decât reprezentarea pictorială prin curba Lorentz. Mai mult decât atât, indexul Gini merge de la 0 (nici o concentrație) la 1 (concentrație maximă).

Reprezentările tabelare

O altă modalitate de monitorizare a rezultatelor politicilor reprezintă construirea de tabele, adică așezarea unui șir de elemente într-un tabel de formă drept-unghiulară, folosit pentru a însuma caracteristicile principale ale uneia sau mai multor variabile. Cea mai simplă formă de reprezentare tabelară este tabelul cu o singură dimensiune (vârstă, venit, regiune.. timp etc.)

Informația poate fi aranjată de asemenea în tabele cu două dimensiuni, cum ar fi nivelul de educație în raport cu venitul: grupurile țintă după niveluri de educație sau veniturile grupurilor țintă pe anumite perioade de timp.

Un alt model de tabel bidimensional implică analiza a două sau mai multe grupuri după intensitatea variabilelor rezultate, care pot fi angajări, serviciile primite sau câștigurile persoanelor. De exemplu experimentele sociale sunt bazate pe comparațiile dintre grupurile care au beneficiat de un tratament aparte (de exemplu grupul experimental) și grupurile care nu au primit un astfel de tratament. Datele rezultate pot fi aranjate și în tabele cu trei dimensiuni.

Numerele de index

Un mod de a monitoriza schimbările în timp ale variabilelor rezultate este construirea numerelor de index. Acestea sunt măsura a cât de mult se schimbă valoarea unui indicator sau a unui set de indicatori de-a lungul timpului față de un moment inițial. Momentul inițial este ales în mod arbitrar, atribuindu-se valoarea de 100, care servește drept standard pentru compararea schimbărilor următoare ale indicatorilor importanți. In analiza politicilor publice sunt folosite rnuîte numere de index, care pot fi cele folosite pentru a supraveghea schimbările în prețurile pentru consumatori, producția industrială, gravitatea infracțiunilor, poluarea, asistența medicală, calitatea vieții și alte rezultate importante ale politicii.

Numerele de index diferă prin subiect, complexitate și grad de exactitate. Fie că se concentrează asupra prețului, calității sau valorii, numerele de index pot fi simple sau compuse. Numerele simple de index sunt cu un singur indicator (de exemplu, numărul de crime /100.000 de persoane) în timp ce numerele compuse de index au mai multe tipuri de indicatori. Numerele de index pot avea pondere implicită sau explicită. în primul caz indicatorii nu sunt combinați cu nici o procedură explicită pentru a li se stabili valoarea.

După W. Dunn (1981: 371), există două proceduri generale pentru a construi numerele de index: cumulare (aggregation) și normalizare (averaging). Indicii de cumulare sunt construiți prin însumarea valorilor indicatorilor pentru anumite perioade. Procedurile de normalizare (sau așa-numita „medie a metodei relative”) necesită calcularea schimbărilor relative în valorile unui indicator de-a lungul timpului, în timp ce procedurile de cumulare nu fac acest lucru. Un index cumulativ de preț, simplu și folositor, este indexul puterii de cumpărare, care măsoară adevărata valoare a câștigurilor pe perioade succesive. Un index al puterii de cumpărare poate fi folosit pentru a monitoriza impactul contractelor salariale asupra veniturilor reale ale angajaților ca parte integrantă a activităților colective de comerț din sectorul public. Un index al puterii de cumpărare se construiește folosind valorile din indexul prețului de consumator. Aceasta se face prin stabilirea anului pentru care dorim să cunoaștem puterea de cumpărare a salariilor și convertirea acestei valori într-o alternativă a prețului, adică o valoare ce exprimă prețul bunurilor și serviciilor în anul studiat, raportat la un an etalon. Dacă împărțim apoi această variantă a prețului la unu vom obține puterea de cumpărare a salariilor din anul cercetat în moneda anului de referință.

Slăbiciunile unui index cumulativ care calculează spre exemplu gradul de poluare sunt reprezentate de faptul că nu ia în calcul variațiile concentrației poluării sau problemele de sănătate pe care le provoacă.

Numerele de index au ca limite:

procedurile explicite de măsurare sunt adesea lipsite de acuratețe;

este dificil să obținem date pentru indexuri care să aibă aceeași semnificație pentru toate grupurile societății;

– numerele de index nu reflectă întotdeauna schimbările cantitative semnificative pentru sensul sau importanța itemilor din index pe o perioadă de timp.

Numerele de index pot fi folosite pentru a monitoriza o largă varietate de schimbări. Totuși aceste tehnici nu oferă o modalitate sistematică de asociere a schimbărilor din rezultatele politicii cu alte acțiuni politice anterioare. Luăm în calcul trei tehnici care permit analiștilor să elaboreze raționamente sistematice cu privire la efectele acțiunilor politicii asupra rezultatelor sale: analize intermitente ale seriilor temporale, analize ale seriilor de control și analize ale regresiilor discontinuității. Aceste proceduri sunt folosite în corelație cu reprezentările grafice și sunt bazate pe tehnicile corelației și regresiei. Cu toate că două din aceste proceduri (serii temporale intermitente și analiza seriilor de control) sunt în mod egal aplicabile contabilizării sistemelor sociale, auditului social și experimentelor sociale, una dintre ele (analiza regresiilor discontinuităților) este în mod exclusiv aplicabilă experimentelor sociale.

Analiza de interval temporal

Analiza de interval temporal reprezintă un set de proceduri folosite pentru transpunerea în formă grafică și statistică a efectelor acțiunilor politicii asupra rezultatelor politicii ei. Analiza de interval temporal este adecvată pentru probleme în care o agenție inițiază o anumită acțiune care are efecte asupra unei zone sau în rândul unui grup-țintă, de exemplu într-un județ anume sau în rândul tuturor familiilor aflate sub limita sărăciei. Deoarece acțiunile politicii sunt limitate la persoanele din respectiva jurisdicție sau grup-țintă, se creează prilejul de a compara rezultatele politicii în diferite jurisdicții sau categorii de grupuri-țintă. In această situație, singura bază de comparație o reprezintă rezultatele obținute în alți ani.

Această metodă este potrivită în mod special cu abordările folosite în experimentele sociale sau, mai exact, cvasi-experimente, deoarece le lipsește una sau mai multe caracteristici ale experimentelor clasice (o selecție aleatoare a participanților, desemnarea întâmplătoare a membrilor în grupuri experimentale și de control și măsurarea înainte și după experiment). Singura caracteristică pe care aceste intervale o au în comun cu experimentul clasic o reprezintă măsurarea înainte și după derularea acțiunilor politice.

Avantajul major în folosirea intervalelor temporale este că permite concentrarea sistematică asupra diferitelor amenințări la adresa validității inferențelor cauzale cu privire la rezultatele politicii. Importanța acestor amenințări pentru validitatea inferențelor poate fi observată cu ușurință atunci când comparăm rezultatele politicii.

Analiza seriilor de control

Acest tip de analiză implică adăugarea unuia sau mai multor grupuri de control unei diagrame a seriilor temporale întrerupte pentru a determina dacă trăsăturile diferitelor grupuri exercită un efect independent asupra rezultatelor politicii, în afară de acțiunea politică inițială. Logica analizei seriilor de control este aceeași ca în cazul analizei seriilor temporale întrerupte. Singura diferență este aceea că unul sau mai multe grupuri care nu au fost expuse acțiunii politice în cauză, sunt adăugate graficului. Analiza seriilor de control ajută la cercetarea validității afirmațiilor cu privire la efectele acțiunii politice asupra rezultatelor politicii.

Evaluarea de politici publice

Caracteristici ale evaluării

Criterii de evaluare

Tipuri de evaluare

Dificultăți și limite inerente cercetării evaluative

Construcția metodologică și mizele sale

Abordări clasice în evaluarea de politici publice

Evaluarea formativă

Evaluarea sumați vă

Analiza cost – beneficiu

Analiza cost – eficiență

Analiza risc – beneficiu

Evaluarea de impact

Abordări post-pozitiviste

Evaluarea ca dezbatere

Meta-evaluarea

Reflecții critice și soluții alternative

EVALUAREA DE POLITICI PUBLICE

Evaluarea este multiformă, ea suferă de un deficit intrinsec de claritate, ea este prezentată uneori ca o judecată asupra rezultatelor, alteori ca un instrument de îmbunătățire a procesului politic. „Evaluarea nu este doar cercetarea consecințelor acțiunilor publice, a cauzelor care le-au produs, a reacțiilor complexe ale acestora și a mijloacelor de care dispun agenții pentru a le gestiona mai bine. Ea este mai întâi parte a unei mișcări de modernizare (sau de raționalizare) care înlocuiește ghidarea ex ante, sau după principii, cu una ex post, sau după consecințe” (Jean Leca – apud Setbon, 1998: 18).

Evaluarea unei politici publice este o parte a procesului prin care o agenție guvernamentală intervine într-un domeniu pe care și-l asumă a fi de interes (fie că este o problemă „socială”, fie că este o strategie de reformă ori de dezvoltare). Evaluarea este efortul sistematic de a raporta intervenția publică la diferite criterii, relevante pentru un actorul social care inițiază demersul.

Caracteristici ale evaluării

în eonfístüí altor metode ««alitiee utilízate m investigar«« politicilor publice, William Dunn (1981) identifică principalele caracteristici ale evaluării:

Centrarea pe valoare: prin contrast cu monitorizarea, evaluarea se concentrează asupra aprecierilor privind dezirabilitatea sau valoarea politicilor. Evaluarea este în primul rând un efort de a determina meritul sau utilitatea socială a unei politici, iar nu doar culegerea de informații privind efectele anticipate sau nu ale măsurilor unei politici.

Interdependența fapt – valoare: a pretinde că o anume politică a atins un nivel scăzut sau ridicat de performanță cere ca efectele să aibă valoare pentru anumiți indivizi, grupuri sau societate în ansamblu, dar și ca efectele să fíe consecința acțiunilor întreprinse pentru a rezolva o problemă specifică.

Orientarea spre prezent și trecut: exigențele evaluării sunt orientate către efectele prezente și trecute, mai degrabă decât către cele viitoare – așa cum ar presupune nevoia de recomandări. Evaluarea este retrospectivă și are loc după ce acțiunea s-a derulat (expost) sau chiar în timpul implementării, pentru estimarea impactului.

Dualitatea valorii: valorile subsecvente cerințelor de evaluare au o dublă calitate, ele putând fi privite atât ca sensuri, cât și ca scopuri. Adesea, valorile sunt ordonate într-o ierarhie care să reflecte importanța relativă a scopurilor și obiectivelor, dar și interdependența lor (ibidem: 404-405).

Din perspectivă practică, enumerăm câteva activități care presupun folosirea evaluării (Muraskin, 1993: 4):

evidențierea serviciilor de care este nevoie;

stabilirea obiectivelor programului și luarea deciziei privind care anume aspecte vor putea demonstra împlinirea obiectivelor;

elaborarea sau selectarea dintre diversele alternative a variantei optime;

urmărirea ducerii la îndeplinire a obiectivelor programului;

estimarea impactului, dincolo de rezultatele imediate etc.

Criterii de evaluare

Wîlliam Dunn (1981: 405) propune următoarea listă a principalelor tipuri de criterii, însoțite de întrebările aferente și de reflectarea ilustrativă a criteriului.

randamentul A fost obținut un rezultat valoros?\ unități de livrare a serviciului;

eficiența Care a fost efortul necesar pentru obținerea unui rezultat valoros?! unități de cost, beneficiu net, rația cost/ beneficiu;

adecvarea în ce măsură obținerea efectelor soluționează problema?\ costuri fixe, randament prestabilit;

echitatea Costurile și beneficiile sunt distribuite just între diferitele grupuri?! criteriul Pareto, criteriul Kaldor – Hicks, criteriul Rawls;

concordanța Efectele politicii satisfac nevoile, preferințele sau valorile fiecărui grup?\ consistența cu perspectiva cetățenilor;

conformitatea Efectele vizate merită efortul, sunt valoroase?! programele publice ar trebui să fie pe cât de echitabile, pe atât de eficiente.

Tipuri de evaluare

După momentul evaluării

„ex ante” (prospectiv) la formularea politicii;

„pe parcurs” la implementare – monitorizare;

„ex post” (retrospectiv) la finele politicii.

întrebări specifice evaluărilor prospective, aplicate asupra

proiectelor unor intervenții publice:

Problema socială este identificată și definită corect?

" Care este amplitudinea problemei și distribuția populației țintă?

Programul este proiectat așa încât să-și îndeplinească obiectivele?

Este surprinsă coerența rațională?

Sunt maximizate șansele unei livrări de succes a intervenției?

Care sunt costurile proiectate sau prezente?

Care este raportul dintre costuri și beneficii?

întrebări specifice monitorizării programelor pe parcursul

implementării:

Ajunge programul la populația țintă avută în vedere?

Eforturile de aplicare a programului șe desfășoară așa cum §ra

proiectat?

întrebări privind utilitatea programelor, după încheierea acestora:

Programul este eficient în atingerea obiectivelor vizate?

Rezultatele programului potTfatilbuite unor procese alternative, care nu fac parte din acesta?

Care sunt costurile livrării serviciului și beneficiile pentru participanții la program?

(adaptat după P. H. Rossi, H. E. Freeman, 1991:45, 46, 52)

După tipul de politică

inovativă (preponderent „ex ante”): proceduri de diagnoză a ariei problemei, estimări pe indici sociali (cantitativi și calitativi), identificarea țintelor directe și indirecte ale intervenției, a gradului de cuprindere și a erorilor probabile (supra- sau sub- numărul real);

„de acordfinproceduri de armonizare și ajustare pentru creșterea eficienței;

deja derulată, de stabilire a impactului.

Eficiența. Aprecierea eficienței presupune relaționarea costurilor cu rezultatele programului estimate în termeni monetari. Deci, o analiză cost-eficiență necesită nu doar încheierea programului, ci și circumscrierea impactului (P. Rossi, H. Freeman, 1991: 376). Eficacitatea programului se apreciază în atingerea rezultatelor intervenției față de costurile programului în valoare monetară. De altfel, eficacitatea nu poate fi privită doar ca o singură dimensiune, ci se poate judeca în funcție de: obiectiv, sistemul de resurse, modelul relațiilor umane. Criteriile de eficiență reprezintă întotdeauna valorile cuiva anume (Maynard-Moody, 1983: 374).

După metodologie

„de-a gata” (demers pozitivist) — algoritmi, succesiuni de pași (a se vedea ACB, ACE, ARE/ analiza documentelor, observația, ancheta etc.);

„croite pe măsură’ (demers constructivist) compozite, în care evaluatorul imaginează setul de tehnici și metode care să se completeze așa încât să se potrivească obiectivelor cercetării.

După criteriu

eficacitate, eficiență, randament (audit social – dacă a ajuns la populația țintă, contabilizare, ACB, ACE, ARE);

echitate, corectitudine (interviuri în adâncime, focus-

paptl ișrtdâjai 4/g ®pirtit)|

concordanță (ancheta prin interviu și chestionar, cercetare Pannel);

adecvarea cu contextul socio-politic – prin metode participative (dezbaterea – Jenings, ACF – Sabatier);

impactul scontat și cel nedorit (metoda „dublei diferențe”, experiment și design cvasi-experimental, studii transversale).

înțelegând evaluarea drept „aplicarea sistematică a procedurilor de cercetare pentru a aprecia conceptualizarea, proiectarea, implementarea și utilitatea programelor de intervenție socială” (P. Rossi, H. Freeman), Ann Bonar Blalock (1999: 120) clasifică întrebările în funcție de ceea ce se caută:

Pentru evaluarea procesului: Este programul implementat așa cum se intenționa? Ce structuri, politici și practici se desfășoară în contextul manierei dorite de implementare? Cum afectează implementarea rezultatele programului?

Pentru evaluarea rezultatelor: Resimt beneficiarii programului tipul de efecte scontat sau altele independente pentru care programul este responsabil?

Pentru evaluarea impactului net: Modalitatea anume de implementare a programului produce o reală diferență între efecte independent de alte influențe? – acest tip de studii încearcă să determine ce rezultate sau efecte pot fi atribuite exclusiv programului, dincolo de alte influențe sau întâmplări.

Pentru analiza cost – beneficiu: Impactul net al programului justifică propriile costuri? – chiar dacă programul are un impact net pozitiv, nu înseamnă neapărat că merită continuat.

După aria de cuprindere:

~ comprehensivă;

parțială, pe anumite dimensiuni.

O evaluare comprehensivă este descrisă în literatura de specialitate ca incluzând monitorizarea, evaluarea procesului, analiza cost-beneficiu, precum și evaluarea de impact. Totuși, fiecare dintre acestea se disting atât ca manieră de derulare, cât și ca obiective. Monitorizarea ajută la a vedea dacă un program a fost implementat conform planificării. Sistemele de monitorizare a programelor pot oferi un feed-back continuu cu privire la problemele specifice pe care Je-ar ridica implementarea programului. Evaluarea procesului privește modalitatea de operare a programului, concentrându-se asupra furnizării serviciului. Analiza cost-beneficiu sau cost-eficiență evaluează costurile monetare și non-monetare ale programului și, mai ales, relația dintre variantele de utilizare a resurselor și beneficiile pe care le-au produs în cadrul programului. în sfârșit, evaluarea de impact încearcă să determine măsura în care programul a avut efectele dorite asupra indivizilor și instituțiilor, precum și dacă aceste efecte se datorează intervenției programului. De asemenea, evaluarea impactului poate determina consecințele neintenționate, fie ele pozitive ori negative asupra beneficiarilor.

Dificultăți și limite inerente cercetării evaluative

Poate cea mai mare provocare pentru cel care studiază programele sociale și cea mai clară limită a cercetării evaluative constă în faptul că se aplică unui mediu a cărui schimbare provine din continua luare a deciziilor. Programele sociale se caracterizează prin înaltă volatilitate (Rossi P., Freeman H., 1991:38). Tocmai datorită acesteia, constant, evaluării intervențiilor sociale i se asociază un număr de dificultăți.

Mai întâi: resursele, prioritățile și influența relativă a sponsorilor programului se schimbă adesea. Unele dintre schimbări însoțesc modificări ale scenei politice. Cu siguranță, ele vor avea impact asupra oricărei evaluări efectelor, care nu a fost încă întreprinsă. în al doilea rând, interesele și influența celor implicați în derularea programului se pot schimba. Drept urmare, programele pot beneficia sau pot fi afectate dc cooperarea cu anumite organizații ori indivizi. în al treilea rând, prioritățile și responsabilitățile agențiilor și organizațiilor care implementează programele se pot schimba într-o măsură semnificativă. De asemenea, probleme neanticipate relative la intervenție pot apărea sau intervenția însăși^ poate modifica programul și, în consecință, maniera de evaluare. în al cincilea rând, deși rezultatele parțiale ale unei evaluări produc cunoștințe suficient dc siguie, intervenția poate eșua în a determina efectele dorite. Probleme neprevăzute survin și la nivelul punerii în practică a planului de evaluare.

Desigur că multe dintre politici și evaluările lor sunt puțin afectate de fluctuațiile enumerate anterior. Totuși, evaluările care pornesc de la cazul ideal în proiectare și conceperea procedurilor de culegere a datelor pun investigatorul în situația de a trece dincolo de implementarea programului. O consecință a acestui frecvent compromis este aceea că domeniul evaluării este calitativ diferit de cercetarea „științifică”.

Metodele împrumutate de la diverse științe (sociologie, psihologie, psihologie socială, economie, drept etc.), pentru a se adapta specificului politicilor publice, adesea abandonează canonul științific consacrat în favoarea unei aplicări inovative.

Lee Cronbach (1982) își argumenta punctul de vedere pragmatic arătând că, deși demersul strict științific și cel evaluativ urmează aceeași logică și pot folosi aceleași proceduri de cercetare, ele diferă ca intenție și scop. „Evaluarea este o artă, iar fiecare evaluare reprezintă, sau ar trebui să reprezinte un efort idiosincrazic pentru a împăca nevoile sponsorilor și ale tuturor celor implicați în program” (ibidem: 40). In timp ce studiile științifice se raportează la un set de standarde fixate de comunitatea de investigatori, evaluările trebuie proiectate și implementate așa încât să întâlnească interesele celor care finanțează cu ale celor implicați, dar și să ofere maximum de informații utile celor care decid, date fiind resursele limitate, circumstanțele politice și constrângerile programului. Uneori, evaluările pot fi „destul de bune”, în sensul că răspund chestiunilor relevante pentru politică, chiar dacă sub aspect științific nu sunt cel mai strălucit proiectate.

Proiectarea unei investigații evaluative este o artă.

Opțiunile sunt aproape nenumărate: fiecare variantă implică avantaje, dar și sacrificii specifice. Este necesară o teorie a validității și utilității, care să ofere o bază atât pentru a aprecia planurile de cercetare, cât și pentru a gândi altele noi, mai potrivite. Design-ul evaluării presupune alocarea resurselor pentru investigație. Obiectivul celui care pune la punct evaluarea, ca și în cercetarea fundamentală, este de a obține rezultatele maximum folositoare, având Ia dispoziție un anume buget, un număr dat de persoane din cei angajați în evaluare, un număr de ore pe care să le presteze alți colaboratori și alte astfel de constrângeri. „Maximum folositoare” reprezintă cerința cheie. Multe lucrări dedicate cercetării evaluative sugerează că investigația ar trebui apreciată în funcție de respectarea formei,

iar anumite canoane sunt privite ca idealuri universal valabile. Dimpotrivă, alții susțin că investigațiile îndeplinesc diferite funcții. Prin urmare, ceea ce este dezirabil în configurarea uneia nu mai este potrivit alteia. Aceasta ar fi o perspectivă funcționalistă asupra proiectării evaluărilor.

Scopul principal al unei evaluări diferă de cercetarea socială fundamentală: evaluarea trebuie să se plieze diverselor contexte instituționale și politice. Strategia cercetării de evaluare are nevoie de considerații speciale. Logica este necesară în orice domeniu, dar translația logicii demersului în proceduri concrete ar trebui să depindă de context, de scop și de așteptările finanțatorului. Multe din recomandările potrivite programelor de cercetare științifică pe termen lung nu sunt binevenite în evaluare. Din acest motiv, scrierile dedicate planificării și metodelor științifice nu reușesc să-I ghideze pe evaluator. De asemenea, recomandările generale asupra evaluării pot să-l îndrume greșit; evaluările n-ar trebui croite după un singur tipar. Pentru orice evaluare sunt multe proiecte bune, însă nici unul perfect.

adaptat după Lee J. Cronbach (a se vedea P. Rossi și H. Freeman, 1991: 41)

Unii evaluatori avertizează încă de la început că pot fi catalogați drept „vulnerabili” de către comunitatea științifică deoarece, fie condițiile de derulare a politicii, fie resursele disponibile le limitează rigoarea. Așadar, există două maniere de a raportare la design-ul evaluărilor:

aproximarea „perfecționistă” a standardelor științifice (sub argumentul că, uneori, cercetarea științifică fundamentală supune la constrângeri similare evaluării);

mai pragmatic (atât în planificarea, cât și în aplicarea cercetării sale), ținând cont mai întâi de obiectivele finanțatorului și de resursele reale avute la dispoziție.

Doar dublarea cunoștințelor teoretice de experiența practică, intuiția și înțelegerea specificului fiecărui caz în parte constituie premisa evaluărilor maximum folositoare. Chiar dacă de cele mai multe ori termenul de evaluare este folosit sinonim cu cercetarea evaluativă, Peter Rossi și Howard Freeman, însușindu-și perspectiva altor clasici în domeniu (Guba și Lincoln, 1981), arată că doar cea din urmă are ca referențial tradiția științifică.

Construcția metodologică și mizele sale

Așezând față în față maniera pozitivistă și cea constructivistă de elaborare metodologică a unei evaluări, Jean Turgeon (1998: 196) caracterizează fiecare opțiune:

în aceste condiții, Turgeon distinge două mari categorii de metode: ,,prét~á-porter” și ,,sür mesure”. Dacă primele ocazionează evaluări sumative, celelalte sunt prevalent formative.

Le prét-á-porter, în deplin spirit pozitivist, presupune evaluare normativă, experimentală și sumativă. Acestea urmăresc verificarea a posteriori a faptului că o politică:

produce sau nu impactul scontat;

își atinge obiectivele;

produce un randament (costuri versus impact) demn de interes;

nu poate fi înlocuită cu o soluție alternativă mai puțin costisitoare (ibidem: 198).

Una dintre principalele sarcini pentru un astfel de evaluator constă din a cunoaște impactul politicii și a vedea dacă ipoteza teoretică (fie și implicită) care a stat la originea ei se dovedește a fi adevărată sau falsă. în această privință, autori ca Scriven (1980), Mény și Thoenig (1989), Yin (1994) au subliniat necesitatea de a preciza în prealabil, cu referire la respectiva evaluare, „teoria schimbării sociale conținută de un program sau, mai larg, de o politică publică așa încât să se poată discerne corect ce este imputabil efectelor programului” (ibidem).

în absența impactului, evaluatorul ar fi obligat să se asocieze altor experți sau grupuri de actori pentru a proceda la examinarea fazelor de formulare și aplicare a programului. Eșecul programului în a modifica situația problematică a țintelor (în a produce un impact) se poate datora unei planificări defectuoase (care prevedea, de exemplu, un mijloc de intervenție inadecvat) sau unei aplicări deficiente (datorată insuficienței resurselor sau gestionării sub- optimale a celor existente). Pentru entuziaștii metodelor „de-a gata”, investigarea formulării și implementării nu face parte, de fapt, din evaluarea propriu-zisă întreprinsă de ei (Scriven, 1972 – apud J. Turgeon, 1998: 199).

Dimensiunea formativă este auxiliară acestor evaluări care reușesc să aducă rezultate precise, însă, și adepții „pret-â-porter” sesizează mizele strategice care stau dincolo de orice evaluare. De pildă, Marceau et al. (1992) arată că logica subsecventă evaluării depinde în cele din urmă de disponibilitatea datelor, cunoașterea dezvoltării actuale a teoriilor, a evaluărilor anterioare, a avantajelor diferitelor opțiuni și, desigur, depinde de constrângerile de timp și bani la care este supus exercițiul de evaluare.

Deși evaluatorii din acest curent acceptă și faptul că trebuie să negocieze întinderea câmpului evaluativ cu cei interesați, contrar adepților „sur mesure”, ei refuză:

să facă economie în precizarea teoriei schimbării sociale conținută de politică pentru a discerne adecvat efectele imputabile impactului ei;

să limiteze evaluarea la dimensiunea formativă;

să se ocupe de altceva decât problemele relative la punerea în practică (J. Turgeon, 1998: 199).

Le sur mesure presupune acceptarea (atât în planificare, cât și în realizare) unui rol de prim plan jucat de diferitele grupuri de actori implicați de politica publică. Astfel că evaluatorul nu trebuie să formuleze a priori o listă de întrebări, ci să întreprindă un proces de construcție colectivă a cunoștințelor împreună cu părțile interesate de proces.

Un asemenea demers permite readaptarea prin diferite mijloace a concluziilor evaluării, astfel încât ele să devină cât mai utile în luarea deciziei. Chestionarea evaluativă a părților implicate se deplasează din jurul problemelor relative la o mai bună înțelegere a fenomenului, către cele relative la îmbunătățirea producerii și aplicării politicii. Atunci când sunt abordate efectele, evaluatorul constructivist postulează că cel mai în măsură a le estima este chiar cel care participă, iar nu o eventuală listă de întrebări concepută anterior. Așadar: „adevăratele întrebări la care evaluatorul trebuie să răspundă, dimpreună cu diferitele grupuri de actori interpelați prin politica publică, sunt cele ridicate de aceștia din urmă, iar nu cele formulate a priori, la care încearcă să răspundă evaluatorul care croiește în pânza cercetării un proces de evaluare de-a gata” (J. Turgeon, 1998: 198).

Mizele metodologice au o dublă intensiune: politică și epistemologică. Atributele metodologiei sunt legate de tipul de evaluatori aleși pentru procedură: ei pot fi exteriori procesului de aplicare a politicii sau pot fi implicați în acesta. In primul caz avem de-a face cu o evaluare expertă (adesea numită și managerială), în celălalt – cu evaluare de tip politic (sau democratică).

Evaluarea „ expertă” este preocupată exclusiv să emită cunoștințe obiective asupra efectelor acțiunii publice și se înscrie mai degrabă în cadrele pozitiviste. Evaluarea „politică”, din interior, are în vedere împărtășirea unei viziuni comune asupra obiectivelor politicii, clarificată prin rezultatele evaluării, fiind o expresie a cadrului epistemic „constructivist”.

Au existat și propuneri de a depăși disputa dintre partizanii perspectivei universalist – științifice și cei ai demersurilor calitativ – naturaliste. De pildă, perspectiva contingenței, introdusă de Huey- Tsyn Chcn (1998:161-175), încearcă să arate că nici una, nici cealaltă nu pot reuși singure să facă față multitudinii contextelor în care se cer evaluări.

Tipul de informații necesare, disponibilitatea și credibilitatea datelor existente, importanța mediului pentru politica evaluată impun alegerea uneia dintre cele două sau chiar a unui model mixt (cum ar fi, de pildă, cel propus de F. Fischer). H. Chen insistă asupra unicitățiicontextului fiecărei evaluări, care determină după configurație alegerea manierei de evaluare. Rezultă că este interzisă opțiunea a priori pentru o metodă cu pași „ de-a gata ” pozitivistă, expertă (ce-și asumă monopolul cunoașterii datelor empirice datorită algoritmilor deja verificați) sau pentru una elaborată ad-hoc, constructivistă și dialogată, „pe măsura ” înțelegerii tuturor celor care ce au de-a face cu programul sau politica respectivă.

Se disting două blocuri epistemice care opun principalele maniere de concepere și aplicare a evaluării de politici publice, atât ca premise și criterii, cât și ca metode sau chiar rezultate.

Dimpotrivă, un demers evaluativ constructivist va ținti adecvarea politicii și extensia ei, utilizând metodologii elaborate ad-hoc ca procese „pe măsura” înțelegerii tuturor actorilor implicați. în aceasta optică pluralistă, dialogală, evaluatorul este mai degrabă un mediator specializat care facilitează dezbaterea între diferitele percepții și niveluri de satisfacție pe care inițiatorii, cei care aplică și beneficiarii politicilor le au față de aceasta. Varianta modernă, democratică de evaluare se aplică în vederea aprecierii efectelor pe termen lung și la nivel macrosocial ale politicilor publice, tocmai de aceea presupunând costuri sporite.

Evaluările pot fi folosite dintr-o varietate de motive (Eieonore Chelimsky, 1978): cu finalitate administrativă, pentru a aprecia ce schimbări ar fi oportune în cadrul politicii, pentru a identifica modalitățile de îmbunătățire a intervenției, sau pentru a verifica îndeplinirea cerințele finanțatorilor. Ele pot fi întreprinse din rațiuni care au de a face cu formularea politicii, pentru a testa măsura în care noile idei rezolvă problemele comunității, pentru a decide extensia unui program, pentru a furniza argumente în sprijinul sau împotrivaunei politici. în sfârșit, pot fi utile în testarea anumitor ipoteze din științele sociale sau a unor principii de practică profesională. Indiferent de scop, principala problemă rămâne cum să proiectezi și să aplici evaluarea așa încât să nu-și schimbe rezultatele dacă ea ar fi repetată de aceeași echipă sau de un alt grup.

Abordări clasice în evaluarea de politici publice

Multe din activitățile descrise ca „evaluare” sunt în esență non-evaluative. De aceea, W. Dunn (1981: 401) găsește de cuviință să distingă între abordările diferite ale acestui proces: pseudo- evaluarea, evaluarea formală și cea în funcție de teorii și decizii.

Formele majore ale „pseudo-evaluării” includ activități de monitorizare. Evaluarea formală privește efectele politicii prin prisma obiectivelor acesteia, asumate ca atare încă de la început. Doar ele sunt privite ca măsuri adecvate ale valorii politicii. Principala diferență față de pseudo-evaluare o constituie utilizarea prevederilor legale, a documentelor programului, precum și a interviurilor cu cei care au inițiat și administrează proiectul pentru a identifica, defini și specifica obiectivele acestuia. Nu este pusă sub semnul întrebării adecvarea obiectivelor formal asumate de politică, iar criteriile cele mai frecvente țin de eficiență sau eficacitate.

Una dintre cale mai importante categorii de evaluare formală este evaluarea sumativă, care implică efortul de a monitoriza îndeplinirea scopurilor și obiectivelor propuse după o oarecare perioadă de la derularea politicii. Ea caută să aprecieze rezultatele unor politici bine stabilite.

Prin contrast, o evaluare formativă implică demersuri de monitorizare continuă a îndeplinirii obiectivelor. Caracteristic acestui tip de evaluare este numărul de momente diferite în timp la care sunt monitorizate efectele politicii.

Diferite evaluări formale

evaluarea dezvoltării se referă la evaluarea activităților care sunt explicit desemnate a servi nevoile de zi cu zi ale celor care conduc programul; este foarte utilă în a semnala slăbiciunile incipiente ale programului și în asigurarea desfășurării operațiunilor potrivite de către cei care sunt responsabili pentru ele.

evaluarea retrospectivă a procesului implică încheierea programului; evident, nu permite manipularea intrărilor și proceselor, ci se bazează mai degrabă pe descrierea expost facto a activităților de împlinire a programului; cere un sistem bine pus la punct de raportare a informațiilor care privesc programul, adesea dificil de elaborat (sistemele de gestionare a datelor din agențiile guvernamentale permit uneori evaluarea retrospectivă a procesului, deoarece conțin date și despre implementare și despre efecte).

evaluarea experimentală presupune focalizarea efectelor în condițiile unui control direct asupra intrărilor și proceselor; adică, la modul ideal, controlul tuturor factorilor care ar putea influența politica respectivă, mai puțin unul – o anume variabilă procesuală sau un anume input.

Ea cere îndeplinirea mai multor condiții: (1) un set bine definit și direct manipulabil de variabile ale „tratamentului”, care să fie specificate în termeni operaționali; (2) o strategie de evaluare care să permită generalizarea maximală a concluziilor privind evoluția cât mai multor grupuri țintă similare (validitate externă); (3) o strategie de evaluare care să permită minimalizarea erorii în interpretarea performanțelor politicii ca rezultante ale manipulării unor procese sau intrări ale programului (validitate internă); (4) un sistem de monitorizare care produce date de încredere asupra relațiilor complexe dintre precondiții, evenimente neprevăzute, intrări, procese, ieșiri, impacte și consecințe incidentale. Deoarece aceste condiții metodologice sunt destul de greu de îndeplinit, cel mai adesea se optează pentru „cvasi-experimente”.

□ evaluarea retrospectivă a efectelor implică de asemenea monitorizarea și evaluarea rezultatelor, fără însă a avea un control direct asupra intrărilor și proceselor manipulabile ale politicii, ci, în cel mai bun caz, unul indirect ori statistic – adică evaluatorul încearcă să izoleze efectele mai multor factori diferiți folosind metode calitative. Există două maniere diferite de a întreprinde asemenea evaluări: longitudinal și transversal. Studiile longitudinale urmăresc, să surprindă schimbarea efectelor la diferite momente din timpul programului (frecvent, asemenea studii se aplică în domeniul planning-ului familial, în care rata fertilității și schimbările la nivelul acceptării metodelor contraceptive sunt monitorizate și evaluate de-a lungul unei perioade rezonabile de timp: dc la 5 la 20 de ani). Dimpotrivă, studiile transversale încearcă să monitorizeze și să evalueze programe multiple la un anume moment. Obiectivul acestora este de a vedea dacă rezultatele și impactul diferitelor programe variază semnificativ față de un altul, iar dacă da, care anume acțiuni, precondiții, sau evenimente neașteptate pot explica diferența.

Evaluarea decizional — teoretică utilizează metode descriptive pentru a produce informații valide și de încredere despre rezultatele explicit valorizate de cât mai mulți dintre cei implicați (W. Dunn, 1981:411). Diferența specifică dintre acest tip de evaluare șipseudo- evaluare sau evaluarea formală constă din încercarea de a reliefa și a face explicite obiectivele și scopurile manifeste, ca și pe cele latente ale celor implicați (obiectivele formale fiind considerate doar o sursă de valoare). Evaluarea decizional-teoretică este o modalitate de a depăși multe din deficiențele pseudo-evaluării și evaluării formale:

subutilizarea sau neutilizarea informațiilor despre ceea ce s-a efectuat.

Multe din informațiile obținute prin evaluări sunt folosite arareori sau niciodată pentru îmbunătățirea facerii politicii, în parte pentru că evaluările nu sunt suficient de armonizate cu obiectivele și scopurile părților care au fost implicate în formularea și implementarea politicilor și programelor.

ambiguitatea obiectivelor de îndeplinit.

Multe dintre obiectivele politicilor publice sunt vagi, aceasta însemnând că același obiectiv general – de pildă, îmbunătățirea stării de sănătate sau încurajarea unei mai bune conservări a energiei – poate conduce (și conduce) la rezultate care se contrazic la nivelul obiectivelor specifice. Situația este de domeniul evidenței pentru că același obiectiv poate fi operaționalizat în termenii a cel puțin șase tipuri de criterii de evaluare: eficiență, randament, adecvare, echitate, concordanța și conformitatea. Unul dintre scopurile evaluării decizional-teoretice este de a face explicită contradicția obiectivelor și de a le reduce ambiguitatea.

multitudinea obiectivelor contradictorii.

Scopurile și obiectivele politicilor și programelor publice nu pot fi satisfăcătoare de vreme ce se concentrează asupra valorilor uneia sau mai multor părți: în majoritatea situațiilor de evaluare sunt prezente mai multe persoane implicate având țeluri în conflict.

Un obiectiv principal al evaluării decizional-teoretice este de a pune în relație informațiile despre efectele politicii cu valorile celor implicați. Acest proces se desfășoară sub două forme (ibidem: 412): o aprecierea evaluabilității — un set de proceduri menite să analizeze sistemul de luare a deciziei, care se presupune că beneficiază de informațiile obținute și clarifică obiectivele, scopurile și^ premisele față de care trebuie măsurată performanța. întrebarea fundamentală este dacă o politică sau un program poate fi evaluat în vreun fel. Pentru a fi evaluabil, un program trebuie să îndeplinească obligatoriu trei condiții: o articulare limpede a acestuia; obiective și / sau consecințe clar specificate; un set explicit de prezumții care să lege

acțiunile programului de consecințele și / sau obiectivele sale (într-o relație de determinare).

o analiza mnltiatribut a utilității – reprezintă un set de proceduri pentru a scoate la iveală judecățile subiective ale diverselor persoane implicate cu privire la probabilitatea de a se produce și de a fi valoroase efectele scontate de politică.

Pașii de derulare a unei analize multi-atribut a utilității sunt:

identificarea persoanelor implicate. Identificarea celor care afectează și a celor care sunt afectați de politică / program. Fiecare dintre cele două părți au obiective pe care caută să le maximizeze.

precizarea problemelor relevante pentru decizie. Specificarea direcției de acțiune sau interacțiune cu privire la care există un dezacord între cei implicați. In cazul cel mai simplu vor fi două: păstrarea status quo-ului și câteva noi inițiative.

specificarea rezultatelor politicii. Precizarea ordinii consecințelor așteptate în urma fiecărui curs al acțiunilor. Efectele pot fi ierarhizate atunci când o acțiune are mai multe consecințe. O ierarhie a rezultatelor este asemănătoare unui arbore al obiectivelor, cu precizarea că rezultatele nu sunt obiective decât în măsura în care sunt valorizate.

identificarea atributelor rezultatelor. Găsirea atributelor relevante care fac ca rezultatele să fie de valoare. De exemplu, fiecare rezultat al politicii poate avea diferite tipuri de beneficii și costuri pentru diversele grupuri țintă.

ordonarea atributelor. Așezarea fiecărui atribut valorizat în ordinea importanței.

scalarea atributelor. Scalarea atributelor ordonate în funcție de importanță, conferind arbitrar celui mai puțin important atribut 0 valoare echivalentă cu zece. Pentru a identifica atributul următor ca importanță, răspundeți la întrebarea: de câte ori este acest atribut mai important decât cel imediat mai puțin important? Continuați procedura de scalare până când cel mai important atribut a fost comparat cu toate celelalte. El poate avea o valoare pe scală de 10, 20,30 de ori mai mare (sau mai mult!) decât cel mai puțin important.

standardizarea scalei. Atributele scalate vor avea valori maxime diferite pentru diversele persoane implicate. însumarea tuturor valorilor originare pentru fiecare scală, împărțirea fiecărei valori originare la respectiva sumă, apoi înmulțirea cu 100, Aceasta

rezultă din diferite scale ale căror componente au valori de până la 100.

măsurarea efectelor. Măsurarea gradului în care fiecare efect este probabil să rezulte din realizarea fiecărui atribut. Probabilitatea maximă ar trebui să ia valoarea 100, iar cea minimă 0.

calculul utilității. Calcularea utilității fiecărui efect după formula:

unde

Ui ~ agregarea utilității efectului „i”

W ~ valoarea standardizată pe scală a atributului ,j” probabilitatea ca efectul „i” să aibă atributul ,j”

evaluarea și prezentarea. Specificarea efectelor politicii cu cea mai mare performanță și informarea decidenților relevanți (ibidem: 413-414).

Valoarea analizei multi-atribut a utilității constă în faptul că oferă posibilitatea de a gestiona obiectivele contradictorii ale tuturor celor implicați. Ea se poate aplica doar dacă pașii specificați anterior se derulează într-unproces de grup din care fac parte și cei implicați în mod relevant de politică. Prin urmare, grupurile care afectează și cele afectate prin politică trebuie să participe activ la evaluarea performanțelor acesteia.

Din perspectivă elas reă, evaluarea de prfikim pa&iim este privită ca un proces de învățare din și despre consecințele politicilor (Thomas Dye,1987), adică examinarea empirică, obiectivă și sistematică a efectelor politicilor publice. Cercetările evaluative au în vedere cum poate fi măsurată o politică prin prisma obiectivelor propuse, precum și a impactului actual al politicii.

în mod curent, se măsoară relația costuri – beneficii și utilitatea, performanța, sau chiar se folosesc experimente. înțelegem mai bine rolul tehnicilor evaluative dacă relaționăm stadiile politicilor la circuitul informațiilor'. Ideea este reluată și adaptată astfel încât să reliefeze legătura dintre stadiile unei politici publice și analiza evaluativă (T. Parsons, 1995: 546).

în fazele de stabilire a agendei de lucru și de definire a problemei, cercetarea evaluativă are implicații în înțelegerea mărimii și distribuției problemei, în previzionarea nevoilor și în identificarea grupurilor țintă ale programului, precum și a dimensiunilor acestora.

Stadiul de configurare, de proiectare a politicii presupune tehnici decizionale pentru a găsi obiectivele cele mai potrivite. Se dorește aplicarea variantei optime cost-eficiență. Analiza relației dintre cost – beneficiu și eficiență – randament reprezintă o aplicație evaluativă anterioară stadiului propriu-zis dedicat evaluării: este inițiată prospectiv, iar nu retrospectiv.

Conform lui Palumbo, în legitimarea politicii evaluarea privește acceptarea acesteia de către public, precum și de către cei direct implicați. Prin comparație cu analiza cost-benefîciu, legitimarea este un exercițiu non-rațional. Decidenții moderni vor să știe care este dimensiunea (reflectată în sondajele de opinie) sprijinului sau antipatiei față de o inițiativă. „Raționalizarea” opiniei publice în forme care să permită celor care iau decizii să facă aprecieri asupra legitimității unui program sau a unei politici sporește încrederea acestuia. în plus, măsurarea opiniei poate fl inclusă în politică, prin introducerea unei grile publice privind satisfacția sau insatisfacția „beneficiarului” față de furnizarea serviciilor incluse în politica respectivă.

3.6,1. Evaluarea formativă are loc chiar pe parcursul implementării politicii și presupune analize privind amploarea și condițiile optime de punere în practică a programului. Faza de implementare a politicii necesită un asemenea tip de evaluare tocmai pentru a găsi calea cea mai plină de succes. în acest stadiu se monitorizează maniera în sar« programai est® administrat* furnizând“ se astfel un feed-back menit să îmbunătățească însuși procesul de implementare.

Rossi și Freeman (1993) descriu acest mod de evaluare ca decurgând direct din:

măsura în care programul ajunge la populația țintă vizată;

conformitatea livrării serviciilor cu ceea ce era prevăzut în proiectul politicii;

natura resurselor cheltuite în derularea actuală sau viitoare a programului (apud W. Parsons, 1995: 547).

Monitorizarea implementării oferă instrumente pentru a aprecia cum se aplică politica. Prin urmare, aceste informații pot fi folosite pentru a corecta sau a controla livrarea politicii și a o face mai eficientă. Aceasta ia forma a numeroase categorii de „sisteme de gestionare a informației” („Sisteme de informație managerială – M.I.S.), care facilitează acumularea și centralizarea continuă a datelor ce hrănesc deciziile managerilor.

O tehnică centrală pentru abordarea M.I.S. a evaluării este cea a folosirii măsurării performanței ca sursă primară de informație despre aplicarea eficientă a politicii. Datorită presiunii finanțelor publice, acest tip de evaluare a predominat în anii ’70, fiind în creștere nevoia de eficientizare derivată din raportarea input-urilor la output-uri: năzuința de a echilibra ceea ce se folosește și ceea ce se obține (W. Parsons, 1995: 548). Dezvoltarea evaluării performanțelor trebuie înțeleasă în contextul nevoii de control a finanțelor publice și de atingere a celui mai înalt nivel de rentabilitate, eficiență și eficacitate.

Totuși, controlul nu este atât de neutru sau de tehnicist cum s-ar putea crede datorită propensiunii pozitiviste. Indicatorii de performanță (P.I.s) au adesea o nepermisă încărcătură valorică politică: cine stabilește criteriile pentru măsurarea performanței, cum se calculează, cine adresează întrebările, care este perioada selectată pentru evaluare, cine hotărăște ce se înțelege prin „eficiență” și „ eficacitate ”, cum se operaționalizează acestea. In plus, P.I.s pot vorbi despre cantitate, dar multe dimensiuni relevante reprezintă calități care pot sau nu să fie măsurabile. Mai mult decât atât, cât este de corect (chiar și metodologic) să compari „performanțe” în domenii diferite?

Există limite incontestabile ale cuantificării, deoarece există dimensiuni non cantitative, precum cele legate de echitate și dreptate. O cantitate mai mare nu înseamnă neapărat eă ea a fost distribuită echitabil în rândul celor care beneficiază, de asemenea nu putem preciza care dintre aceștia aveau mai mare nevoie de respectiva intervenție. în economie, noțiunea de echitate se aplică la distribuția bunurilor sau investițiilor, distingându-i-se în mod obișnuit o dimensiune orizontală (cu referire la tratament egal pentru egali), precum și una verticală (cu referire la tratament inegal pentru inegali, pentru a-i face mai egali). Oricum, conceptul de echitate este mai îngust decât cel de dreptate, care presupune a da persoanelor ceea ce li se cuvine (MacRae și Whittington, 1997: 387). Se poate întâmpla ca „mai mult” să presupună o cale pentru „mai rău”, iar „creșterea cantității” să nu fie reală pentru cei care primesc și folosesc, ci doar pentru cei la care ajung datele.

Așadar, măsurarea performanțelor în sine poate să nu însemne nimic (ibidem: 548). Cu toate acestea, P.I.s aduc beneficii pentru că determină care este progresul pe calea atingerii obiectivelor, identifică extensiile problemei și contribuie la mai buna managerializare a personalului. Se poate contraargumenta că P.I.s ajută la creșterea capacității de control asupra oamenilor și organizațiilor. Dimpotrivă, pentru „avocații” P.I.s, adevărata problemă ar fi cea a integrității și profesionalismului celor care calculează și implementează acest audit al performanțelor.

Toate avantajele enumerate mai sus devin reale doar dacă P.I.s reflectă adecvat activitățile. Pentru ca ei să oglindească realitatea, trebuie să respecte în mod ideal nouă caracteristici-. să fie consistenți în timp și între unități; să compare aceiași termeni; să fie clar și bine definiți;

să măsoare doar ceea ce este în responsabilitatea managerului; să nu fie independenți de mediul în care este luată decizia; să fie cuprinzători și să reflecte ariile semnificative ale problemei; să se limiteze la aspectele principale ale performanței; să fie relevanți pentru specificul nevoilor și condițiilor mediului organizațional;

să fie realiști în stabilirea scopurilor (Jackson, 1988 – apud W. Parsons, 1995: 549).

3.6.2. Evaluarea sumativă încearcă să estimeze Impactul actual ai politicii asupra problemelor pentru care a fost concepută. Metodele integrate evaluării sumative sunt atât cantitative cât și calitative, relevante fiind și evaluarea programelor de ajustare structurală și cea bazată pe teorie (J. Baker, 1999: 1-13).

3.6.2.1. Analiza Cost – Beneficiu (A.C-B)

Este o tehnică de apreciere sistematică a eficienței impactului unei politici și a intrat în uzul cercetătorilor odată cu evaluarea proiectelor de control al fluxului, din S.U.A. -1930. Actul de Control al Fluxului American (1936) cerea evaluarea proiectelor privind resursele de apă în termenii diferenței dintre beneficiile și costurile estimate. Ulterior, s-a încercat identificarea costurilor și beneficiilor sociale, urmând a decide dacă reglementarea propusă maximizează beneficiul net pentru societate (Weimer și Vining, 1999: 331).

Pentru A.C-B, valoarea relevantă în luarea deciziilor este eficiența economică, iar cheltuiala presupusă de fiecare rezultat important trebuie monetarizată. Dar, chiar și atunci când primează alte valori decât eficiența, A.C-B rămâne un instrument util în evaluarea complexă a unei politici.

Este necesară identificarea tuturor efectelor semnificative și clasificarea lor în costuri și beneficii pentru diversele grupuri implicate. Principiul care întemeiază A.C-B este criteriul Kaldor- Hicks: o politică ar trebui adoptată doar dacă cei care vor câștiga în urma aplicării acesteia pot să compenseze pe deplin pierderile și mai există încă o îmbunătățire a situației. în alți termeni, dacă eficiența primează, condiția sinequanon pentru adoptarea unei politici ține de potențialul său de a fi o „Pareto-îmbunătățire”. Hicks rezumă principiul astfel: o politicăse adoptă doar dacă aceasta nu ar fi exclusiv în interesul celor care vor pierde de a-i mitui pe cei care vor câștiga pentru a nu o adopta. Deși în practică se ajunge de obicei la aceiași rezultat, formulările nu sunt conceptual identice: Kaldor (1939) se bazează pe compensarea variației, Hicks (1940) se bazeză pe echivalarea variației (ibidem: 335).

In deciziile privind cheltuielile publice, A.C-B este principalul cadru analitic și presupune enumerarea sistematică a tuturor costurilor și beneficiilor, tangibile și intangibile (adesea dificil de cuantificat și / sau de măsurat). Ea a devenit o metodă foarte utilizată numai după cel de-ai doilea război mondial, încorporând descrierea balanței finale a variatelor proiecte și a regulii în funcție de care se alege între ele, în acord cu preferințele celor care iau decizia.

Uneori A.C-B este descrisă ca versiune a administrației publice de contabilizare exclusivă a profitului și pierderilor, analogia nefiind potrivită (după E. Stokey și R. Zeckhauser, 1978: 134) deoarece A.C-B examinează întregul impact al proiectului, intern și extern, pe când afacerile private se concentrează doar asupra impactului care le poate afecta bunăstarea. în plus, profitul și costul sunt concepte „ex post”, în timp ce A.C-B poate fi și „ex ante”: ca încercare de a evalua proiectul înainte de a decide în ce formă și la ce scară să fie aplicat sau chiar dacă nu trebuie aplicat deloc.

Argumentul A.C-B este eficiența economică, resursele să fie utilizate în cel mai valoros mod (incluzând și posibilitatea de a fi administrate privat). în practică, A.C-B ajută și la o definire cât mai clară a proiectelor, presupunând o analiză cantitativă de detaliu.

Tehnica prezintă riscul de a fi aplicată abuziv datorită aurei sale de obiectivitate și precizie. Foarte importantă pentru calitatea A.C-B este calitatea datelor cu care se operează.

A.C-B este un instrument ce nu trebuie aplicat mecanic: circumstanțele, plasarea problemei în context și estimările generale conduc la hotărârea nivelului de detaliu al analizei. Regula folosită este ca, în toate situațiile de alegere, să selectezi varianta care produce beneficiul net cel mai mare. Desigur, este posibil ca toate proiectele să producă un beneficiu net negativ, în asemenea cazuri cel mai eficient fiind să nu dai curs nici unuia.

„ Raportul beneficiu-cost ” desemnează împărțirea totalului beneficiilor la costurile totale. Valoarea acestuia variază în jurul unei unități și poate conta în alegerea sau respingerea unui proiect. în multe situații, criteriul „raportului beneficiu – cost” conduce la aceleași opțiuni cu criteriul „maximizării beneficiului net”, însă nu întotdeauna (de pildă, când trebuie ales între proiecte care se exclud reciproc sau când limitarea resurselor reprezintă o constrângere). De altfel, este general acceptat faptul că „raportul beneficiu-cost” nu reprezintă un criteriu satisfăcător pentru a lua o decizie (ibidem: 146).

Dincolo de măsurarea intrărilor și ieșirilor, precum și a echivalării acestora în bani, A.C-B trebuie să se concentreze și asupra distribuției costurilor și beneficiilor ce rezultă din aplicarea unei politici. Frank Fischer citează (1995: 37) un set de întrebări lansate de J. T. Bonnen încă din 1969 pentru a clarifica impactul distribuției.

Pentru beneficii:

Care este ținta sau obiectivul politicii publice, cine ar trebui să beneficieze?

Cine beneficiază nfe fapt, ce grupuri? – uneori nefiind atât de simplu să identifici cu claritate grupurile care beneficiază.

Cât este de mare beneficiul total al programului? – de multe ori, plasarea unei valori în rândul beneficiilor nu constituie o sarcină ușoară.

Care este distribuția beneficiilor politicii printre cei cărora li se aplică?

Care este distribuția curentă a investițiilor și a bunurilor sau altor dimensiuni relevante pentru bunăstarea actualilor beneficiari, precum și pentru cea a beneficiarilor potențiali?

Pentru costuri:

Cine ar trebui să suporte costurile programului? – uneori natura unui program presupune ca la această întrebare să nu se poată răspunde.

Cine plătește de fapt costurile politicii? Identificarea grupurilor responsabile ar trebui să ia în considerare nu doar structura taxelor, ci și prețul direct și efectele intrărilor, precum și efectele indirecte ale factorului major.

Care este costul total al politicii? – de multe ori, acesta include (ca și în întrebarea anterioară) costuri sociale și economice care nu sunt reflectate de cheltuieli bugetare, ci de costuri de piață sau non – piață generate chiar prin operațiunile politicii.

Cum sunt distribuite costurile politicii între grupurile răspunzătoare?

Care este distribuția curentă a bunurilor și investițiilor pentru grupuri care plătesc efectiv, precum și pentru cei vizați să plătească sau potențialii plătitori?

Odată stabilit empiric efectul unui program, evaluarea îl poate măsura ca „beneficiu”, spre deosebire de costurile presupuse de atingerea acestuia. Trebuie puse în balanță „intrările” unei politici cu „ieșirile” acesteia, investițiile cu rezultatele obținute. Majoritatea cercetărilor experimentale se ocupă de calcularea consecințelor politicii, prin A.C-B atribuindu-se costuri și beneficii numerice și calculându-se în termeni monetari cea mai eficientă alternativă de politică (Gramlich, 1990-apud F. Fiseher, 1995: 35).

Prin A.C-B se verifică performanța programelor, acordându-le o valoare economică. Pornind de la premisa că deciziile se iau tehnicist – rațional, metoda folosește valorile monetare ca standard de măsurare. Obiectivul fundamental este de a determina în ce condiții investiția fondurilor într-o politică este economic avantajoasă. în analizele mai complexe, metoda este folosită pentru a identifica politica de care să beneficieze cel mai mare număr de indivizi dintr-o societate dată.

Ideea este simplă: analistul determină mai întâi costurile de care este nevoie pentru factorii de input în împlinirea unui anumit program, apoi atribuie valoare bănească rezultatelor prezumate ori actuale, ce se asociază în derularea programului. în sfârșit, se calculează eficiența programului ca relație a costurilor cheltuite și beneficiilor produse. Un program eficient este unul în care beneficiile depășeșc costurile, iar unul ineficient – invers. Folosind A.C-B în formularea politicilor publice, factorii de decizie se înscriu implicit într-o etică bazată pe utilitarism.

Ca metodă generală, F. Fischer (1995: 36) trasează analiza cost – beneficiu în patru pași:

Este mai întâi necesară stabilirea celor care plătesc și a celor care beneficiază de aplicarea unui program. Pot fi grupuri sociale, zone, orașe, județe sau întreaga societate. în cele mai multe cazuri, chestiunea este determinata de tipul de politică avut în vedere. Tipic, beneficiarii se limitează la cei cărora li se aplică progresiv (ex: programul de recalificare pentru șomeri). Prin contrast, totuși, beneficiarii unei politici de mediu pentru diminuarea încălzirii planetare, pot fi populația unui stat, dacă nu chiar a mai multor națiuni. Pentru înțelegerea acestei perspective mai ample asupra A.C-B, numeroși autori folosesc termenul de macro A.C-B. în loc să examineze beneficii sau costuri ale politicii în relație cu un segment specific de indivizi, grupuri sau jurisdicții guvernamentale (ex. zonele defavorizate), analiza macro-costurilor și beneficiilor extinde aria de măsurare a acestora pentru un întreg set de criterii sau preferințe la nivelul ansamblului societății.

După identificarea grupurilor țintă, se atribuie valoare monetară pentru input- și output- uri. în majoritatea studiilor, costurile se definesc în termenii bugetari stabiliți de guvern. Cele două categorii majore de cheltuieli bugetare sunt reflectate în costuri materiale (echipament, clădiri etc.) și administrative (salarii etc.). Pe lângă acestea, se determină costurile de oportunitate, definite drept costurile necesare pentru a întreprinde ceva fără resurse. în aceeași logică, beneficiile sunt măsurate în termeni monetari. Beneficii tipice sunt creșterea taxelor fiscale, productivitatea mărită și crearea de locuri de muncă în plus. Dincolo de aceste beneficii directe, apar și beneficii care nu pot fi măsurate direct. Exemplele clasice sunt frumusețea scenică și viața omenească. Pentru aceste beneficii trebuie determinat un preț – umbră, printr-o procedură de a judeca subiectiv valoarea monetară a beneficiilor și costurilor, când prețul de piață nu este de încredere sau nu este disponibil. Prețurile umbră sunt derivate uzual prin stabilirea valorii beneficiilor și costurilor într-un context similar sau prin prognoză (după W. Dunn, 1981 – apud F. Fischer, 1995:37).

Cele mai multe A.C-B trebuie să estimeze evoluția costurilor și benficiilor în timp. Echipamentele sau clădirile se pot uza, își pot pierde din valoare, în timp ce alți itemi pot deveni mai rentabili. Sunt numeroase modalități de stabilire a ratei scontate de piață sau de interes, determinată de bănci sau grupuri guvernamentale etc., diferențele Între acestea fiind subiect de dezbatere între economiști.

Ultima etapă: calcularea raportului cost / beneficiu. Acesta este o valoare numerică ce reflectă relația dintre costuri și beneficii: dacă raportul este mai mic decât 1,0 înseamnă că beneficiile sunt depășite de costuri, și invers pentru o valoare mai mare de 1,0. în final, aceste rapoarte ale costurilor și beneficiilor pentru diferiți itemi sunt prezentate într-un tabel și detaliate descriptiv.

Analiza cost – eficiență (A.C-E)

O variantă frecvent utilizată a A.C-B este analiza cost- eficientă, iar aceasta nu privește valoarea bănească a programului.

69

în schimb, costurile sunt măsurate față de nivelurile specifice ale rezultatului (de exemplu, numărul de studenți care au absolvit), într-o A.C-E, compararea variantelor de acțiune se va realiza în termenii costurilor și ai potențialului relativ sau ai capacității de a atinge anumite obiective (Quade, 1982-apudF. Fischer, 1995: 38).

Acest fel de analiză este folosită când scopul este de a determina care dintre variante atinge cel mai bine obiectivul fixat, precum și atunci când este greu să atribui rezultatelor o valoare monetară. Principala metodă este calcularea mediei costurilor relative pentru rezultate. Pentru aceasta este necesar a calcula costurile normale ale fiecărei alternative luate în considerație, a măsura apoi efectele fiecărei alternative și, în sfârșit, a decide care alternativă are efectul cel mai mare cu prețul cel mai mic. De pildă, pentru a găsi cel mai bun raport cost – eficiență pentru transportul la aeroport al unor persoane dtntf-e mmumt&m, se poate eompara media per persoană a costului pentru autobuz, cu cea pentru tren (Fischer, 1995:37).

Analiza risc – beneficiu (A.R-B)

Reprezintă o altă variantă de A.C-B, dar în cazul dat consecințele negative ale unui proiect sunt măsurate în funcție de categoriile riscurilor și de magnitudinea lor pentru indivizii sau comunitatea expusă, în locul unităților monetare (Sylvia, Meier, and Gunn, 1991 – apud F. Fischer, 1995: 38). Ca și în A.C-B, procesul de luare a deciziei este adaptat formal scopului final de a alege alternativa cea mai bună de politică publică. Conform cadrului standard al A.R- B, poate mai corect numită analiza de risc cost – beneficiu, obiectivul principal este de a alege alternativa cu cea mai mai înaltă valoare cantitativă pentru volumul total al beneficiilor scontate minus numărul total ș7 nivelul riscurilor prezumate, pentru toți membrii afectați ai comunității relevante (Hiskes și Hiskes, 1986 – apud F. Fischer, 1995: 38),

A.R-B s-a dezvoltat ca răspuns la provocările pe care societatea tehno – industrială le-a ridicat în fața decidenților. Datorită unui număr tot mai mare de amenințări nou apărute pentru sănătate și pentru mediu, a fost nevoie de metode de măsurare empirică a riscurilor asociate, care să vizeze evaluarea acceptabilității lor. Acest tip de analiză nu a rămas doar o metodă generală de decizie, ci a fost formal adoptată de Agenția de Protecție a Mediului din S.U.A. drept criteriu de bază în dezvoltarea și evaluarea oricărei reglementări pertinente de mediu.

A.R-B integrează două demersuri: A.C-B și estimarea riscului. Riscul se estimează în domeniul amintit, avându-se în vedere atât potențialul pericol tehnologic, cât și amenințările toxice la sănătate. Principiul de estimare a riscurilor este același. Pentru expunerea la toxicitate, de pildă, obiectivul este de a preciza cu acuratețe implicațiile pentru sănătate înainte și după existența pericolului și de a stabili standardele valide de siguranță pentru protecția populației expuse.

Analiza risc – beneficiu presupune patru etape: identificarea pericolului; estimarea amplorii expunerii umane; modelarea reacției; caracterizarea riscului complet.

De obicei, se ține cont de scenariile cele mai pesimiste, rezultatul fiind exprimat în general ca un număr probabil de îmbolnăviri la o mie sau un milion de persoane expuse. Sunt fundamentale întrebările privind abilitatea de a cuantifica riscurile particulare la adresa cetățenilor, dat fiind mai ales numărul redus de date empirice despre efectele chimice în contextul expunerii respective. Evaluatorul construiește adesea modelele statistice complexe bazate pe simulări ale mișcării unor substanțe periculoase (în aer, în apă sau la animale) și pe prefigurarea activității umane ce ar crea-o expunerea la acestea. Datorită ipotezei folosite privind modul în care acele substanțe ajung în corpul uman, apar proleme privind: diferența dintre efectele unei doze crescute folosită experimental și cele ale dozei mai mici existente în realitate; aplicabilitatea testelor pe animale la sănătatea umană; raportarea expunerii pe termen lung la cea pe o perioadă mai scurtă,

A doua fază a A.R-B este o A.C-B, iar obiectivul explicit este de a compara beneficiile rezultate din activitatea periculoasă cu riscurile pe care aceasta le implică. Totuși, costurile se definesc în termenii nivelului specific de risc, iar nu în valori monetare. Metoda presupune atât calcularea beneficiilor proiectului, compararea raportului dintre riscuri și beneficii, cât și multiplicarea cu numărul total de populație afectată.

A.C-B, A.C-E, A.R-B sunt necesare și în evaluarea prospectivă, în urma căreia se poate opta pentru aplicarea unui program

sau a altuia, însă ele vor fi întotdeauna însoțite și de alte estimări. A.C-B este binevenită după implementarea unei politici pentru a constata în ce măsură limitările bugetare conduc la decizia de încheiere, restrângere sau transformare a politicii respective. Acest tip de evaluare ar aparține, după clasificarea propusă de Lincoln și Guba în 1985, primei generații metodologice – anume tehnică, urmând a subzista și a fi îmbunătățită pe parcursul celorlalte vârste ale evaluării – descriptivă, apreciativă, participativă. Analiza cost-beneficiu se înscrie în cadrele pozitiviste clasice, oarecum depășite, dar nu abandonate.

Evaluarea de impact

Deși tot o evaluare de tip sumativ, îi acordăm o atenție specială deoarece este, poate, forma cea mai frecventată de evaluare. Ea urmărește să stabilească dacă intervenția produce sau nu efectele scontate. Estimările au un oarecare grad de plauzibilitate, cu atât mai mare cu cât designul este mai îngrijit. Cu toate că exigențele metodologice sunt înalte, presiunea unor considerații de ordin practic -timpul, banii, protejarea subiecților etc. – limitează opțiunile reale.

Evaluarea de impact vizează aprecierea efectelor unei intervenții publice prin realizarea sistematică a unor comparații semnificative. De exemplu: între situația de dinainte și cea de după aplicarea politicii, compararea impactului intervenției asupra unui grup față de altul sau între un grup asupra căruia s-a intervenit și un altul „de control”, compararea a ceea ce s-a întâmplat cu ceea ce s-ar fi putut întâmpla fără intervenția respectivă sau compararea impactului aceleiași politici în diferite zone ale țării.

Noțiuni cheie

Generalizabilitate: extensia la care reziliatele unei evaluări de impact pot fi extrapolate la politici similare sau de la politici testate la cele implementate.

Efectele rezultatelor brute: rezultatul total măsurat printr-o evaluare, cu referire doar la partea care poate fi cauzată de intervenție.

Impact: efectele nete ale politicii (a se vedea: efectele nete).

Meta-analiză: analiza sistematică a unei serii de evaluări de impact ale unei politici sau ale unui grup de programe, pentru a oferi o estimare serioasă și generalizabilă a efectelor nete.

Efecte nete: rezultatul unei intervenții, după înlăturarea factorilor deformatori.

Măsură prin procură: o varibilă folosită „prin asociere” pentru una care este dificil de măsurat direct,

Cvasi – experiment: un design de cercetare de impact, în care grupul „de control” și cel „experimental” nu au fost randomizate (formate la întâmplare).

Experiment randomizat: un design de cercetare de impact, în care grupul „de control” și cel „experimental” sunt selectate randomizat.

încredere, „ reliabilitate ”: măsura în care rezultatele obținute sunt repetabile în condiții asemănătoare.

Reproductibilitate: măsura în descoperirile unui studiu pot fi reproduse de alți cercetători în condiții comparabile.

Efect stochastic: fluctuații de măsurare care pot fi atribuite întâmplării, șanselor.

Serii în timp: un design de cercetare a impactului, în care efectele sunt estimate de-a lungul unei serii de măsurători înainte și după intervenție.

Măsură validă: o măsură care reflectă sau se presupune că ar putea să reflecte conceptul care se intenționează a fi măsurat.

(după P. Rossi și H. Freeman, 1991: 226-227)

La rigoare, o evaluare de impact trebuie să estimeze cc s-ar fî întâmplat dacă politica nu s-ar fi derulat, față de ceea ce s-a

întâmplat în realitate (the counterjactual). Pentru a determina aceasta, este necesară sublinierea efectelor intervenției, prin raportare la alți factori, folosind grupuri de comparație și grupuri de control. Grupul de comparație este un grup ales la întâmplare, care nu a beneficiat de politica investigată, în timp ce grupul de control este selecționat din aceeași categorie de populație cu cea asupra căreia se intervine.

Evaluarea impactului este adânc înrădăcinată în valori, credințe, ideologii sau alte rațiuni politice: a face dovada că o politică a avut un anume impact sau altul este o chestiune delicată. în privința „terminării” unei politici, ideea că procesul ar decurge conform unui calcul rațional al costurilor și beneficiilor este departe de realitate, într-un studiu de referință din 1983, Peter de Leon releva faptul că decizia de încheiere a unei politici publice rămâne – în esență – politică, dar i se poate atribui un argument comparativ de tipul evaluării sumative.

Unul dintre cele mai interesante modele de evaluare a impactului include dirijarea unui tip de experiment social, tocmai pentru a cerceta situația înainte și după intervenție. în acest scop se folosește un grup martor și unul asupra căruia se intervine experimental. Datele rezultate în urma experimentului sunt de obicei foarte limpezi, dar interpretarea lor ridică probleme.

Manierei experimentaliste de evaluare i-au fost aduse multe critici, dintre care enumerăm alături de W. Parsons (1995: 551):

Societatea este atât de complexă încât nici un experiment nu poate fi derulat iară a omite o seamă de factori. Ce judecăți primează în stabilirea parametrilor fiecărui item ce va fi examinat?

UI Chim se poate desfășură cercetarea așa încât să obțină rezultate „bune”, valide, când experimentele au limite financiare și de timp?

Nu doar costul și timpul condiționează experimentul, el mai depinde și de management și de implementare.

Pot fi relevante experimentele sociale de vreme ce, adesea, trebuie comparate grupuri foarte diferite?

în experimentele sociale, indivizii pot conștientiza faptul că sunt subiecți, iar aceasta le modifică frecvent comportamentul (efectul „Hawthornc”).

Apar și probleme morale: este drept ca un grup să fie privat de resurse, se poate ca unele persoane să nu agreeze ideea de a fi subiecți de experiment.

□ Experimentele cer timp, iar politicienii care ar trebui să decidă nu îl au; se mai poate întâmpla ca, atunci când în cele din urmă un experiment este încheiat, situația inițială să se fi schimbat într- atât, încât rezultatele experimentului să nu mai poată fi folosite. Cu toate aceste neajunsuri, pseudo-experimentele inițiate de guvernământ în problemele foarte complexe continuă să rămână o variantă atractivă. Firește, se consideră că este mult prea costisitor pentru societate să aplici politici la scară largă fără a avea idee despre cum vor funcționa în mod real. Din perspectivă popperiană, schimbarea ar trebui real-imtă. câte puțin pentru a-i testa efectele.

Principalele etape în proiectarea și implementarea evaluărilor de acest tip sunt:

descrierea succintă a politicii pentru a vedea dacă este necesară sau nu o evaluare a impactului, precum și dacă este posibilă sau nu;

clarificarea obiectivelor evaluării (întrebările esențiale, pistele, direcțiile de evaluare), precum și estimarea posibilelor erori;

aprecierea resurselor informaționale (cercetarea relevanței datelor avute la dispoziție);

proiectarea evaluării (stabilirea metodelor, selectarea grupurilor de comparație etc.);

formarea echipei de evaluatori;

culegerea datelor;

analiza datelor, alcătuirea raportului și diseminarea rezultatelor.

Uneori nu se poate delimita impactul net atribuibil intervenției publice, datorită insuficienței datelor semnificative care să diagnosticheze situația inițială (prin comparație cu care s-ar putea determina impactul). în situația absenței datelor privind starea anterioară, „li se poate cere celor care participă la acest program să

evoce statutul lor anterior”, dar comparația va fi afectată de incorectitudine (B. Hodwood, L. Gunn, 2000: 247). Adesea, impactul major, inclusiv eventualele efecte neanticipate, pot fi observabile abia mai târziu.

Pot exista (și adesea există!) factori și evenimente corelate cu efectele, dar care nu sunt cauzate de intervenția publică respectivă. Trebuie văzut ce s-ar fi întâmplat dacă politica nu s-ar fi derulat sau ce ar fi fost veridic în alte condiții. Pentru a determina aceasta, este necesară delimitarea efectului propriu-zis de alți factori, folosind grupuri de control și de comparație.

Grupurile de control sunt alcătuite din indivizi neincluși în politică, deci care nu beneficiază de aceasta și care sunt comparați cu un grup asupra căruia s-a intervenit. Persoanele din astfel de grupuri sunt selecționate întâmplător din aceeași populație cu participanții la politică, în timp ce grupul de comparație este un simplu grup care nu beneficiază de intervenția programului investigat (World Bank: 9).

Atât grupul de control, cât și cel de comparație trebuie să fie asemănătoare din toate punctele de vedere cu grupul supus intervenției: deosebirile dintre ele să decurgă doar din participarea sau non-participarea la program!

„Determinarea nerealității este inima proiectării evaluative” (ibidem). în acest scop se pot utiliza două mari categorii de metode: experimentale (randomizate) și cvasi-exper¡mentale (nerandomizate). Totuși, este destul de delicată delimitarea strictă a impactului programului de situația în absența intervenției, ea putând fi afectată de evoluția istorică, erori de selecție și de contaminare. Pentru stabilirea impactului se pot folosi și metodele calitative sau participative, care oferă adesea o incursiune critică la nivelul percepției și valorizării programului de către beneficiari. în perioada identificării programului și pregătirilor inițiale trebuie colectate datele și trebuie proiectată maniera de derulare a evaluării.

Proiectarea și aplicarea evaluărilor de impact

(după procedura Băncii Mondiale) Pe parcursul identificării politicii:

Determină dacă pui la punct o evaluare sau nu

Clarifică obiectivele evaluării

Explorează disponibilitatea datelor

Proiectează evaluarea

Formează echipa de evaluare

Dacă vor fi colectate date:

proiectează eșantionul și selecția

dezvoltă instrumentul de culegere a datelor

pregătește personalul în domeniu și stabilește-i conducerea

testează (pilot)

culege datele

gestionează datele și accesul

Pe parcursul implementării politicii:

Continuă culegerea de date

Analizează datele

Scrie rezultatele și discută-le cu cei care fac politica, precum și cu celelalte persoane implicate

încorporează rezultatele în proiectul de derulare al politicii

Determină dacă evaluezi sau nu!

Evaluarea de impact diferă de alte evaluări prin aceea că este concentrată asupra aprecierii cauzalității. Date fiind complexitatea și costurile unei evaluări de impact, trebuie estimate costurile și beneficiile și, de asemenea, trebuie analizat dacă nu ar fi mai potrivită o altă abordare (de exemplu, monitorizarea indicatorilor de performanță sau o evaluare a procesului). Dar, factorul decisiv rămâne a stabili dacă o astfel de evaluare beneficiază de un sprijin politic solid și de un suport financiar.

Cel mai indicat este să mobilizezi resursele și efortul cerute de aplicarea unei evaluări de impact atunci când proiectul politicii este inovativ și presupune alocarea unor resurse substanțiale pentru o intervenție bine definită. Ele ar trebui să fie prioritare dacă proiectul în cauză lansează o nouă abordare, care este luată în considerare pentru o extindere viitoare, în funcție de rezultatele respectivei evaluări.

Important este de asemenea dacă politica este suficient de dezvoltată pentru a i se putea evalua impactul. Programele pilot și reformele in stătu nascendi sunt adesea înclinate să-și revadă conținutul, precum și maniera de implementare. Aceste schimbări pot submina coerența eforturilor de evaluare, mai ales în cazul experimentelor care au nevoie de o determinare precisă a grupului de tratament și a celui de control. Atunci când politicile de evaluat sunt încă în procesul de definire, este mai indicată evitarea cercetării impactului pentru a permite politicii să-și păstreze flexibilitatea.

Câștigarea sprijinului politic și financiar se poate dovedi dificilă, dar este o condiție prealabilă a desfășurării proiectului. Finanțatorii și politicienii trebuie convinși că evaluarea este un exercițiu util, de vreme ce adresează întrebări ce pot fi relevante în luarea unor decizii privind extinderea, restrângerea ori rafinarea politicii. în plus, ei trebuie convinși de legitimitatea formulei de evaluare și, prin urmare, a rezultatelor, mai ales atunci când rezultatele nu sunt atât de „pozitive” cât se așteptau.

Finanțarea unei evaluări de impact este o chestiune delicată și pentru că datele cu privire la costurile acesteia sunt dificil de obținut. Poate cel mai neplăcut aspect derivă din valorificarea publică a evaluării: dacă rezultatele sale urmează a fi utilizate și în politicile din alte țări, cum este adesea cazul în programele Băncii Mondiale, de ce ar trebui ca o anumită țară să plătească pentru o asemenea evaluare? Experiența arată că statele sunt dispuse să suporte majoritatea costurilor evaluării, nu însă totalitatea acestora.

Clarificarea obiectivelor evaluării

Odată hotărât faptul că evaluarea de impact este potrivită și justă, trebuie stabilite cu claritate obiectivele, iar acordul asupra chestiunilor cheie care să constituie inima evaluării este esențial. Cunoașterea obiectivelor conduce la identificarea nevoilor de informație, la fixarea indicatorilor de impact și a efectelor relevante, precum și la construirea strategiei de evaluare pentru a oferi răspunsuri la întrebările dorite. Folosirea unui cadru logic reprezintă un instrument dc neînlocuit pentru a identifica obiectivele programului și necesarul de date concrete.

Banca Mondială utilizează din ce în ce mai mult un astfel de cadru alcătuit de o matrice simplă de patru pe patru, în care se armonizează informațiile privind obiectivele programului cu:

modul în care performanțele vor fi urmărite, folosind jaloane și orare de lucru;

ce impact vor avea rezultatele programului asupra instituției sau sistemului care beneficiază; cum va fi măsurat;

ce input-uri sunt folosite pentru a conduce la acele rezultate.

Cu alți termeni, se prezumă că impactul scontat al programului este dependent de ceea ce „intră”, de resurse, dar și de o serie de alți factori. Trebuie identificate măsurile cantitative pentru fiecare verigă din ciclul programului. Această abordare nu conduce evaluatorul Ia decelarea impactului neașteptat la programului, dar îl ajută să păstreze obiectivele limpezi și să se concentreze asupra lor. Tehnicile calitative sunt de asemenea utile în evidențierea participării, în clarificarea obiectivelor și a indicatorilor impactului.

Intervențiile fiind în genere destul de complexe, evaluarea trebuie să se adreseze obiectivelor detaliate pe categorii, concen- trându-se nu numai asupra impactului, ci și asupra unor aspecte operaționale: acoperirea țintelor și respectarea programului ca orar (targeting and timing). Evaluarea de impact poate fi completată de analize cost – eficiență și evaluări ale procesului: raportul cost – eficiență poate interesa în mod deosebit pe cei care vor să decidă în privința extinderii, restrângerii sau reformării intervenției, evaluarea procesului poate fi relevantă în aprecierea procedurilor, normelor, dinamicii și constrângerilor din furnizarea serviciului.

Explorarea datelor disponibile

Evaluările de impact utilizează multe categorii de date. Acestea pot include de la studii transversale și cercetări panel (1a mai multe momente în timp) până la date calitative cum ar fi cele din interviuri deschise etc. Ideal ar fi ca informația să fie disponibilă la nivel de individ pentru a putea fi sigur că este apreciat adevăratul impact. Dalele de la nivel de gospodărie pot ascunde diferențe în alocarea de resurse în interiorul familiei, diferențe care să afecteze femeile și copiii, deoarece ei au adesea o contribuție limitată la resursele productive. Cu ceva creativitate, este posibilă maximizarea resurselor informaționale deja existente. Datele caracteristice pentru populația de interes vor fi folosite drept fundament pentru a determina dimensiunile eșantionului, pentru construirea cadrului de eșantionare și pentru selectarea acestuia.

Alte tipuri de date care pot fi disponibile într-o anumită țară și se pot utiliza în evaluări de impact sunt:

studiile privind veniturile și cheltuielile la nivel de gospodărie;

studiile de măsurare a standardului de viață;

studiile privind piața locurilor de muncă;

înregistrarea cooperativelor, uniunilor de credit și a altor instituții financiare;

datele privind sănătatea publică, mortalitatea infanti lă, incidența diferitelor boli infecțioase, numărul femeilor care se folosesc metode contraceptive sau consumul de prezervative;

studii specializate coordonate de universități, organizații non- guvemamentale, grupuri de Consulting;

date de monitorizare de la administratorii programului;

studii de caz.

Folosirea datelor de cercetare existente

Multe studii pot fi întreprinse pe parcursul proiectării. Dacă este planificată măsurarea indicatorilor ceruți, evaluarea poate fi capabilă să extrapoleze eșantionul la populația de interes pe parcursul studiilor generale. Dimpotrivă, dacă este planificat un studiu care acoperă populația de interes, evaluarea poate introduce o întrebare ori serii de întrebări ca parte a studiului, sau poate adăuga studii calitative pentru a completa informațiile cantitative.

Identificarea resurselor de date pentru evaluarea de impact

(după Banca Mondială: 18) Principala condiție este buna cunoaștere a programului deoarece este riscant să pornești la o evaluare fără a ști detaliile administrative și instituționale ale politicii, informații care provin în mod obișnuit de la cei care o administrează. Pentru aceasta este nevoie de:

Culegerea de informații despre „faptele stilizate” relevante pentru așezare. Ele pot include modul în care funcționează piața de muncă, diviziunile etnice majore, modul de reprezentare al sărăciei, alte programe publice relevante în context.

Eclectism în privința datelor. Sursele pot fi atât informale, interviuri nestructurate cu participanți la program, cât și date cantitative despre eșantioane reprezentative. Totuși, este dificil să întrebi prin interviuri sau focus – grupuri despre ceea ce nu este („counter-factual”); încearcă să întrebi pe cineva care a participat la program „ce-ai fi făcut acum dacă acest program n-ar fi existat?”. Să vorbești cu participanți la program poate fi folositor, dar nu poți oferi o evaluare credibilă bazându-te numai pe acestea.

Garanția că există date privind indicatorii efectelor și variabilele explanatorii relevante. Mai târziu va trebui să te descurci cu eterogenitatea efectelor în funcție de condițiile de participare la program. Efectele pot fi diferite dacă, de pildă, un participant are un nivel superior de educație. Se poate să fie imposibil să distingi impactul programului dacă nu controlezi această eterogenitate.

în funcție de metodele utilizate, pot fi necesare date referitoare la variabilele care influențează participarea, dar nu influențează efectele participării date. Aceste variabile instrumentale pot fi valorificate în clasificarea efectelor cauzale ale programelor non- randomizate.

O Datele despre efeete fi despre variabilele explanatorii relevante pot fi cantitative ori calitative, dar trebuie să fie posibilă organizarea informațiilor într-o structură sistematică de date.

Variabilele „unu” conțin date privind unitățile de observație „unu”, folosite adesea ca părți ale metodei de evaluare. Alegerea lor ar trebui să fie prioritară pentru program și pentru ierarhia în care este introdusă.

Sursele specifice de date privind efectele și ceea ce Ie determină, inclusiv participarea la program, derivă în mod obișnuit din anumite date de cercetare. Unități de observare pot fi gospodăria, firma, zona geografică, în funcție de programul care este studiat.

Datele de cercetare pot adesea să fie suplimentate cu alte date despre program (precum cele din baza de date a monitorizării proiectului) sau despre localizarea lui (ca bazele de date geografice).

Proiectarea evaluării

Odate clarificate obiectivele și resursele de date, se poate începe proiectarea fazelor evaluării de impact. Alegerea metodologiei va depinde de ceea ce vrei să evaluezi, de cât timp ai la dispoziție, de constrângerile bugetare, precum și de capacitatea de implementare. Argumentele pro și contra diferitelor tipuri de design trebuie cântărite pentru a determina care metodologie este mai potrivită și ce tehnici cantitative și calitative se pot folosi pentru a se completa reciproc. Chiar și după ce a fost fixată formula de evaluare și a fost construit proiectul, evaluatorii trebuie să rămână flexibili și să modifice la nevoie designul, pe măsură ce este implementat. în definirea designului este de asemenea important cum se va armoniza evaluarea de impact cu strategia generală de monitorizare și evaluare a programului. întregul efort de evaluare trebuie croit după cerințele de mfommm spesifiee programului.

Problemele de evaluat

Chestiunile ce trebuie evaluate sunt foarte legate de designul evaluării în termenii tipului de date colectate, unităților de analiză, metodologiilor folosite și a programării diverselor stadii. De exemplu, în aprecierea impactului unor manuale asupra rezultatelor în învățare, ar fi fost necesară conceperea unei evaluări pentru a măsura impactul la nivelul studenților, grupelor și profesorilor pe durata unui an școlar. Aceasta ar trebui să difere destul de mult de măsurarea impactului serviciilor oferite prin fondurile de investiție socială, care ar necesita date despre facilitățile existente în comunitate și în gospodării. în clarificarea problemelor de evaluat, este de asemenea importantă luarea în considerare a implicațiilor programului. Din afară se poate să nu fie atât de evident, totuși, în implementarea programului pot apărea efecte secundare, care nu pot fi surprinse prin culegerea de date și eforturile de analiză specifice.

Programarea în timp și chestiunile bugetare

Dacă întreprinzi o evaluare ex-ante, problema critică ține de a estima impactul înainte de termenul de implementare al programului. Oricum, rezultatele trebuie furnizate atunci când este nevoie de ele, la momentul anumit din ciclul de derulare al politicii. Ele pot fi cruciale în luarea unor decizii de continuare sau încheiere a unui program, în perioade electorale etc.

Anumite metode cer mai mult timp decât altele pentru aplicare. Atribuirea randomizată și metodele de comparare a situației de dinainte cu cea de după necesită mai mult timp decât abordările comparative puse la punct ex-post. Când folosești abordările comparative de apreciere a situației înainte și după implementarea unui program, cu stabilirea unui demarcaj și aprecierea situației imediat următoare, timpul trebuie să-ți permită ca cel din urmă membru al grupului de tratament să primească intervenția, mai apoi o altă perioadă pentru ca efectele post – program să se materializeze și să fie observabile. Grossman (1994) sugerează că perioada tipică ce trebuie să treacă pentru a se putea examina impactul este de douăsprezece până la optsprezece luni după înscrierea eșantionului în intervenție. în programele Băncii Mondiale, când se așteaptă atât ca intervenția să aibă loc, cât și materializarea efectelor, poate fi nevoie

d# anii

Cerințele de timp ale evaluării nu pot conduce la modificări în programul evaluat: prin însăși natura sa, evaluarea este un subiect încadrat temporal în restul programului sau politicii. De pildă, intervențiile care privesc infrastructura cer mult timp. Variabila timp este sensibilă și din pricina indicatorilor selectați atunci când au nevoie de o durată mai mare pentru a se manifesta în beneficiul populației, cum ar fi schimbările în rata fertilității sau în nivelul educațional.

Capacitatea de implementare

în ierarhizarea complexității proiectelor de evaluare cel din urmă considerent ține de capacitatea de implementare a echipei de evaluare. Aplicarea poate fi foarte dificilă, mai ales în țările în care lipsește expertiza în privința cercetării evaluative a programelor. Compoziția echipei de evaluare este importantă, ca și experiența acesteia în a aplica diversele metode, precum și capacitatea față de alte activități ce trebuie întreprinse de unitatea de evaluare. Acest fapt este relevant mai ales când se lucrează cu agenții din sectorul public care au multiple responsabilități și un ștaif limitat. Cunoștințele echipei sunt importante nu numai pentru calitatea evaluării, dar și pentru oportunitatea costurilor ținând cont de toate eforturile pe care trebuie să le facă echipa. Există situații în care conducerea unității este angajată în alte proiecte, nefiind în stare să opereze conform cu orarul. Aceste situații pot fi evitate coordonând unitatea cu cei responsabili exclusiv de evaluarea respectivă: să se asigure că se respectă timpii programați pentru fiecare activitate, ca și distribuirea personalului și a resurselor pe parcursul tuturor activităților. Poate fi preferabilă angajarea unei firme care să se ocupe de evaluare.

Formarea echipei de evaluare

Există anumite atribute necesare în munca de evaluare. Calitatea și eventual utilitatea unei evaluări de impact pot crește considerabil datorită unei coordonării externe între membrii echipei și cei care fac politica publică respectivă. Membrii echipei trebuie identificați cât mai repede cu putință, după care trebuie stabilit un acord asupra rolurilor și responsabilităților și mecanismul de

comunicare pe parcursul punctelor cheie ale evaluării.

In esență, o echipă cuprinde managerul evaluării, analiștii economici și din științele sociale, cei care proiectează evaluarea presupunând culegerea de noi date, expertul în eșantionare, echipa de teren și conducătorul ei, apoi cei care structurează și procesează datele. In funcție de mărimea, scopul și designul studiului, unele responsabilități vor fi împărțite sau, adaptat nevoilor, alte persoane se vor adăuga nucleului echipei. Când lipsește experiența în integrarea abordărilor cantitative și calitative, poate fi nevoie de un timp suplimentar în vederea întăririi echipei și construirii unei colaborări âăflmm în gâneml, pmtmtk mi rmpemmbiliîâți mtr*o echipă includ;

Managerul evaluării – responsabil de stabilirea nevoilor de informație și a indicatorilor evaluării, trasarea termenilor de referință, selectarea metodologiei de evaluare, precum și alcătuira echipei. în multe din cazuri, tot el se ocupă de analiza politicii publice.

Analiștii politicii – pentru datele cantitative este nevoie de un economist, iar pentru a analiza participarea și datele calitative este nevoie de un sociolog sau un antropolog. Dimpreună, ei trebuie implicați în scrierea raportului privind evaluarea.

Expertul în eșantionare – poate ghida procesul de selecție al eșantionului. în privința datelor cantitative, el trebuie să poată calcula dimensiunile adecvate ale eșantioanelor pentru indicatorii stabiliți, să selecteze eșantionul, să revadă rezultatele actualului eșantion față de cel prestabilit și să încorporeze totul analizei. în ceea ce privește datele calitative, el trebuie să se asigure că procedurile stabilite garantează o selecție corectă. De asemenea, el trebuie să selecteze locurile și grupurile pentru testările pilot.

Designerul cercetării – (poate fi și o echipă) are responsabilitatea de a proiecta instrumentele pentru culegerea de date, „manualele” și broșurile cu coduri și să se asigure împreună cu managerul echipei că instrumentele dedicate culegerii de date vor produce într-adevăr acele date de care este nevoie. Persoana sau echipa trebuie să fie implicate și în testările pilot, dar și în rafinarea chestionarelor.

Persoana sau echipa de teren – trebuie să fie responsabili cu supravegherea și derularea întregului efort de culegere a datelor, cu planificarea rutelor de culegere a datelor, cu formarea echipei de teren (alcătuită în genere din supervizori, operatori de interviu și șoferi). în anumite culturi este necesar să se țină cont dacă cel care administrează interviul este bărbat sau femeie și dacă interviurile sunt administrate separat.

Cei care gestionează și procesează datele – proiectează programele pentru introducerea datelor, le înmagazinează, le verifică validitatea, produce rezultatele primare și oferă documentația necesară în materie de date.

Managerul echipei trebuie să aibă capacitatea de face aranjamentele instituționale la nivel local, care să asigure calitatea și imparțialitatea rezultatelor evaluării. în plus, el trebuie desemnat așa încât să fie capabil să lucreze efectiv cu cei care produc datele, cu cei care la analizează, ca și cu politicienii care folosesc rezultatele evaluării. Dacă persoana nu este din zonă, se recomandă desemnarea uneia care are conexiunile locale necesare, cu care să se colaboreze îndeaproape.

O problemă delicată este găsirea gradului optim de separare instituțională între cei care efectuează evaluarea și cei care îi folosesc rezultatele. Desigur, se câștigă la nivelul obiectivității atunci când instituția responsabilă de evaluarea programului este independentă, totuși, evaluările pot viza inclusiv creșterea capacității de evaluare prin agențiile guvernamentale și atunci este mai important ca acestea să dobândească expertiză în domeniu.

Dezvoltarea culegerii de date

Evaluarea datelor existente este un prim pas important înainte de a lansa orice nou demers de culegere de date. Tabelul de mai jos așează în relație principalele metode de evaluare cu datele necesare. Majoritatea metodologiilor pot include tehnici calitative și participative în designul instrumentelor de cercetare, în identificarea indicatorilor și a variabilelor folosite.

Metodele de evaluare și necesarul corespunzător de date

(după Banca Mondială: 31)

(Adaptat după Ezemenari, Rudqvist și Subbarao, 1999 și

Bamberger, 1999).

Decizia cu privire la ce anume măsoară evaluarea

Principalul rezultat căutat și indicatorii impactului ar trebui stabiliți când se planifică evaluarea, pe cât posibil ca parte a cadrului logic de abordare. Pentru a fi sigur că evaluarea poate aprecia efectele în perioada de timp relevantă pentru nevoile decidenților politici, trebuie stabilita, o ierarhie a indicatorilor, ordonându-f de îă indicatori ai impactului pe termen scurt (cum ar fi frecvența școlară) până la indicatori ai impactului pe termen lung (cum ar fi absolvirea). In plus, evaluatorul ar trebui să planifice măsurarea furnizării intervenției luând totodată în considerare și factorii exogeni care pot influența rezultatele. Managerii demersului pot planifica evaluarea de-a lungul a mai multe perioade, reușind astfel să surprindă impactul imediat, în timp ce nu ratează măsurarea efectului final.

Informațiile care caracterizează beneficiarii, însă fără o legătură directă cu evaluarea impactului (cum ar fi gradul de sărăcie, opinia față de program etc.), pot fi interesante pentru analist. De asemenea, evaluatorul poate dori să includă și măsurarea costurilor pentru eventuale analize ale eficienței.

Designul ales pentru evaluarea de impact va ține cont și de necesarul de date: va fi specific metodologiei, populației de interes, măsurătorilor propriu-zise etc. Poate fi utilă întocmirea unei matrici a evaluării, în care să se listeze problemele de interes, indicatorii efectului care vor fi folosiți pentru a aprecia rezultatele, variabilele și sursele de date.

Stabilirea abordării și a instrumentelor de culegere a datelor

Adecvarea instrumentelor de culegere a datelor la ceea ce evaluarea caută poate fi dificilă. în dezvoltarea acestor instrumente este indicată implicarea celor din teren, a celor care administrează datele, precum și a conducerii locale. Trebuie să ai garanția că datele culese pot fi descompuse în categorii pentru a putea explora diferențiat impactul programelor sau politicilor specifice.

Evaluările cantitative colectează și înregistrează de obicei informații într-o formă numerică ori ca și categorii precodate. în evaluările calitative, informațiile sunt prezentate în general ca text descriptiv, formalizat puțin sau deloc: pot include răspunsuri individuale Ia interviuri cu întrebări deschise, note luate pe parcursul focus grupurilor sau chiar observații ale evaluatorului cu privire la evenimente. Unele studii calitative folosesc și formalizarea, pre- codificând datele.

Atât pentru culegerea de date calitative, cât și pentru culegerea de date cantitative, este nevoie de o pregătire referitoare la datele specifice acestei evaluări. Prin urmare, este necesar un set de broșuri care să ghideze pregătirea, cât și activitatea în teren. După complexitatea sarcinilor de culegere de date, pregătirea poate cere de la trei zile la câteva luni.

Testările pilot sunt esențiale, deoarece arată dacă un instrument poate produce datele dorite, precum și maniera de integrare a procedurilor de culegere a datelor în ansamblul efortului evaluativ. Testele pilot ar trebui să mimeze cât mai aproape cu putință condițiile din teren. De aceea este necesar ca datele inițiale ale programului să fie gata la momentul testărilor pentru a vedea funcționalitatea instrumentelor în mai multe populații și în diverse arii geografice, care vor face parte din terenul de cercetare.

Rezumăm tehnicile cel mai frecvent folosite ca instrumente de culegere de date în evaluările de impact, analizându-le sumar punctele tari, dar și pe cele slabe (după Taschereau, 1998, apud Banca Mondială: 35).

Eșantionarea

Această „artă” este practicată cel mai bine de către un specialist cu experiență în eșantionare. Proiectarea nu trebuie să fie complicată, ci bine informată pentru a stabili cadrul de eșantionare, strategiile de selecție și dimensiunile adecvate. Specialistul în eșantionare trebuie integrat efortului evaluativ încă de la început, pentru a avea în vedere nevoile de informare și a determina cât timp îi va lua selecția. Coordonarea cu restul echipei este importantă, iar când se realizează comparații ajustate, această colaborare este critică deoarece designul eșantionării devine baza întregului demers. Toți trebuie să colaboreze pentru a fixa criteriile în funcție de care se vor „împerechea” grupurile de tratament cu cele de comparație.

Există multe tranzacții între costuri și precizie în eșantionare și toate aceste aspecte trebuie tranșate pe parcursul construirii cadrului de eșantionare. De pildă, derularea unei eșantionări în două sau trei stadii va reduce și costurile muncii de teren, dar și ale eșantionării în sine, însă numărul erorilor va crește.

O dată determinate variabilele și populația de interes, primul pas al echipei de evaluare va fi stabilirea de către specialistul în eșantionare a puterii calculelor. Atunci când ea poate fi îndeplinită folosind doar măsurarea unui efect, deși evaluările consideră adesea mai multe, sunt necesare unele decizii strategice privind care anume indicator al efectului să fie folosit când se proiectează eșantionul. Pentru a fi sigur că ancheta pilot nu se va desfășura într-un areal care va fi inclus în eșantionul de teren, după construirea cadrului și strategiei de eșantionare, același specialist va fi implicat în selectarea eșantionului atât pentru teren, cât și pentru testele pilot.

După stabilirea terenului, specialistul în eșantionare va oferi asistență în determinarea ponderii eșantionului pentru a socoti expansiunea factorilor și pentru a corecta erorile de eșantionare și non-răspunsurile. în sfârșit, specialistul în eșantionare trebuie să-și detalieze strategia într-un document care include informații despre:

stadiul de proiectare al eșantionului: puterea calculelor care folosesc, variabilele de impact, determinarea erorilor de eșantionare și a dimensiunilor; utilizarea stratificării pentru a analiza populațiile de interes;

stadiul de selecție a eșantionului: o delimitare de stadiul de eșantionare și de selecție a procedurilor;

□ stadiul de muncă de teren până la pregătirea analizei: relația dintre dimensiunea eșantionului și populația din care a fost selectat, rata de non-răspunsuri și alte informații referitoare la ponderea eșantionului, alte informații de care analistul va avea nevoie.

Chestionarele

Designul acestora este important pentru validitatea informațiilor colectate. După Valadez și Bamberger (apud Banca Mondială: 40) există patru tipuri generale de informații necesare într- o evaluare de impact:

5> date nominale clasificate, cu respondeții împărțiți în conformitate cu participarea la program sau aparținând grupurilor de comparație;

variabilele expunerii la tratament care înregistrează nu numai serviciile și beneficiile primite, ci de asemenea frecvența, cantitatea și calitatea (aprecierea calității poate fi destul de dificilă);

variabilele rezultatelor care măsoară efectele programului includ: produsele imediate, rezultatele constante sau furnizarea continuă a serviciilor pe o perioadă lungă și impactul pogramului (cum ar fi îmbunătățirea veniturilor, angajărilor etc.);

variabilele care intervin și care sunt factori ce afectează participarea la un program sau tipul de impact produs Ia nivel individual, de familie sau caracteristicile comunității (aceste variabile pot fi importante în explorarea deformărilor).

Modul în care o întrebare este adresată, ca și ordinea întrebărilor sunt destul de importante în generarea de date de încredere. Un exemplu relevant este măsurarea bunăstării care ar fi necesară pentru cuantificarea impactului direct al unui program de reducere a sărăciei. întrebând individul despre nivelul veniturilor nu vom produce în mod obligatoriu cunoștințe exacte referitoare la nivelul economic al bunăstării. în literatura dedicată măsurării bunăstării, întrebările privind cheltuielile, compoziția familiei, achizițiile, cadourile și trimiterile de bani, valoarea imputată cheltuielilor curente și pe mâncare – sunt folosite în genere pentru a surprinde adevărata valoare a bunăstării individuale și la nivel de gospodărie. Momentul folosit pentru itemii referitori la cheltuieli și ordinea în care aceste întrebări sunt adresate pot afecta semnificativ validitatea informațiilor colectate.

Printre elementele care fac un chestionar să fie bun notăm că acesta trebuie să rămână scurt și concentrat asupra problemelor importante, să se asigure că instrucțiunile și întrebările sunt clare, să limiteze întrebările la problemele evaluării, să includă opțiunea „nici o opinie” pentru întrebările închise și să folosească proceduri verificate de administrare a chestionarelor, care pot fi într-adevăr diferite pentru studiile cantitative și calitative.

Probleme „de teren ”

Operațiunile de teren pot fi ușurate de colaborarea cu ștaiful local care are experiență în a colecta date similare celor necesare evaluării. Aceste persoane au cunoștințe nu numai despre teritoriul geografic care trebuie acoperit, dar cunoștințele lor pot fi esențiale în identificarea și abordarea operatorilor și informatorilor.

Tipul de nevoi proprii celor care colectează date în teren variază în funcție de obiectivele evaluării. De pildă, o evaluare cantitativă de impact a unui program de nutriție poate cere includerea în echipa de studiu a unui antropometrist care să măsoare înălțimea și greutatea persoanelor care beneficiază de program, în timp ce evaluarea de impact a unei reforme educaționale foarte probabil va include specialiști în aplicarea unor teste care măsoară îndeplinirea reformei în domeniul academic. Dacă abordarea este calitativă, abilitățile operatorilor trebuie să difere: este nevoie de o pregătire specială în organizarea și susținerea de focus grupuri, observație directă etc.

Alte trei probleme trebuie reținute când se planifică operațiunile de studiu. Mai întâi, trebuie luate în considerare evenimentele temporale care pot afecta succesul activității din teren, precum și validitatea externă a datelor colectate: calendarul anului școlar, vacanțele, sezonul ploios, vremea culesului recoltelor sau pattern-urile de migrare. Apoi, este crucială testarea instrumentelor de culegere a datelor (chiar și atunci când ele sunt adaptări ale unor instrumente folosite anterior), atât pentru a verifica adecvarea instrumentului în a produce datele de care este nevoie, cât și pentru a familiariza pe cei care lucrează pe teren cu dinamica proceselor de culegere a datelor. Testele pilot mai pot fi utile pentru selectarea echipei care va întreprinde cercetarea de teren. în sfârșit, comunicațiile sunt esențiale pentru operațiunile de teren (utilizarea telefoanelor mobile ar fi binevenită).

Gestionarea datelor și a accesului

Obiectivele unui sistem bun de gestionare a datelor ar trebui să fie asigurarea calității datelor și a livrării lor Ia timp. Furnizarea lor în timp util depinde de cât mai buna integrare a culegerii datelor cu procesarea acestora astfel încât erorile să poată fi detectate și corectate până la momentul stabilirii concluziilor de către echipa de teren. Calitatea datelor poate fi garantată prin verificarea consistenței și validității lor interne atât pe parcursul introducerii datelor, cât și după aceea, precum și prin asigurarea documentației necesare pentru analiștii care le vor folosi.

Documentația ar trebui să conțină: I) informațiile necesare pentru a interpreta datele, inclusiv broșuri cu coduri, ghiduri pentru construirea variabilelor, dicționare cu tipuri de date etc.; II) informațiile necesare pentru a derula analiza, care adesea conțin descrierea obiectivelor și a scopului major al evaluării, detalii privind metodologia de evaluare, rezumate sau copii ale instrumentelor de culegere a datelor, informații despre eșantion, o discuție cu echipa de teren șî ghiduri de folosire a datelor.

Se recomandă ca datele produse prin evaluări să fie deschise și disponibile, dată fiind aprecierea publică a utilității evaluărilor și posibilitatea ca o altă echipă să le folosească într-o viitoare evaluare a impactului pe termen lung. Cu scopul de a facilita împărtășirea datelor, Ia finele evaluării trebuie să se cadă de acord asupra strategiei de acces la date și stabilite norme și responsabilități pentru distribuirea lor. O politică de acces deschis la date lebuie să fixeze granița dintre documentație și protejarea confidențialității celor care informează.

Analiza, raportul și diseminarea

Ca și celelalte stadii ale procesului, analiza datelor cantitative și calitative ale evaluării cere colaborarea dintre cei care produc datele, cei care le analizează și cei care fac politica pentru clarificarea tuturor chestiunilor așa încât rezultatele să fie de calitate și culese în timp util. Problemele privind interpretarea datelor vor surveni pe parcursul analizei și cer contribuția diferiților membri ai echipei. Există multe tehnici de analiză cantitativă și calitativă a datelor și nu ne propunem să le detaliem aici. Menționăm doar două: analiza de conținut și analiza de caz (Taschereau).

Analiza de conținut se folosește pentru datele provenite din interviuri, observații și documente. Revăzând datele, evaluatorul dezvoltă un sistem de clasificare și organizare a informațiilor bazat

pe;

evaluarea întrebărilor pentru care au fost colectate acele informații;

cum va fi folosit materialul;

nevoia de referințe încrucișate la informații.

Codificarea datelor poate fi complexă și poate cere introducerea de ipoteze. Odată clasificate datele începe un proces dificil: analiza, adică încercarea de a găsi patternuri în date și de a pătrunde dincolo de descriere, la înțelegerea impactului și rezultatelor programului. Noile programe lingvistice și etnografice computerizate sunt disponibile pentru analiza datelor calitative.

Analiza de caz se bazează pe studiile de adâncime ale cazurilor individuale sau ale grupurilor. Nivelul crescut al detaliilor oferă o bogată informație pentru evaluarea impactului. Culegerea și analiza datelor se desfășoară simultan. Evaluatorii pot dezvolta și testa explicații, reiaționând părți critice de informație.

Analiza datelor cantitative și calitative

în primul rând, analizele iau mai mult timp decât se estimează inițial, mai ales când datele nu sunt suficient de clare și accesibile Ia începutul analizei, analistul nu are experiență în acea formă de evaluare ori există probleme de colaborare.

în al doilea rând, cel care conduce evaluarea planifică producerea mai multor rezultate ale muncii de analiză, având în minte două elemente: respectarea termenelor de luare a deciziilor și audiența rezultatelor. Produsele ar trebui să fie diferite în funcție de cei cărora li se adresează: finanțatori, publicul general, ziariști, persoane din mediul academic sau politicieni din mediul guvernamental.

în al treilea rând, produsele vor fi mult mai relevante dacă vor face recomandări de ordin practic care să rezulte din analiza impactului. Acestea pot fi descompuse în priorități pe termen scurt, mediu și lung, iar când este posibil, ar trebui să includă implicații bugetare. Decidenții vor fi inclinad să privească „în josul paginii”.

în fine, rapoartele trebuie gândite ca părți ale unei strategii mai ample de diseminare a rezultatelor, care poate să includă de la prezentări pentru diferite audiențe, până la a face informația disponibilă pe web. Această strategie trebuie prevăzută din stadiile de planificare pentru a i se dedica un buget corespunzător.

Abordări post-pozitiviste

Au fost avansate, așadar, puncte de vedere radical diferite asupra a ceea ce poate fi evaluarea într-o societate democratică. Ilustrative pentru temele și metodologia de evaluare „post-pozitiviste” sunt perspectivele citate de W. Parsons (1995: 564-568):

multidimensională (C ook, 1985);

proiectivă (Miller, 1984; Bobrow și Dryzeck, 1987);

B naturalistă (Lincoln și Guba, 1985, 1987; Lincoln 1990).

Abordarea multidimensională pornește de la deziluzia manifestată față de metodele și strategiile de evaluare ca formă de analiză rațională. Se consideră că nu poate exista o opțiune „corectă” de politică, iar evaluarea trebuie să presupună măsurători multiple din perspective diferite, pe variante. Tot astfel cum realitatea are iHsitfțrfe fkțstg, modsUtiițiie d© ăfifiitea feîesife pentru eviluarga lumii politicilor ar trebui să folosească o largă varietate de opțiuni și date. Selecția implică intersectarea variantelor celor mai utile cu cele mai veridice, confruntarea acestora și stabilirea celei mai adecvate.

Științele sociale se preocupă nu cu a garanta adevărul sau utilitatea, ci cu a oferi o interpretare post-factum a ceea ce este lumea. In acest sens, evaluarea implică testarea argumentelor și pretențiilor de a cunoaște, mai degrabă decât avansarea soluției „corecte” sau „adevărate”. Cum nu se poate dovedi ce este corect, procesul de evaluare (și cel al politicilor publice în general) ar trebui să se concentreze asupra unei maniere de cunoaștere multidisciplinară, pluralistă, deschisă la schimb.

Abordarea centrată pe proiectare. (Robrow, Dryzek, Trudi Miller) așează semnul egal între a proiecta și a înțelege realitatea, dar și a acționa asupra ei. „Știința proiectării” este un domeniu în care ceea ce se face este chiar ceea ce se studiază. Această perspectivă își asumă că procesul de înfăptuire a politicii („policymaking”) vizează valori sau obiective. în acest sens, ea se aseamănă cu activitatea unui inginer sau arhitect. Ființele umane „proiectează” realitatea. Astfel, ideea că poți fi obiectiv față de un produs al valorilor umane este eronată, bazându-se pe evaluarea unei realități care se schimbă mereu și scapă sensului creat și atribuit lumii de ființele umane.

Ideea că analiza poate fi neutră sau impresia că politicile publice pot fi studiate într-o manieră pozitivistă este respinsă: nu putem „observa” în sens științific, neutru. Lucrarea lui Miller despre îmbunătățirea performanței în domeniul public (1994), scrisă din această perspectivă, se constituie într-o abatere radicală de la literatura dedicată performanței. Pentru Miller, a îmbunătăți performanța este un obiectiv dezirabii ale cărui valori ar trebui clarifícate cât mai bine pentru a le aplica în circumstanțe specifice îmbogățirii scopului. In locul pretențiilor de obiectivitate și neutralitate valorică ale măsurării performanței, Miller consideră că ar trebui să căutăm a proiecta obiectivele într-o manieră care să implice armonizarea valorilor în diferite circumstanțe (W. Parsons, 1995: 565). Cu alți termeni: în loc să trasăm obiective ce privesc comportamentul uman sau predicții, trebuie precizate limpede valorile pe care dorim să le atingem.

Negând capacitatea abordării pozitiviste a măsurării performanțelor de a îmbunătăți chiar performanțele sectorului public, Miller critică una dintre dezvoltările cele mai semnificative din ultimele decenii în politicile publice.

Bobrow și Drzyek (1987), înscriindu-se în același cadru, „al proiectării”, extind perspectiva. Prin lucrările publicate în 1987,1989, 1990,1993, Dryzek insistă asupra imposibilității de a realiza o analiză defensivă fără a implica procesul politicii la care analiza s-ar referi și proclamă moartea mitului neutralității. ,,Analiștii nu pot evita să fie de partea unei structuri politice de bază. Ei sunt fie pentru tehnocrație autoritară, fie pentru democrație liberală”. Poziția sa este că analiza politicilor trebuie să fíe de partea comunicării deschise și a participării fără restricții: cu alte cuvinte, a democrației discursive și participative (Dryzek, 1993 – apud W. Parsons, 1995: 565).

Dryzek și Bobrow propun în 1987 o schemă procedurală pentru analizele prin proiectare însă nu ca o înlănțuire mecanică și lineară de stadii, ci ca un proces în care ultima etapă poate devansa sau redeschide o fază anterioară. Scopul acestuia n-ar fi „evaluarea” așa cum este ea înțeleasă în genere, ci examinarea diferitelor căi de a privi problemele din perspectiva metodologiilor și valorilor proprii diferitelor cadre epistemice de lucru. Astfel ar crește cu siguranță „calitatea dezbaterii”. Cadrele de lucru sunt instrumente pentru un dialog critic, iar nu doar tehnici care să genereze sau dovedească „răspunsuri”, „fapte”, „costuri ori beneficii”(ibidem: 566).

Abordarea naturalistă continuă ideea dezvoltării dialogului critic dintre diferite cadre de lucru („frameworks”), constituind nucleul celui mai radical model de evaluare-trasat de Gubași Lincoln(1987).

în timp ce exponenții abordărilor multidimensionale și proiective priveau procesul de înfăptuire a politicilor ca întreg, Guba și Lincoln înțeleg „evaluarea” ca o fază distinctă în stadiile politicilor.

Cei doi autori identifică patru „generații” în evoluția evaluării:

tehnică; după primul Război Mondial, cu dezvoltarea testelor de inteligență, de aptitudini, evaluarea a fost privită ca un exercițiu tehnic de măsurare. Rolul evaluatorului a fost de „tehnician”, deținător al unor competențe tehnice.

* descriptivă; pe parcursul anilor ’40, a doua generație s-a concentrat asupra descrierii patternurilor, virtuților și limitelor presupuse ca obiective. Rolul evaluatorului a fost, alături de cel de tehnician, acela de a descrie.

apreciativă; în anii ’60-’70 evaluarea s-a dezvoltat ca o știință în care cercetarea obiectivă și standardele au fost utilizate pentru a măsura eficiența și eficacitatea programelor, iar rolul evaluatorului a fost al celui care estimează.

participativă; această fază în care consideră Guba și Lincoln că ne aflăm, este cea a modelelor relaționar – adaptative („responssive ”), care se concentrează nu asupra obiectivelor, deciziilor, efectelor, ci asupra drepturilor, grijilor și problemelor unei varietăți de persoane implicate.

în această ultimă categorie, ei includ: „evaluarea instructivă” (Parlet și Hamilton, 1972); „evaluarea centrată pe utilizare” (Patton,I987) și „evaluarea ostilă” (Wolf,1979), ca și „evaluarea naturalistă”. Toate acestea au în comun credința că pluralismul valoric este ideea care să ghideze evaluarea ca formă de negociere, iar nu căutarea „adevărului”.

Evaluarea este privită ca un construct al tuturor celor
implicați.

In acest sens, cunoașterea ca rezultat al negocierii este fundamentală pentru procesul politic. Prin urmare, evaluarea ar trebui să se ocupe de colaborarea deplină și cât mai largă a tuturor celor care sunt implicați într-un program: „agenții” (care l-au inițiat sau care îl aplică); „beneficiarii” (grupurile vizate, cei asupra cărora se va răsfrânge potențial); „exclușii” sau „victimele”.

Situația ar trebui să constituie o oportunitate pentru toți de a contribui cu ceea ce îi privește la fiecare stadiu al evaluării: dc la

definirea termenilor investigației, obiectivelor acesteia și proiectării ei, până la culegerea datelor, analiza și interpretarea lor. Evaluarea ar deveni în acest sens un proces de învățare, iar evaluatorul – cel care mediază și facilitează învățarea și schimbarea.

W. Parsons arată că, din acest punct de vedere, evaluarea „ar trebui să fie un proces deschis, pluralist și divergent în care realitățile sunt construite, mai degrabă decât unul în care o realitate să fie descoperită (…), ținta este de a susține o discuție dialectică între toate părțile și care ar trebui să conducă în ultimă instanță la consens sau sinteză” (1995: 568).

în realitate, modelul constructivist este dificil de aplicai deoarece are consecințe la nivelul relațiilor de putere, iar caracterul democratic al procesului ridică probleme legate de timp și de costuri, care au devenit prilej de critică. Ar fi nevoie de dezvoltarea educației politice la nivelul individual și comunitar, așa încât politicile publice să devină o sursă de învățare socială. într~o atare perspectivă, cetățeanul ar fi nu doar consumator, ci și producător de politici publice.

Evaluarea ca dezbatere

Bazându-se pe noțiunea de consfătuire, în 1987 Jennings punea Ia punct un model hermeneutic sau interpretativ, la care avea să revină în 1993. Dezbaterea este înțeleasă ca aplicație a rațiunii practice inspirate din simțul comun (sau, mai prețios, știința socială interpretativă). Obiectivul ei cuprinde trei secvențe:

a pricepe sensul problemelor contemporane așa cum sunt experimentate, adaptat Iași luptând împotrivarezonabilității agenților intenționali care sunt membri ai comunității politice; a clarifica semnificația acestora, astfel încât agenții politici situați strategic (oficiali sau care fac politica) să fie capabili să instrumenteze un set de soluții eficace pentru probleme; a ghida selecția politicii preferate dintr-un set, în lumina celei mai generale perspective asupra binelui comunității ca întreg, ca și în aceea, mult mai discretă, a intereselor celor care fac politica respectivă.

„Dezbaterea trebuie să construiască o interpretare a realității politice și sociale actuale, care să servească nu doar obiectivelor intelectuale de explicare și înțelegere a acestei realități, ci, de asemenea, obiectivelor practice care oferă posibilitatea acțiunii constructive de a mișca acea societate dintr-un prezent problematic spre un viitor mai bun” (Jennings, 1987- apud F. Fischer, 1995: 220).

Pentru acest model de evaluare, a interpreta lumea și a o schimba sunt acțiuni complementare. Dezbaterea așează interpretarea în serviciul schimbării, nu al oricărui fel de schimbare, ci una la rându- i direcționată de valorile morale umane, precum și de posibilitățile pe care interpretarea le dezvăluie.

Modelul dezbaterii („ The Counsel Model ”) așează evaluarea politicilor sub semnul unei categorii aparte de obiectivitate: post- pozitivistă. Se caută o manieră de interpretare a exigențelor interesului public, care poate face față unui proces colectiv al deliberării și aprecierii raționale. Analizele care vor supraviețui procesului colectiv de deliberare, deschis și nedistorsionat, pot fi considerate „obiective” într-un sens relevant: un consens întemeiat astfel va avea o autentică forță normativă, conferită de acordul intersubiectiv.

Fiecare apreciere aduce până la urmă o perspectivă asupra interesului public. în schimbul însușirii unei viziuni proprii anumitor grupuri de interes, este nevoie de medierea a cât mai multe.

Deci, pentru Jennings (1993), evaluarea politicilor ca dezbatere „reconstruiește relația dintre cei care analizează politicile, cei care le fac și cetățeni sub forma unei conversații cu mai multe voci”. Aproximarea multiplelor perspective asupra interesului public conduce la configurarea politicilor pe temeiul „potrivirii complementare” a acestora (după F. Fischer, 1995: 221).

Acest model se înscrie în concepția că rezultatul unei evaluări a politicii este o procesare a acțiunii alese după deliberare. Deliberarea transcende hotarele analizelor științifice, incluzând principii morale și chiar experiențe estetice. în alți termeni, evaluarea nu se raportează doar la adevăr, ci și la frumos, bine ori just, ipostaziate în formule materiale particulare, în funcție de condiții, dorințe, înclinații și expresii culturale. Pentru un asemenea demers este extrem de important să se pună împreună rolurile cetățenilor, analiștilor și evaluatorilor cu ale celor care iau decizii, într-un cadru democratic de confruntare (ibidem).

Cu referire doar la doi dintre termenii cadrului democratic anterior menționat, Hawkcsworth (1998), Schon (1983), Kelly și Maynard-Moody (1993) consideră că expertul trebuie să stabilească o relație participativă cu clientul. Din punct de vedeie metodologic, analiza participativă de politici („participatory policy analysis’’) nu urmărește atât obținerea de răspunsuri probate tehnic pentru a le oferi nivelului politic, cât asistarea eforturilor cetățenilor în a-și examina interesele și a lua decizia potrivită.

Expertul va fi definit ca un facilitator al învățării publice care trebuie să integreze în procesul de evaluare și cerințele empirice ale tehnicilor propriu-zise. Acest efort implică și „crearea unor condiții intelectuale și instituționale care să ajute oamenii să formuleze întrebări și să le examineze tehnic în limbajul cotidian, urmând să decidă care chestiune este importantă pentru ei” (F. Fischer, 1995: 222).

Rolul asumat de evaluator ar trebui să fie acela de armonizare a cunoștințelor teoretice și argumentelor normative, a intereselor actorilor politicii și cadrelor analitice din științele sociale. Dryzek (1982) observa că aceasta se poate desfășura ca o conversație în care atât orizontul cetățeanului, cât și a expertului se extind prin confruntare. Aidoma este conceput și modelul dezbaterii în cadrele căruia evaluatorul va fi considerat drept „un cetățean specializat” (Paris și Reynolds, 1983 – apud F. Fischer, 1995:222). Frank Fischer și-a clădit modelul deliberativ pornind de la înțelegerea realității ca un construct social alcătuit discursiv.

3.8.2. Meta-evaluarea

Meta-evaluarea este descrisă ca agregând informații din diverse evaluări individuale, dar este definită și ca un instrument sistematic pentru controlul calității studiilor evaluative. Autorii finlandezi'’ introduc o interpretare a conceptului mult mai orientată spre învățare, așa încât meta-evaluarea ar trebui să rezulte dintr-un dialog deschis între diversele părți implicate în procesul cvaluativ.

A face evaluarea sât mai transparentă est# o preeondiție pentru învățarea organizațională prin meta-evaluare. „Analiza critică a evaluărilor singulare servește atât instruirii politice, cât și celei organizaționale. Prin policy learning ne referim la mecanismele de diseminare a cunoașterii în diferite domenii ale politicilor, iar prin organizational learning — la investigarea evaluativă continuă și reflexivă” (2000: 50).

în terminologia focalizată pe evaluare, meta-evaluarea este o noțiune recurentă folosită cu multe sensuri. Pentru Rossi et al. (1999)

* Petri Uusikylă și Petri Virtanen, 2000.

fioíiüñea deserte unificarea evaluărilor, argumentând că literatura dedicată evaluării este atât de vastă încât ar fi posibil a-i examina empiric reproductibilitatea și generalizabilitatea. O asemenea abordare sistematică de analiză a constatărilor evaluative de-a lungul studiilor este un demers de rangul doi, este „meta”.

Din aria europeană a evaluărilor, autorii finlandezi aleg exponenți care oferă o direcție de interpretare ușor diferită. Astfel, Ray Pawson și Nick Tilley (1997) consideră că meta-evaluarea se referă la „agregarea evidențelor dintr-un număr de studii de evaluare într-o bază unică de date, care să permită ca rezultatele să fie analizate mai degrabă colectiv, decât individual”. Pawson și Tilley avertizează asupra pericolului ca evaluatorii să fie copleșiți cu concepte derivate din zona statisticii, controlului sau randomizării (după P. Uusikylă și P. Virtanen, 2000: 51).

Noi orizonturi va deschide în problematică Michael Q. Patton (1997) pentru care procesul de meta-evaluare reprezintă aprecierea studiilor de evaluare în funcție de standarde și principii profesionale. Motivația ar constitui-o trecerea în revistă, într-o manieră credibilă și independentă, a punctelor tari și a celor slabe ale evaluării. în acest context, ne-am confrunta cu întrebări de genul: evaluarea a fost bine întreprinsă? a meritat să fie folosită? întrunește standardele și respectă principiile profesionale?

Reflecții critice și abordări alternative

Principala problemă cu care evaluarea se confruntă la ora de față este, după Micliel Setbon și Bruno Dente, instituționalizarea. Diversele stadii de dezvoltare la care a ajuns acest tip de cercetare dau măsura influenței sale. Succesul evaluării se verifică prin capacitatea sa de retroacțiune asupra actorilor care formulează, proiectează și realizează acțiunea publică. Modificările antrenate în comportamentul celor care concep și implementează politicile ca efect al evaluărilor reprezintă reușita.

O serie de practici profesionale conexe au fost asimilate evaluării: controlul administrativ sau parlamentar, controlul gestionării, expertiza operațională etc. Diversele exerciții evaluative sunt complementare. Pierre Lascoumes analizează comparativ modelul PLURALIST și pe cel CLASIC, tehnicist, centrat pe măsurarea efectelor unei politici. Evaluarea clasică cercetează cauzalitatea și explică funcționarea acesteia.

Selectarea metodologiei potrivite poate să însemne selectarea expertului potrivit. „în contextul evaluării unui program, evaluatorul profesionist își asumă adesea singur greutățile acestei legitimări, având ca sarcină mobilizarea unei informații și punerea în practică a metodelor credibile în ochii utilizatorilor evaluării” (Conseil scientifique de revaluation, 1992 – apud P. Lascoumes, 1998: 25). Astfel se externalizează responsabilitatea mizelor metodologice către experți, a căror atitudine este presupusă a fi neutră.

Se formulează acut problema identificării datelor necesare analizei și a controlului fiabilității acestora, în final, a validării întregului demers. Pertinența metodologiei prevalează pentru luarea în considerație a rezultatelor, iar specialiștii nord-americani au învățat din experiență acest fapt. E. Chelimski, în 1990, arăta că nu li se reproșează niciodată că sunt eronate concluziile, ci că metodologia este incorectă. „în caz de conflict cu cei care au comandat evaluarea sau cu cei care iau decizii politice, sursa problemei este mai des atribuită termometrului decât medicului” (P. Lascoumes, 1998: 25).

Hegemonia modelului experimentalist ia sfârșit, el fiind tot mai contestat de pe poziții constructiviste sau „endosistemice”. Cele mai semnificative critici ale modelului pe cale a fi detronat privesc: necesitatea de a lua în considerație caracterul multiform al situațiilor sociale studiate și multiplele dimensiuni ale „obiectivelor” de analizat; nevoia de a recunoaște diversitatea posibilelor abordări în funcție de actorii implicați, ceea ce impune a se ține cont de varietatea modurilor de a înțelege realitatea și valorile – cum remarcau și F.G.Guba și Y.S. Lincoln.

în 1989, Raportul „Viveret” sublima în Franța criticile aduse pozitivismului în încercarea de a emite prin evaluare o judecată asupra valorii acțiunilor publice, de natură să suscite confruntarea democratică asupra scopurilor urmărite și a mijloacelor selectate.

Păstrând unele dintre caracteristicile evaluării tehnice, modelul pluralist (instituit printr-un program guvernamental francez în 1990) repune în discuție postulatul conform căruia primează competența experților și revalorizează reprezentarea politică. Se deschide astfel accesul la demersul evaluativ pentru „profanii – implicați” iar evaluarea devine „o acțiune colectivă care trebuie să se adapteze unei comenzi, să-și definească obiectivele specifice, să-și aleagă căile de a culege informații, să interpreteze rezultatele obținute și să pregătească primirea acestora” (P. Lascoumes, 1998: 26).

Ar fi deci necesară construirea unei metodologii adaptate „obiectivului” de evaluat, care să fie explicată în raportul final și care să respecte reguli ce conferă evaluării legitimitate științifică, dar și politică. Cu toate acestea, neutralitatea fundamentală rămâne Ia nivel ideal, fiind mai degrabă potrivită descrierea evaluării pluraliste (de către Eric Monnier) drept „loc al negocierilor în cascadă', care se aplică și elementelor metodei. Atât alegerea metodei, cât și înțelegerea efectelor sunt subiecte de tranzacții și concesii reciproce, iar aceasta presupune – după cum subliniază P. Lascoumes – înțelegerea metodei nu ca instrument, ci ca proces. Metodologia nu este doar o construcție colectivă specifică, ci și o miză ce determină alianțe și opoziții ale actorilor.

Deci: în evaluarea pluralistă, „metoda este o creație colectivă continuă, ulterioară alegerii membrilor instanței de evaluare”, adică actorii responsabili cu metoda ca proces, (iar nu cei însărcinați cu evaluarea, adică actorii aplicării metodei ca instrument).

Așadar, sunt mobilizate competențe contrastante pentru a construi o metodă, iar nu pentru a reproduce un demers prestabilit (ibidem: 27). Construcția metodologică presupune o succesiune de ajustări mutuale la imprevizibil, care vor influența profund rezultatele evaluării.

Există alternativele extreme: fie o construcție metodologică fragilă, care trimite chestiunile legate de metodă experților însărcinați cu evaluarea, fie una puternică, pe parcursul căreia sunt soluționate prin metodele „de-a gata” diferitele chestiuni, de către cei însărcinați cu evaluarea. Câteva instanțe („cadrul politic, acțiunea grupurilor cu diverse obiective, cadrul științific și o funcție intelectuală colectivă”) influențează fără drept de apel construcția metodologică (P. Lascoumes., 1998; 29);

cadrul politic este factorul determinant, la acest nivel realizându-se alegerea promotorului evaluării, care va fi decisiv pentru numirea celui ce va concepe proiectul. In redactarea comenzii un loc aparte îl vor avea (mai mult sau mai puțin explicit) precizările relative la obiectivele și tematica de analizat, rezultând de aici că, înainte ca evaluarea să înceapă, procesul este parțial structurat de rațiunile și mizele liderului care o cere. Procesele ulterioare se organizează menținând sau redefinind proiectul inițial. Cu cât liderul este mai rigid în impunerea obiectivelor sale, cu atât procesul va fi mai monopolizat.

Invers: dacă liderul este contestat sau absent, procesul va fi în continuă schimbare, uneori chiar haotică.

se disting trei categorii de actori între care se țes diferite relații: cei care comandă, reprezentanții instituționali implicați în politică și cei fără o miză directă aparentă. Jocul inflexiunilor organizate de fiecare asemenea grup de participanți se va manifesta mai ales în două faze cheie ale procesului: „cea în care este dezbătut proiectul iniția] de-a lungul unei negocieri a metodologiei; și cea a negocierii conținutului raportului final (ce date vor figura și care vor fi eliminate; ce analize vor fi tratate pe larg și ce recomandări se vor face.

cadrul științific instituționalizat echivalează cu o contrapondere ce garantează pluralismul și calitatea științifică, dar exterioritatea sa față de instanțele angajate în evaluare îi limitează mult influența reală. Poate lua forma unor întâlniri cu cei implicați în proces la momentele decisive sau poate fi o asistență de mediere permanentă.

instanțele pot fi considerate ca intelectuali colectivi care emit judecăți și cunoștințe și care se diferențiază după dinamica lor internă și după produse. La acest nivel apare o legătură puternică între gradul de „reprezentare” al actorilor și însăși „definirea” obiectivului evaluării. Rezultă patru modele așezate pe o scală a intensității negocierii colective: de la cel dintâi, de construcție a problemei, trecând prin arbitraj, legitimare și ajugând la expertiză – descrește intensitatea interacțiunii pluraliste în producerea de cunoștințe privind acțiunea publică. Această scală nu reprezintă o ierarhie a evaluărilor după gradul de conformitate cu un model ideal.

Clasificarea instanțelor ce intervin semnificativ în desfășurarea evaluării a avut ca punct de plecare aplicarea modelului pluralist la șase evaluări realizate în Franța. Pierre Lascoumes încheie studiul punerii în practică a acestui model teoretic observând că survin trei probleme principale:

dificultatea de a depăși contradicția dintre logica unui lider, care încearcă să stăpânească ansamblul procesului și cea a unui real pluralism ale cărui efecte tind să reconstruiască obiectivele și problematica, precum și să inoveze conceptual; tendința de a oculta obiectivele politicii publice de evaluat; influența efectivă a evaluărilor, care este mai ales indirectă, fiind arar susținută chiar și de inițiatorii demersului (ibidem: 32-33).

Pentru instanțele administrative, evaluarea lămurește problemele și poate fi locul de confruntare al punctelor de vedere izolate sau chiar mijlocul de amorsare a unei cooperări mai mereu clamate și mai deloc realizate. în căutarea unei metodologii orientate mai mult către spectrul „critic – valoric”, a fost nevoie de o confruntare directă cu orientarea pozitivistă, în particular cu efortul său problematic de a distinge faptele de valori.

Strădaniile s-au soldat cu construirea unei logici a deliberării în politici (,policy deliberation”), care să integreze într-un sistem evaluarea empirică și pe cea normativă. Acest model propune o alternativă multi-metodologică, în locul metodologiei îngust empirice, dominantă în analiza politicilor. în mod cert, doar testele empirice sunt insuficiente pentru a aprecia dacă un program este bun sau rău.

Deliberarea normativă, calificată de pozitiviști drept irațională, este doar diferită ca scopuri și valori, și nicidecum inferioară discursului științific. Eroarea pozitivistă apare din încercarea de a judeca discursul normativ printr-un set neadecvat de criterii, în special: „verificare științifică și validitate”. Doar prin extinderea improprie a criteriilor științifice la domeniul evaluării normative reușesc pozitiviștii să proclame iraționalitatea discursului despre valori și norme.

Frank Fischer propune în „Evaluating Public Policy” (1995) o abordare în care se regăsesc componentele discursive fundamentale pentru o evaluare completă: coroborează perspectiva empirică și cea normativă. La o examinare în termenii standardelor inerente (ale unei logici „infórmale”), evaluarea normativă este văzută drept un exercițiu rațional, chiar dacă mai puțin exact decât modalitatea științifică a raționamentului în sine.

Cel dintâi nivel al evaluării constă în verificare și validare: interesează specificitatea inițiativei politice. Al doilea nivel privește ansamblul sistemului social din care face parte contextul acțiunii. Primul nivel (micro) este aplicat concret problemelor specifice; celălalt (macro) se concentrează asupra nivelului mai abstract, al întregii societăți în care se desfășoară politica. Așadar, evaluarea unei politici trebuie realizată în două direcții, tocmai pentru a-i surprinde cât mai multe din implicațiile semnificative.

începerea evaluării este prioritară, iar alegerea punctelor din care pornește evaluarea este dictată de aspectele practice pe care le presupune politica respectivă. De altfel, prezentarea sa începe cu chestiunile cele mai empirice, iar în lumea politicilor publice procesul pornește cu considerații ideologice, pentru a ajunge ulterior la partea practică (F. Fischer, 1995: 19).

în logica deliberării asupra politicilor, cele patru discursuri relaționate sunt mult mai potrivite decât un singur calcul metodologic. Scopul este de a explora deschis și flexibil diversele probleme: „deliberarea privind rezultatele programului, circumstanțele în care obiectivele programului sunt aplicate, impactul instrumental al scopurilor cuprinzătoare ale politicii asupra societății în ansamblu și o evaluare a principiilor normative și a valorilor subsecvente ordinii sociale”. Laolaltă, ele conduc la o depășire a limitelor concepției tehniciste a raționalității, pe care se sprijinea atât de mult știința socială orientată de politici (F. Fischer, 1995: 237).