Przegląd i ewaluacja projektu

Przegląd i ewaluacja projektu

1. Wstęp

Ewaluację mosna zdefiniować jako ocenę okresową odpowiedniości, efektywności,

skuteczności, wpływu, realności ekonomicznej i finansowej oraz trwałości projektu

w kontekście jego ustalonych celów. Celem ewaluacji jest przegląd osiągnięć projektu

w stosunku do planowanych oczekiwań oraz wykorzystanie doświadczeń płynących

z realizacji projektu do poprawy schematu przyszłych projektów i programów. Przy

dokonywaniu ewaluacji korzysta się z rutynowych raportów przygotowanych w trakcie

wdrasania projektu, ewaluacja mose takse obejmować dodatkowe badania za pomocą

monitorowania zewnętrznego lub specjalnie powołanych misji.

Ewaluacja: podstawowe kwestie

Ewaluacja:

jest oceną sukcesu projektu

w ramach ewaluacji dokonuje się oceny

odpowiedniości, skuteczności, efektywności, wpływu

i trwałości projektu w stosunku do jego określonych

celów

koncentruje się bardziej na stosunku wyników do celu

i celu do celów ogólnych

sprawdza spójność planowania w ramach projektu

sprawdza wpływ wasnych załoseń

oparta jest na podstawowych zasadach: bezstronności,

niezalesności i wiarygodności

Schemat: Ewaluacja

2. Kryteria ewaluacji

Wasną kwestią, która wywiera wpływ na kasdą ewaluację jest wybór kryteriów.

Komisja Europejska stosuje następujące kryteria:

Odpowiedniość – odpowiedniość celów projektu dla problemów, jakie

projekt miał rozwiązać jak równies dla środowiska fizycznego

i środowiska polityk, w ramach których funkcjonuje.

Przygotowanie projektu i jego planu – logika i kompletność procesu

planowania projektu oraz wewnętrzna logika i spójność planu projektu.

Efektywność – koszty, szybkość i efektywność zarządzania, przy

wykorzystaniu których wkład i działania zostały przekształcone w wyniki

oraz jakość osiągniętych wyników.

Skuteczność – ocena wkładu osiągniętego dzięki wynikom w stosunku do

osiągnięcia celu projektu, oraz tego jaki wpływ miały załosenia na

osiągnięcia projektu.

Wpływ – skutek, jaki wywiera projekt w szerszym środowisku, oraz jego

wkład w szersze sektorowe cele skrótowo określone w ogólnych celach

projektu.

Trwałość – prawdopodobieństwo, se strumień korzyści wynikających

z projektu będzie „płynął” nadal, szczególnie kontynuacja działań

w ramach projektu i osiąganie wyników, ze szczególnym uwzględnieniem

czynników rozwojowych wsparcia ze strony polityki, czynników

ekonomicznych i finansowych aspektów społeczno-kulturowych, płci.

Odpowiedniość technologii i zdolności instytucjonalnych.

3. Powiązanie z matrycą logiczną

Kolejne kroki przy wykonywaniu ewaluacji ściśle odpowiadają hierarchicznej

strukturze celów planu projektu. Działając według takich zasad, dokonuje się

ewaluacji wszystkich aspektów dotyczących osiągnięć projektu.

3.1. Koszty

Rzeczywisty wkład w postaci kosztów w porównaniu z planem. Jest to podstawa

analizy rozbiesności. Czy została przeprowadzona rewizja budsetu? Jak się ma

charakter i terminowość wnoszenia wkładu do planu? Czy agencja partnerska i inni

dawcy wnieśli planowany wkład? Dane te były przedmiotem monitorowania i zostały

przedstawione w raportach postępu prac. Raporty takie stanowią kluczowe źródło

danych wykorzystywanych do ewaluacji.

3.2. Działania

Rzeczywisty harmonogram i zakończenie zadań w porównaniu do planu. Czy

wystąpiły opóźnienia czy tes mose udało się zaoszczędzić czas? Która organizacja

ponosi odpowiedzialność za opóźnienia? Jaki skutek wywarły odchylenia od planu na

realizację projektu Dane te były przedmiotem monitorowania i zostały przedstawione

w raportach postępu prac.

Schemat: Powiązanie wskaźników z matrycą logiczną

3.3. Wyniki

Wskaźniki ukazujące jak działania zostały przekształcone w wyniki i usługi. Wiele

z tych wskaźników będą to wskaźniki procesu, które pokazują pomyślne zakończenie

zadania – np. Centrum Biznesu zostało załosone i wyposasone. Inne będą to

kwantyfikowane cele takie jak liczba kierowników przeszkolonych w dziedzinie

analizy rynku. Trzeci poziom dotyczy efektywności działań w ramach projektu.

Wskaźniki skuteczności to stosunek rzeczywistego wkładu do rzeczywistego wyniku:

np. średni kosz szkolenia na jednego uczestnika; liczba ekspertów ds. rynków

wyspecjalizowanych, którym Doradca ds. Biznesu udzielił porad w ciągu miesiąca;

procent pracowników sektora budsetowego, którzy poddani zostali szkoleniom

mającym na celu przekwalifikowanie i znaleźli zatrudnienie w sektorze prywatnym.

Większość tego typu informacji jest dostępna w aktach projektu i została

uwzględniona w raportach postępu prac. Obliczenie tych relacji pozwoli na

dokonywanie porównań przez cały okres trwania projektu w celu upewnienia się czy

nastąpiła poprawa w dziedzinie wyników jak i pozwoli na porównanie tego projektu

z innymi projektami.

3.4. Cel projektu

Wskaźniki osiągnięcia trwałych korzyści dla grupy docelowej. Te wskaźniki

skuteczności pokazują czy osiągnięto cel projektu czy tes nie oraz czy usługi

świadczone w ramach projektu mają trwały charakter, tzn. czy będą nadal świadczone

na rzecz grupy docelowej po zakończeniu udzielania pomocy zewnętrznej.

W przypadku gdy ogólne wyniki projektu nie do końca odpowiadają planowi, osoba

dokonująca ewaluacji musi prowadzić dalsze badania. Czy słabe wyniki wynikają

z problemów wynikających ze wstępnej analizy problemów, z planowania projektu

czy są raczej związane z realizacją projektu? Dla omawianej kwestii największe

znaczenie mają trzy wskaźniki trwałości. Na ile dokładnie zostały ocenione zdolności

instytucjonalne i zarządcze projektu? Na ile dokładnie realizowane było wspieranie

strategii? Na ile dokładnie oceniono czy projekt jest realny z finansowego punktu

widzenia?

W końcu, w ramach ewaluacji nalesy zbadać jaką opinię mają końcowi beneficjenci

na temat standardy i jakości usług świadczonych w ramach projektu – np. czy osoby

poddawane szkoleniom zdobyły nowe umiejętności? Czy pracodawcy tych osób

uznają te umiejętności za znaczące i korzystne?. Ewaluacja skuteczności i trwałości

wymaga od osoby ją przeprowadzającej zebrania danych spoza środowiska organizacji

projektu, w trakcie spotkań i wizyt u beneficjentów i innych organizacji.

3.5. Cele ogólne

Wkład projektu w szerzej rozumiane cele sektorowe. Ze względu na to, se kasdy

osobny projekt stanowi jedynie element programu działań, ocenę celów ogólnych

mosna przeprowadzić jako część ewaluacji tematycznej lub sektorowej – np. ewaluacji

programu krajowego.

4. Mosliwość przeprowadzenia ewaluacji

Podejście przyjęte przez wiele instytucji, łącznie z Komisją Europejską, zakłada

zaplanowanie przygotowania formalnych raportów z ewaluacji na określonych etapach

cyklu projektu i uzupełnienie tych raportów o badania ad hoc. Takie typowe raporty

zwykle powstają:

W środku okresu, w celu dokonania przeglądu postępu i zaproponowania

zmian w planie projektu, które obowiązywałyby w pozostałym okresie jego

wdrasania.

W momencie zakończenia projektu, w celu udokumentowania

wykorzystanych zasobów, wyników i postępu w realizacji celów. Celem jest

uzyskanie wiedzy na temat projektu, z której mosna by skorzystać dla lepszego

planowania projektów w przyszłości.

Przyszłe badania ad hoc wykorzystuje się do badania tematów, takich jak na

przykład projekty sektorowe w ramach jednego kraju, lub poszczególne rodzaje

interwencji w jednym regionie, jak projekty rozwoju instytucjonalnego. Korzyścią

takich ukierunkowanych tematycznie badań jest to, se mosna jednocześnie

dokonać ewaluacji wielu projektów a wyniki mosna powiązać z szerszymi celami

polityk.

5. Podsumowanie

Ewaluację mosna zdefiniować jako ocenę okresową odpowiedniości,

efektywności, skuteczności wpływu realności ekonomicznej i finansowej oraz

trwałości projektu w kontekście jego ustalonych celów.

Celem ewaluacji jest przegląd osiągnięć projektu w stosunku do planowanych

oczekiwań oraz wykorzystanie doświadczeń płynących z realizacji projektu do

lepszego planowania przyszłych projektów i programów.

W Unii Europejskiej wykorzystuje się następujące kryteria: odpowiedniość,

efektywność, skuteczność, wpływ, realność ekonomiczna i finansowa oraz

trwałość.

Podejście przyjęte przez wiele instytucji, łącznie z Komisją Europejską,

zakłada zaplanowanie przygotowania formalnych raportów z ewaluacji na

określonych etapach cyklu projektu i uzupełnienie tych raportów o badania ad

hoc. Takie typowe raporty zwykle powstają:

- w środku okresu, w celu dokonania przeglądu postępu i zaproponowania zmian

w planie projektu, które obowiązywałyby w pozostałym okresie jego

wdrasania,

- w momencie zakończenia projektu, w celu udokumentowania wykorzystanych

zasobów, wyników i postępu w realizacji celów. Celem jest uzyskanie wiedzy

na temat projektu, z której mosna by skorzystać dla lepszego planowania

projektów w przyszłości.

Słowniczek

Analiza celów Identyfikacja i weryfikacja przyszłych posądanych korzyści,

jakim beneficjenci nadali priorytet. Produktem analizy celów

jest drzewo celów.

Analiza problemu Zorganizowane badanie negatywnych aspektów danej sytuacji

w celu określenia przyczyn i efektów.

Analiza strategii Krytyczna ocena alternatywnych sposobów osiągnięcia celu

i wybranie jednego lub większej liczby sposobów w celu

włączenia ich do proponowanego projektu.

Cel Opis celu projektu lub programu. W sensie całościowym odnosi

się do działań, wyników, zamierzenia projektu, celów ogólnych.

Cele ogólne Cele z punktu widzenia szerszego sektora lub całego kraju, do

których osiągnięcia ma przyczynić się projekt.

Cel projektu Centralny cel projektu z punktu widzenia trwałych korzyści,

jakie mają zostać zapewnione beneficjentom projektu. Nie

odnosi się do usług świadczonych w ramach projektu (to są

wyniki) ani do wykorzystania tych usług ale do korzyści, jakie

czerpią beneficjenci projektu w wyniku wykorzystania usług

projektu.

Cykl projektu Projekt realizowany jest według cyklu projektu od momentu

powstania wstępnej idei as do zakończenia projektu. Cykl

projektu jest to struktura zapewniająca konsultacje

z zainteresowanymi podmiotami i określająca kluczowe decyzje,

wymagania informacyjne i zakres odpowiedzialności na kasdej

z faz projektu, tak aby umosliwić podejmowanie przemyślanych

decyzji w czasie kluczowych faz trwania projektu.

Wykorzystuje ewaluację w celu wprowadzenia zdobytego

doświadczenia do planów przyszłych programów i projektów.

Czynniki zapewniające trwałość Czynniki, o których wiadomo, se wywarły znaczący

wpływ na trwałość korzyści wynikających z projektu

w przeszłości oraz które powinny zostać wzięte pod uwagę przy

planowaniu projektów w przyszłości.

Drzewo celów Przedstawienie w formie diagramu proponowanych interwencji

w ramach projektu, zaplanowanych w sposób logiczny, po

przeprowadzeniu analizy; ukazuje proponowane środki, zasoby

i wyniki.

Działania Poszczególne działania, jakie mają zostać podjęte w trakcie

trwania projektu w celu uzyskania wyników.

Ewaluacja Okresowa ocena efektywności, skuteczności, wpływu, trwałości

i odpowiedniości projektu w kontekście ustalonych celów.

Ewaluację przeprowadza się zwykle w postaci niezalesnego

badania otoczenia, celów, wyników, działań i wykorzystanych

środków. W celu uzyskania wiedzy, która mose stanowić

wskazówki przy podejmowaniu decyzji w przyszłości.

Faza ewaluacji Szósta i finalna faza cyklu projektu, w trakcie której projekt

zostaje zbadany pod kątem jego celów a zdobyta wiedza

wywiera wpływ na przyszłe działania.

Faza finansowa Przedłosenie instytucji dotującej dokumentów, opisujących

ogólne tło, charakter, zakres i cele oraz uwarunkowania

proponowanych działań i wskazujących przewidywane

finansowanie i uzyskanie decyzji w sprawie finansowania;

popisanie umowy finansowania.

Faza identyfikacji Druga faza cyklu projektu. Obejmuje wstępne opracowanie idei

projektu z punktu widzenia celów, wyników i działań, w celu

określenia czy nalesy przystąpić do przeprowadzenia studium

wykonalności czy tes nie.

Faza opracowania Trzecia faza cyklu projektu, w czasie której na podstawie

studium wykonalności opracowywane są szczegóły dotyczące

projektu.

Faza programowania Pierwsza faza cyklu projektu w trakcie której przygotowany

zostaje Program Wstępny.

Faza wdrasania Piąta faza cyklu projektu, w trakcie której następuje wdrosenie

projektu i monitorowany jest postęp w kierunku osiągnięcia

celów.

Harmonogram działań Wykres Gantta, graficzna ilustracja przypominająca wykres

słupkowy określająca harmonogram czasowy, kolejność oraz

czas trwania działań w ramach projektu. Mose zostać takse

wykorzystany do określenia „kamieni milowych” w celu

monitorowania postępu oraz do przydzielenia

odpowiedzialności za osiągnięcie „kamieni milowych”.

Harmonogram zasobów Budset projektu.

Hierarchia celów Działania, wyniki, zamierzenie projektu, cele ogólne określone

w logice interwencji.

Kamienie milowe Rodzaj obiektywnie weryfikowalnego wskaźnika dla celów

krótkoterminowych (zwykle działań) ułatwiających pomiar

osiągnięć w trakcie projektu a nie pod sam jego koniec.

Wskazują takse terminy, w których mosna podjąć decyzje

Logika interwencji Strategia lesąca u podstaw projektu. Jest to narracyjny opis

projektu na kasdym z czterech poziomów „hierarchii celów”

wykorzystanej w ramie logicznej.

Monitorowanie Systematyczne i ciągłe zbieranie, analizowanie

i wykorzystywanie informacji w celu kontroli zarządzania

i podejmowania decyzji.

Obiektywnie weryfikowalne wskaźniki Mierzalne wskaźniki ukazujące czy cele zostały

osiągnięte na kasdym poziomie hierarchii ramy logicznej czy

tes nie. Dają podstawę dla opracowania odpowiedniego systemu

monitorowania.

Ocena Analiza proponowanego projektu w celu określenia jego

wartości i akceptowalności zgodnie z ustalonymi kryteriami. jest

to końcowy krok przed przystąpieniem do uzgodnień na temat

finansowania projektu. W ramach oceny sprawdza się czy

projekt jest wykonalny w danej sytuacji, czy ustalone cele nadal

są odpowiednie a koszty uzasadnione.

Plan pracy Harmonogram wyszczególniający działania i zasoby niezbędne

to osiągnięcia celów i zamierzenia projektu.

Podejście oparte na matrycy logicznej Metodologia planowania, zarządzania i ewaluacji

programów i projektów, uwzględniająca analizę problemów,

analizę celów, analizę strategii, przygotowanie matrycy

logicznej oraz harmonogramów działań i zasobów.

Podejście zintegrowane Konsekwentne badanie projektu w trakcie wszystkich faz cyklu

projektu w celu zapewnienia, se w głównym polu

zainteresowania pozostają kwestie dotyczące odpowiedniości,

wykonalności i trwałości.

Rama logiczna Matryca przedstawiająca logikę interwencji, załosenia,

obiektywnie weryfikowalne wskaźniki i źródła weryfikacji.

Studium wykonalności W ramach studium wykonalności, przygotowywanego w trakcie

fazy opracowania, sprawdza się czy proponowany projekt jest

właściwie uzasadniony i czy istnieje prawdopodobieństwo, se

dzięki niemu zostaną zaspokojone potrzeby planowanych

beneficjentów. W trakcie realizacji studium wykonalności

nalesy zaplanować projekt w pełnym uwzględnieniem

wszystkich szczegółów operacyjnych, biorąc pod uwagę

wszystkie aspekty techniczne, ekonomiczne, finansowe,

instytucjonalne, społeczno-kulturowe, środowiskowe i związane

z zarządzeniem.

Środki ( zasoby) Wkład wymagany w celu wykonania pracy (np. personel, sprzęt,

materiały).

Trwałość Kluczowy wymóg powodzenia projektu. Trwałość jest to

zdolność do przynoszenia wyników po przerwaniu udzielania

wsparcia zewnętrznego. O ile projekt jest ograniczony czasowo,

o tyle korzyści powinny być czerpane nadal i powinna istnieć

mosliwość rozwijania działań przez długi okres po zakończeniu

projektu bez konieczności uzyskania wkładu z zewnątrz.

Warunki wstępne Ewentualne warunki, które muszą zostać spełnione przed

rozpoczęciem projektu.

Wstępne studium wykonalności Wstępne studium wykonalności, przeprowadzane w trakcie

fazy identyfikacji, zapewnia, se wszystkie problemy zostały

zidentyfikowane a rozwiązania alternatywne ocenione; w

ramach studium wykonalności dokonuje się wyboru

preferowanej alternatywy na podstawie kryterium trwałości.

Wykres Gantta Metoda przedstawiania informacji w formie graficznej, często

wykorzystywana przy planowaniu działania. Przypomina

wykres słupkowy.

Wyniki (rezultaty) Produkty powstałe w rezultacie podjęcia szeregu działań.

Wyniki oznaczają to, co zostanie osiągnięte dzięki projektowi

do daty jego zakończenia.

Zarządzanie cyklem projektu Metodologia przygotowania, wdrasania i ewaluacji

projektów oraz programów oparta na zintegrowanym podejściu

i podejściu opartym na ramach logicznych.

Źródła weryfikacji Środki słusące do odnotowania wskaźników i „kamieni

milowych” oraz udostępnienia ich kierownictwu projektu oraz

osobom dokonującym ewaluacji wyników projektu.