Standardy_ewaluacji_PTE.pdf

Standardy ewaluacji

ewaluacji

www.pte.org.pl

Standardy

Standardy ewaluacji

ewaluacji w Polsce” realizowanego przez Polskie Towarzystwo Ewaluacyjne w miesiącach sty-

czeń-październik 2008 roku. Projekt ﬁ nansowany był ze środków Unii Europejskiej w ramach

Programu Środki Przejściowe 2005 „Wzmocnienie zdolności ewaluacyjnych w sektorze publicznym”.

Opracowane standardy są efektem wspólnej pracy szerokich środowisk zajmujących się ewaluacją

- przed stawicieli administracji publicznej i organizacji pozarządowych, pracowników ﬁ rm realizują-

cych badania ewaluacyjne, instytucji naukowych i niezależnych konsultantów.

Standardy te powstały w wyniku doświadczeń zebranych przede wszystkim w procesie ewalu-

owania projektów ﬁ nansowanych ze środków publicznych, jednak zasady te znajdują także zastoso-

wanie w ewaluacjach prowadzonych w sektorze prywatnym oraz pozarządowym, a także w proce-

sie ewaluacji wewnętrznych. W niewielkim stopniu zaś odnoszą się do procesu autoewaluacji.

Zakładamy, że praca nad standardami będzie miała charakter procesu ciągłego, idącego w parze

z rozwojem kultury ewaluacyjnej w Polsce i pojawiającymi się nowymi potrzebami środowiska osób

zaangażowanych w ewaluacje oraz wyzwaniami przed nimi stawianymi.

Zapraszamy do komentowania standardów oraz zgłaszania propozycji kwestii, które należy

w nich uwzględnić na adres pte@pte.org.pl lub korzystając z forum dyskusyjnego działającego na

stronie www.pte.org.pl .

Polskie Towarzystwo Ewaluacyjne

Warszawa, 27 lipca 2008 r.

Poniżej podajemy deﬁ nicje kluczowych pojęć pojawiających się w Standardach ewaluacji :

Ewaluator – instytucja, ﬁ rma lub osoba realizują-

ca ewaluację – w tym realizująca przynajmniej jedno

z następujących zadań: przygotowanie koncepcji ewa-

luacji, opracowanie metodologii badania, przygoto-

wanie narzędzi badawczych, zbieranie danych, anali-

za i opracowanie wyników, formułowanie wniosków

i rekomendacji.

Zlecający – instytucja, ﬁ rma lub osoba zlecająca i/lub

zamawiająca ewaluację, będąca podmiotem inicjują-

cym proces ewaluacji i będąca dysponentem wyników

ewaluacji. Podmiot ten również może być adresatem

rekomendacji sformułowanych w wyniku przeprowa-

dzonej ewaluacji.

Interesariusz – instytucja, ﬁ rma lub osoba w bezpośred-

ni lub pośredni sposób zaangażowana w proces ewa-

luacji, w szczególności są to podmioty, które: decydują

o potrzebie ewaluacji; są odpowiedzialne za stworzenie

projektu oraz realizację ewaluacji; są odpowiedzialne

za praktyczne wykorzystanie wyników ewaluacji; w

sposób pośredni lub bezpośredni są objęte ewaluacją;

mogą być zainteresowane wynikami ewaluacji.

Ewaluacja zewnętrzna – ewaluacja realizowana przez

podmiot niezależny, zewnętrzny wobec Zlecającego

oraz ewaluowanego przedsięwzięcia.

Ewaluacja wewnętrzna – ewaluacja realizowana przez

podmiot znajdujący się w strukturach organizacyjnych

Zlecającego , jednakże zachowująca niezależność wobec

ewaluowanego przedsięwzięcia.

Autoewaluacja – ewaluacja realizowana przez podmiot

znajdujący się w strukturach organizacyjnych ewalu-

owanego przedsięwzięcia.

S tandardy ewaluacji zostały wypracowane w ramach projektu „Wspólnie tworzymy standardy

Standardy ewaluacji

Preambuła

Ewaluacja ma na celu poprawę jakości działań (w tym polityk publicznych) poprzez zwiększenie ich

adekwatności, skuteczności, użyteczności, efektywności i trwałości.

Opracowane Standardy ewaluacji mają na celu wsparcie osób zaangażowanych w proces ewalu-

acji w zapewnieniu jak najwyższej jakości prowadzonych ewaluacji.

Standardy ewaluacji powinny służyć jako punkt odniesienia przy przygotowywaniu, zamawianiu,

realizacji ewaluacji oraz wykorzystywaniu jej wyników. Zadaniem Standardów jest wskazanie oso-

bom zaangażowanym w proces ewaluacyjny sposobu zapewnienia najwyższej jakości prowadzo-

nych ewaluacji.

Odwoływanie się stron zaangażowanych w proces ewaluacji do Standardów ewaluacji Polskiego

Towarzystwa Ewaluacyjnego ma na celu ujednolicenie rozumienia i wyrażenie obopólnej zgody

co do respektowania podstawowych zasad etycznych procesu ewaluacji.

Standardy ewaluacji mają charakter ogólny i traktują ewaluację jako instrument zarządzania

w ramach demokratycznego ładu społecznego.

Rozdział I: Postanowienia ogólne

Ewaluator i zlecający powinni dbać o wysoką jakość ewaluacji na każdym etapie tego procesu.

W tym celu powinni dysponować odpowiednim potencjałem i kompetencjami tj. wiedzą, umiejęt-

nościami i doświadczeniem zawodowym.

Podstawowymi wartościami w procesie ewaluacji są: niezależność, rzetelność, uczciwość, obiekty-

wizm, demokratyczny i etyczny charakter ewaluacji.

Ewaluator i zlecający powinni zapewnić niezależny i bezstronny przebieg procesu ewaluacji,

w tym wolny od jakichkolwiek nacisków przebieg formułowania wniosków i rekomendacji.

Ewaluator powinien zachować neutralność światopoglądową w procesie ewaluacji, m.in. nie ujaw-

niać swoich przekonań politycznych, religijnych, rasowych, itp.

W badaniu ewaluacyjnym powinno się zapewnić równość wszystkich podmiotów oraz poszanowa-

nie różnic, takich jak: różnice kulturowe, etniczne, światopoglądowe, religijne, polityczne, rasowe,

niepełnosprawność, wiek, płeć, orientacja seksualna.

Rozdział II: Planowanie ewaluacji

1. Zasadność podejmowania ewaluacji

Powinno się zlecać realizację tylko takich ewaluacji, które są istotne dla zarządzania danym przed-

sięwzięciem i/lub charakteryzują się wysokimi walorami poznawczymi oraz praktycznymi.

Decyzja o zleceniu danego badania ewaluacyjnego powinna zostać podjęta w sposób odpowiedzial-

ny, a w przypadku przedsięwzięć ﬁ nansowanych ze środków publicznych – z uwzględnieniem dobra

publicznego oraz odpowiedniego gospodarowania środkami przeznaczonymi na cele publiczne.

W celu jak najlepszego zaplanowania ewaluacji wskazane jest, w miarę możliwości, rozpoznanie

i uwzględnienie potrzeb głównych interesariuszy.

2. Precyzyjne określenie celu, przedmiotu i zakresu badania

Dla powodzenia ewaluacji podstawowe znaczenie ma precyzyjnie i logicznie spójne określenie

przedmiotu i celu ewaluacji, kluczowych pytań, na które poszukuje się odpowiedzi oraz kryteriów,

z zastosowaniem których przedmiot ewaluacji będzie ewaluowany.

Projekt badania ewaluacyjnego powinien zawierać jasno określone cele. Wszystkie cele ewaluacji

powinny być wyartykułowane. Zlecający badanie nie powinien posiadać żadnych celów ukrytych,

w szczególności prowadzących do manipulacji podmiotami zaangażowanymi w proces ewaluacji,

czy też szerszymi grupami społecznymi. Tematyka ewaluacji nie powinna być podyktowana doraź-

nymi potrzebami politycznymi.

Aby cele ewaluacji były w pełni zrozumiałe dla wszystkich zaangażowanych podmiotów, powinno

się zidentyﬁ kować sposób wykorzystania wyników badania.

Wskazane jest także odniesienie do innych (już przeprowadzonych, czy równolegle realizowanych)

badań i ewaluacji.

Na etapie planowania ewaluacji powinno się sformułować kryteria oceny jakości raportu ewalu-

acyjnego.

3. Realistyczne określenie sposobu przeprowadzenia ewaluacji

Sposób realizacji badania powinien być adekwatny do celu, przedmiotu i zakresu ewaluacji. Dlate-

go też niezbędne jest racjonalne oraz precyzyjne oszacowanie zasobów potrzebnych do przeprowa-

dzenia prac ewaluacyjnych w sposób zgodny z zapotrzebowaniem.

Do kluczowych zasobów, które należy wziąć pod uwagę należą: czas, zasoby ludzkie, zdolności

organizacyjne, zasoby techniczne i środki ﬁ nansowe.

Zasoby przeznaczone na ewaluację powinny być adekwatne do zakresu planowanego badania

ewaluacyjnego. Ewaluacja nie powinna być podejmowana w sytuacji braku niezbędnych zasobów.

Przy planowaniu sposobu realizacji badania szczególną uwagę należy zwrócić na zidentyﬁ kowa-

nie dostępnych danych i źródeł informacji, wraz z określeniem, które dane zostaną dostarczone

ewaluatorowi, w tym także zapewnienie gotowości do współpracy osób i organizacji mających być

przedmiotem badania.

Wymagania wobec metodologii badania powinny zostać określone w jasny sposób. Wskazane ramy

realizacji ewaluacji i jej koncepcja metodologiczna powinna umożliwiać wniesienie wkładu me-

rytorycznego przez ewaluatora. Zlecający powinien określić kryteria oceny metodologii badania

proponowanej przez ewaluatora i/lub określić propozycję minimum metodologicznego dla realizacji

postawionych zadań.

Dla zapewnienia wysokiej jakości badania, konieczne jest podanie kluczowych ryzyk, zidentyﬁ -

kowanych przez zlecającego, które mogą pojawić się w trakcie realizacji ewaluacji i które mogą

wpłynąć na jej realizację. Również ewaluator powinien informować o trudnościach, zarówno o tych,

które dostrzega jeszcze na etapie planowania, jak również o tych, które pojawiają się w trakcie

ewaluacji.

4. Określenie przejrzystych kryteriów wyboru ewaluatora

Zlecający, w przypadku zamówień publicznych, nie powinien przygotowywać badania ewaluacyjne-

go pod kątem konkretnego wykonawcy. Zlecający powinien umożliwić różnym wykonawcom równe

szanse w dążeniach do realizacji ewaluacji.

Przygotowanie zamówienia, jak również wyłonienie wykonawcy, powinno mieć charakter jawny

i powinno opierać się na zasadach czytelnych dla wszystkich zainteresowanych podmiotów.

Wybór wykonawcy ewaluacji powinien odbywać się z zachowaniem konkurencji oraz przejrzystych

zasad. Kryteria wyboru wykonawcy powinny być formułowane w sposób jasny i precyzyjny. Głów-

nym kryterium, przy wyborze wykonawcy przez zlecającego, powinna być jakość przygotowanej

oferty. W procesie wyboru powinna być wybierana najbardziej korzystna oferta. Cena nie powinna

być decydującym kryterium.

Standardy ewaluacji

Zlecający powinien poinformować potencjalnych wykonawców ewaluacji, jakie środki zamierza

przeznaczyć na jej sﬁ nansowanie.

5. Zapewnienie niezależności ewaluacji

Ewaluator, podejmując się realizowania ewaluacji, powinien być niezależny w stosunku do ewalu-

owanego przedmiotu oraz zlecającego. W przypadku pojawienia się konﬂ iktu interesów powinien

odstąpić od realizacji ewaluacji i/lub otwarcie informować o jego występowaniu.

Pożądane jest również zapewnienie maksymalnej niezależności osób bezpośrednio przygotowu-

jących, zlecających i odbierających wykonaną ewaluację od działów realizujących ewaluowane

przedsięwzięcie w ramach struktur organizacyjnych zlecającego. Najbardziej właściwym umiejsco-

wieniem takiej „komórki ewaluacyjnej” jest bezpośrednia podległość zarządowi instytucji zlecają-

cego.

Zasada niezależności powinna być respektowana również w przypadku ewaluacji wewnętrznych.

6. Zapewnienie zgodności z zasadami etycznymi

Sposób zamawiania badania powinien zapewniać zachowanie rzetelności oraz przestrzeganie za-

sad etycznych prowadzenia badania.

Planowane badanie powinno zapewniać możliwość dochowania warunków umowy.

Zamówienie ewaluacji powinno być sformułowane w taki sposób, by nie wymuszało na ewaluato-

rze naruszania poufności oraz anonimowości badanych. Zlecający nie powinien oczekiwać udostęp-

niania materiałów źródłowych, które mogłyby naruszyć anonimowość badanych.

Badanie ewaluacyjne nie powinno być zlecane ze środków publicznych w celu zwiększania lub

zmniejszania sił poszczególnych podmiotów na scenie politycznej.

Rozdział III: Realizacja ewaluacji

7. Zapewnienie wysokiej jakości ewaluacji

Zlecający i ewaluator powinni dysponować odpowiednim potencjałem merytorycznym i organiza-

cyjnym, umożliwiającym skuteczne i efektywne zarządzanie procesem ewaluacji.

Wiedza, umiejętności oraz doświadczenie ewaluatora i zlecającego powinny gwarantować realiza-

cję ewaluacji, zgodnie z ustalonym zakresem prac, harmonogramem i budżetem.

Ewaluator powinien zachować należytą staranność w prowadzeniu badań, w zbieraniu i analizowa-

niu danych oraz wnioskowaniu.

8. Zapewnienie trafności i rzetelności badań ewaluacyjnych

Każde badanie ewaluacyjne wymaga opracowania projektu ewaluacji zawierającego opis metodo-

logii.

Realizacja ewaluacji opiera się na metodologii badań naukowych. W badaniach ewaluacyjnych

uprawnione jest stosowanie różnych podejść metodologicznych, ich wybór powinien być dokony-

wany w relacji do celów i zakresu badania oraz dostępnych/posiadanych zasobów.

Proces badawczy służy pozyskaniu: trafnych (właściwie dobranych), rzetelnych, adekwatnych, wia-

rygodnych (prawdziwych, opartych na dowodach) danych.

Ewaluator powinien efektywnie wykorzystywać ramy metodologiczne, czasowe i budżetowe pro-

wadzonej ewaluacji.

Ewaluator powinien rzetelnie i skrupulatnie przedstawić wyniki badań bez względu na stopień ich

skomplikowania.

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika: