Moduł IV - ewaluacja.doc

M O D U Ł     IV

1.          Modele ewaluacji.

2.          Cele ewaluacji.

3.          Etapy projektowania ewaluacji.

4.          Metodologia badań pedagogicznych.

5.          Klasyfikacja metod i technik badawczych.

6.          Narzędzia badawcze.

1.     Modele ewaluacji

1.1.  Edukacyjny sens ewaluacji

e-valui – łac. siła wzmacniania, posiadanie wartości posiadania znaczenia, dążenie do osiągnięcia czegoś.

Do metodologii badań pedagogicznych słowo „ewaluacja” wprowadzili Amerykanie. W języku angielskim „to evaluate” znaczy „starannie rozważać jak dalece użyteczna lub wartościowa jest pewna działalność, jej plan lub pomysł, zwłaszcza, by zdecydować, czy ją podjąć, czy nie, albo czy ją kontynuować”. Rozwinięciem tej słownikowej definicji są słowa Astina; „Ewaluacja obejmuje zbieranie informacji dotyczących oddziaływania programu edukacyjnego. Tego rodzaju informacja ma wiele zastosowań, więc przyjmuje się, że głównym celem ewaluacji jest zdobycie informacji, która może być wykorzystana do podejmowania decyzji ewalucyjnych”.

Podana definicja uzupełnia i konkretyzuje zdanie M. Patrona autora teorii „Ewaluacji twórczej”; „Praktyka ewaluacyjna obejmuje systematyczne zbieranie informacji o przebiegu, właściwościach i wynikach programu, o personelu i o dorobku, który może być wykorzystany przez określonych ludzi do celu zmniejszenia niepewności, podniesienia skuteczności i podjęcia decyzji o tym, czego dotyczą i na co wpływają te programy, personel i dorobek”.

Przytoczone objaśnienia są zgodne co do tego, że ewaluacja:

1.      jest systematycznym zbieraniem informacji,

2.      obejmuje rozmaite fazy i aspekty ocenianej działalności,

3.      może służyć różnym celom,

4.      jest niezbędna do podejmowania decyzji o tej działalności.

Na tej podstawie proponuję przyjąć, że „ewaluacja dydaktyczna jest systematycznym zbieraniem informacji o warunkach, przebiegu i warunkach działań dydaktycznych, w celu ulepszania tych działań lub podjęcia decyzji o ich prowadzeniu”.

1.2.  Przedmiot ewaluacji

Ewaluacja wymaga zastosowania metodologii badań pedagogicznych.

Metodolodzy badań stosowanych wyróżniają cztery integralne składniki podlegające ewaluacji.

Działania – te elementy, których przeznaczeniem jest wpływać na wyniki projektów, czyli     „wyjść”,

Wyjścia –   te wiadomości, umiejętności, postawy wobec uczenia się, wartości, cechy   osobowości, stosunki społeczne i inne zachowania ucznia,

Wejścia – to uzdolnienia, zainteresowania, aspiracje, wiadomości i umiejętności      młodzieży, ich nauczycieli oraz wszystkie istotne właściwości zastanych systemów dydaktycznych,

Kontekst – to otoczenie i warunki, w których przebiega proces edukacyjny np. stałe urządzenie szkoły, struktura administracyjna, sposób finansowania, pozycja społeczna oświaty, przekonania rodziców, rynek pracy

Kontekst

Działania

                            Wejścia                                                                                                     Wyjścia

                         

Zmienne niezależne         Zmienne zależne

Wejścia, kontekst działania – równolegle wpływają na wyjścia.

Każdy z czterech elementów modelu jest powiązany z trzema pozostałymi, przy czym kontekst wpływa w sposób możliwy do ustalenia tylko przy rozszerzaniu planu badań na wszystkie pozostałe elementy, a wyjścia zależą od wszystkich pozostałych elementów.

1.3.  Typy badań ewaluacyjnych według Niemierko

W badaniach ewolucyjnych pożądane jest, aby „ wejście, działanie i wyjścia” programu poddać ścisłej kontroli, oraz by kontekst programu był możliwy, typowy i trwały.

Nie wszystkie badania ewaluacyjne spełniają ten warunek i z tego względu badania można podzielić na pięć typów.

TYP I – Opis działań ewolucyjnych – najprostsza postać ewaluacji. Nie wychodzi poza opis jakościowy i ilościowy procesów dydaktyczno-wychowawczych, pomija się pomiar wyników. Wszelkie interpretacje przyczynowe są oparte na niesprawdzonych, zdroworozsądkowych założeniach lub na tzw. „ folklorze nauczycielskim” np. „więcej materiału nauczania wymaga dłuższych sprawdzianów”, „ średnia ocena jest niska, bo młodzież nie uczy się”. Użyteczność tego typu ewaluacji do podejmowania decyzji oświatowych jest znikoma, ale jej popularność jest znaczna.

TYP II – Pomiar wyników działań edukacyjnych – dokładniej kontroli poddawane są wyjścia, najczęściej z wykorzystaniem pomiaru sprawdzającego tj. pomiaru unormowanego według wymagań programowych. W tym popularnym badaniu ewaluacyjnym np. badaniu wyników nauczania, o zależnościach przyczynowych wnioskuje się zdroworozsądkowo. Dyrektor nie ma tu możliwości wyboru między działaniami, bo brak mu informacji o skutkach alternatywnych decyzji.

TYP III – Pomiar działań edukacyjnych i wyników tych działań – w tym przypadku kontrolowane są zarówno działania objęte projektem, jak i „wyjścia” i to we wzajemnym powiązaniu. Obszerne kwestionariusze nauczycieli, ucznia, szkoły przynoszą uporządkowaną informację o zmiennych niezależnych. Wśród nich szczególną rolę odgrywają tzw. zmienne sterowane, których wartości można dość łatwo regulować, np. uposażenie nauczycieli, wyposażenie szkoły. Analizy statystyczne mogą łatwo wykryć wpływ pojedynczych zmian i układów zmiennych na osiągnięcia uczniów.

TYP IV – Pomiar zmian edukacyjnych - w tym typie ewaluacji kontrolowane są „wejścia”, „wyjścia”, ale przebieg tych procesów „działań” pozostaje nierozpoznany. Są one często stosowne do oceny skuteczności rozwiązań metodycznych wdrażanych ściśle według wzorów. Nadają się do dziedzin, w których zmiany są niewielkie i mało zróżnicowane, np. wyrównywanie braków w podstawowych umiejętnościach, tzw. zajęcia wyrównawcze. Pomiar zmian dokonuje się z reguły wystandaryzowanymi narzędziami.

TYP V – Pomiar warunków, przebiegu i wyników działań edukacyjnych – to najpełniejszy model działań edukacyjnych, rzadko stosowany w szkołach, ze względu na pracochłonność, czasochłonność i wysoki koszt, a także głównie braku umiejętności ewaluacyjnych. Najtrudniejsze do zdiagnozowania są „wejścia”, gdyż liczba właściwości człowieka jest praktycznie nieograniczona.

2.      Cele ewaluacji

Różne rodzaje ewaluacji koncentrują się na różnych pytaniach i różnych aspektach ewaluacji. Amerykańskie Stowarzyszenie Badań Ewaluacyjnych (Merican Evaluation Research Society) sporządziło w 1980r. kategoryzację typów ewaluacji, biorąc pod uwagę cel, jak i rodzaj podejmowanych działań:

1.      Analiza typu”front-end”: (przystępuję się do niej przed wprowadzeniem programu, obejmuje ona kontekst i możliwość zrealizowania programu). Celem jest poradnictwo w fazie planowania i wprowadzania programu w życie.

2.      Ocena możliwości przeprowadzenia ewaluacji: Przedmiotem oceny są możliwości zastosowania różnych metod i sposobów ewaluacji.

3.      Ewaluacja formatywna: (rozwoju, procesu). Dostarcza informacji potrzebnych do korygowania programu, jego modyfikowania i sterownia nim.

4.      Ewaluacja skutków: (konkluzje, rezultat, efektywność). Określa rezultat, efektywność programu, zwłaszcza pod kątem podjęcia decyzji o jego kontynuowaniu, rozwijaniu, zredukowaniu i finansowaniu.

5.      Monitorowanie programu: Sprawdza zgodność z zakładanymi celami, analizuje wykonane usługi, liczy klientów.

6.      Ewaluacja ewaluacji: (ewaluacja wtórna, metaewaluacja, kontrola ewaluacji0. Krytyka raportów z ewaluacji, ponowna analiza danych, ocena z zewnątrz ewaluacji wewnętrznej.

Celem tej listy nie było zasugerowanie, że każda ewaluacja powinna reprezentować jakiś czysty typ, raczej wskazanie różnych możliwości.

W praktyce oświatowej głównymi celami są:

1)            określenie efektów, programów, działań,

2)            określenie stopnia zgodności z przyjętymi celami, lub określonymi standardami jakości,

3)            poprawa jakości np. procedur, programów, działań,

4)            identyfikacja słabych i mocnych stron,

5)            podnoszenie skuteczności i efektywności działań,

6)            dostarczenie informacji koniecznych do podejmowania decyzji.

3.     Typy ewaluacji

Określając typy ewaluacji należy przyjąć poniższe kryteria:

§         ze względu na poziom (projektu, działania, programu, wyników);

§         ze względu na cel (konkluzywna, formatywna);

§         ze względu na organizację (zewnętrzna, wewnętrzna);

§         ze względu na moment jej wykonywania (ex-post, ex-ant, mid-term, on-going)

Ze względu na funkcję ( cel) wyróżnia się:

§         ewaluację konkuluzywną,

§         ewaluzajć formatywną.

Ewaluacja formatywna (kształtująca) ma pomóc w realizacji programu, innowacji, czy też przedsięwzięcia, które poddajemy badaniom oceniających. Powinna być prowadzona w takim momencie, aby w razie potrzeby znalazł się jeszcze czas na dokonanie zmian. Jest bogatsza od ewaluacji konkluzywnej. Stanowi V typ ewaluacji. Jest wartościowaniem wyników edukacyjnych bieżących, umożliwia regulowanie dalszego przebiegu projektu.

Ewaluacja konkluzywna (sumująca) – koncentruje się na ocenie rezultatów i skutków programu, działania. Odnosi się ona do całościowego jego oddziaływania; zajmuje się nie tylko odpowiedzią na pytanie, w jakim stopniu osiągnięte założone cele, ale w ogóle wszystkimi możliwymi do wykrycia konsekwencjami. Stanowi zwykle typ III ewaluacji. Wymaga ograniczonej ilości wysokowartościowych danych oraz umiejętności operowania poprawnymi metodologicznie modelami analizy i syntezy tych danych.

Głównym narzędziem ewaluacji sumującej jest metoda reprezentacyjna – to jest sposób zbierania i interpretacji danych oparty na rachunku prawdopodobieństwa. Badacz zbiera tu tyle danych ile potrzebuje do dostatecznie dokładnego wyciągnięcia wniosków.

Ze względu na kryterium czasu (moment jej wykonywania) wyróżnia się:

a)      ewaluację ex – ante – przeprowadzaną przed wdrożeniem projektu, działania;

b)      ewaluację mid – term – przeprowadzana w połowie realizacji projektu;

c)      ewaluacja ex – post  – przeprowadzana po zakończonym działaniu, realizacji projektu, programu w celu określenia efektów.

d)      On – going  –  przeprowadzana w dowolnym czasie, tzw. ewaluacja wyrywkowa

Ewaluacja ex-ante

Ewaluacja mid-term

Ewaluacja on-going

Ewaluacja ex-post

...