swiseSWISE 050310 015SWISE 050310 008

Beitrag 135.3

Summative Video-Portfolios: Ein verlässlicher Indikator für Kernpraktiken unterrichtlichen Handelns?

 

In der einphasigen Lehrpersonenausbildung der Schweiz wird erwartet, dass Studierende am Studiumsende über elementare Berufsfähigkeit verfügen. Sie sollen Kernpraktiken erworben haben, die sie begründet und erfolgreich anwenden sowie selbständig und reflexiv weiterentwickeln. Inwiefern dies bis Ausbildungsende gelingt, wird seit 2017 an der gesamten PH FHNW mithilfe eines summativen Video-Portfolios überprüft. Damit sollen Mängel hinsichtlich Reliabilität und Objektivität traditioneller berufspraktischer Abschlussprüfungen – i.d.R. Live-Beobachtungen mit anschliessendem Reflexionsgespräch (vgl. Strietholt & Terhart 2009) – überwunden werden (Bäuerlein & Fraefel 2016).

Die Video-Portfolios der Studierenden bestehen aus Lektionsplanungen, eigenen Unterrichtsvideos sowie schriftlichen Analysen der gefilmten Lektionen. Beurteilt werden sie von zwei geschulten Fachpersonen entlang eines Kriterienrasters mit den Subskalen «Planung», «Durchführung» und «Analyse/Reflexion». Die Werte beider Fachpersonen werden gemittelt. Die Kriterien basieren auf empirischen Befunden zur Unterrichtsqualität bzw. -effektivität (vgl. z.B. Praetorius et al. 2018). Jedes Kriterium wird auf einer 9-stufigen Ratingskala beurteilt und für jede Subskala gemittelt. Die Gesamtnote ergibt sich aus dem Mittelwert der Subskalenmittelwerte, wobei aus ausbildungslogischen Gründen die Planung einfach, Durchführung und Analyse/Reflexion jeweils doppelt gewichtet werden.

An der Tagung werden Evaluationsergebnisse zur Reliabilität und Validität des Verfahrens präsentiert:

Interrater- und Skalenreliabilität wurden aufgrund der Beurteilungen aller 74 im Frühlingssemester 2017 auf Sekundarstufe I eingereichten Video-Portfolios ermittelt. Die Interrater-Reliabilität ist mit Intraklassen-Korrelationen von 0.77 für die Planung, 0.61 für die Durchführung, 0.69 für Analyse/Reflexion sowie 0.67 für die Gesamtnote akzeptabel. Eine Beurteilung durch eine einzelne Fachperson wäre mit Werten von 0.44 bis 0.62 nicht ausreichend reliabel. Die Skalenreliabilität der gemeinsamen Beurteilungen beider Fachpersonen fällt mit Cronbach-Alpha-Werten für die einzelnen Skalen von 0.93 (Planung, 8 Items), 0.96 (Durchführung, 32 Items) und 0.97 (Analyse und Reflexion, 20 Items) sehr gut aus.

Die Prüfung der Konstruktvalidität erforderte eine grössere Stichprobe. Dazu wurden die gemeinsamen Urteile beider Fachpersonen aller 292 im Frühlingssemester 2017 auf Primarstufe eingereichten Video-Portfolios analysiert. Eine konfirmatorische Faktorenanalyse konnte zwar die postulierte Drei-Faktoren-Struktur des Video-Portfolio-Kriterienrasters empirisch nicht bestätigen, jedoch erreichte ein Faktoren-Modell zweiter Ordnung mit einer theoriebasierten weiteren Unterteilung der Durchführungs-Skala in Unterrichtsklima (3 Items), Klassenführung/Organisation (2 Items) und Unterstützung der Lernprozesse (5 Items) sowie einer weiteren Unterteilung der Analyse/Reflexions-Skala in Analyse (3 Items) und Reflexion (3 Items) einen guten Fit (χ2 = 362.21, df = 144, p < .001, χ2/df = 2.52, CFI = 0.97, TLI = 0.97, RMSEA = 0.07). Hohe Interkorrelationen der drei Subskalen Planung, Durchführung und Analyse/Reflexion (r = .65 bis r = .74) sprechen dafür, dass die Zusammenfassung zu einer Gesamtnote legitim ist. Die Evaluationsergebnisse sprechen für Doppelbeurteilungen sowie die Notwendigkeit weiterer Schulungen der Fachpersonen zur besseren Übereinstimmung.

Insgesamt deuten die Ergebnisse darauf hin, dass das Video-Portfolio ein reliables und valides Verfahren ist, das verlässliche Hinweise auf die unterrichtlichen Kompetenzen von Berufseinsteigenden geben kann. Weitere Implikationen und Limitationen werden an der Tagung diskutiert.

 

Literatur

Bäuerlein, K. & Fraefel, U. (2016). Ein Video-Portfolio zur summativen Überprüfung berufspraktischer Kompetenzen. BzL, 34(2), 212-218.

Praetorius, A.-K., Klieme, E., Huber, B. & Pinger, P. (2018). Generic dimensions of teaching quality: the German framework of Three Basic Dimensions. ZDM.

Strietholt, R., & Terhart, E. (2009). Referendare beurteilen. ZfP, 55(4), 622-645.