Aufgabenblatt ANOVA, mehrfaktoriell ohne MW (bzw. gemischtes Design)

1 Aufgabe

Eine Gruppe von 200 Schüler:innen wird einem Leistungstest in Mathematik unterzogen. Die Gruppe wurde zufällig in eine Experimental- und eine Kontrollgruppe zu je 100 Personen aufgeteilt.

In den folgenden zwei Wochen wurde die Experimentalgruppe mit einem speziell entwickelten didaktischen Verfahren unterrichtet. Die Kontrollgruppe erhielt Unterricht nach dem klassischen Verfahren.

Nach zwei Wochen wurden wiederum alle 200 Proband:innen einem Leistungstest unterzogen.

1. Wie lauten die untersuchten Faktoren? Formulieren Sie das Versuchsdesign.

Lösung
Faktor A: Art des Unterrichts; Ausprägungen: klassisch vs. neuartig (o.ä.).
Faktor B: Testzeitpunkt; Ausprägungen: vorger vs. nachher (o.ä.).
Versuchsdesign: (2 x 2); Faktor A ohne, Faktor B mit Messwiederholung; also: gemischtest Design.

2. Beim ersten Test sind die Leistungen von Experimental- und Kontrollgruppe quasi identisch. Beim zweiten Test hat sich die Kontrollgruppe geringfügig, die Experimentalgruppe deutlich verbessert. Von welchen Effekten der ANOVA erwarten Sie, das sie signifikant werden? Skizzieren Sie dazu die Mittelwerte in einem Interaktionsdiagramm.

Lösung
Laut der Beschreibung sollte es einen ausreichend großen Unterschied zwischen den beiden Messzeitpunten geben, auch wenn wir wir die Leistungen von Experimental- und Kontrollgruppe mitteln. Der Haupteffekt Testzeitpunkt sollte signifikant sein.

Wenn wir die Leistungen über die beiden Messzeitpunte getrennt für die beiden Gruppen mitteln, liegt die Leistung der Experimental- über der der Kontrollgruppe. Daher erwarten wir einen signifikanten Haupteffekt der Art des Unterrichts.

Schließlich unterscheidet sich der Einfluss des Testzeitpunkts für die beiden Gruppen. Der Anstieg der Leistung von 1 zu 2 ist für die Kontrollgruppe nur gering, für die Experimentalgruppe jedoch deutlich. Das kennzeichnet einen – vermutlich signifikanten – Interaktionseffekt.

Beispielhaftes Interaktionsdiagramm:

3. Von welcher Art ist die ermittelte Interaktion?

Lösung
Semidisordinale Interaktion (an der Grenze zur disordinalen Interaktion).

Gleiche Trendverläufe in der einen Sicht (s.o.) erlauben die globale Interpretation des Faktors Zeitpunkt: Nachher ist global – also für beide Gruppen – besser als vorher. Unterschiedliche Trendverläufe in der zweiten Sicht machen die Interpretation eines möglicherweise signifikanten Haupteffekts Art des Unterrichts (also Kontroll- vs. Experimentalgruppe) nur lokal und nicht mehr global über beide Messzeitpunkte interpretierbar.

Das sollte auch so ein. Die Intervention beschränkt sich ja auf den zweiten Messzeitpunkt. Zum Zeitpunkt 1 unterscheiden sich die beiden Gruppen noch nicht.

Ein signifikanter Haupteffekt der Art des Unterrichts ist für uns hier tatsächlich nicht interessant. Interessant ist nur die Interaktion. In der steckt hier der Erfolg der neuen Unterrichtsvariante.

2 Aufgabe

Beschränken wir uns auf die Experimentalgruppe und ignorieren die Kontrollgruppe. Machen wir einen Mediansplit und teilen die 100 Personen nach ihrer Leistung im ersten Test in zwei Gruppen auf: “gut” und “schlecht”; jeweils 50 Prozent. Nach dem Unterricht und dem zweiten Test betrachten wir wiederum separat die Leistung der guten und die der schlechten Gruppe.

1. Wir beobachten eine Verbesserung der schlechten Gruppe und eine Verschlechterung der guten Gruppe. Skizzieren Sie die beiden Sichten des Interaktionsdiagramms.

2. Welche Effekte der ANOVA sind vermutlich signifikant?

Lösung
Alle drei untersuchten Effekte könnten signifikant sein: Haupteffekt Messzeitpunt, Haupteffekt Gruppe, Interaktionseffekt.

3. Eine mögliche Interpretation des Interaktionseffekts könnte lauten: Diese spezielle, neuartige Variante des Unterrichts wirkt sich differenziert auf die Schüler:innen aus. Für die leistungsstarken Proband:innen beobachten wir eine Verringerung des Leistungsniveaus. Die leistungsschwächeren Proband:innen hingegen profitieren deutlich von dem Verfahren.
   
   Kommentieren Sie dieses Ergebnis. Stimmen Sie zu?

Lösung
Wir beobachten eine sog. Regression zum Mittelwert. Die Korrelation der Leistungen zwischen den beiden Messzeitpunkten ist nicht perfekt. Daher ist genau dieses Ergebnis zu erwarten.

Die zum ersten Messzeitpunkt besonders guten VPs sind zum zweiten Zeitpunkt immer noch überdurchschnittlich gut – aber nicht mehr ganz so gut. Gleiches gilt – in die andere Richtung – für zum ersten Zeitpunkt leistungsschwächere Schüler:innen.

Die Interaktion bildet genau dieses statistische Artefakt ab. Es gibt keine spezifische Wirkung des Unterrichts!

3 Aufgabe

Knappheit – insbesondere finanzielle – bindet kognitive Ressourcen. Schon das Denken an Geldknappheit kann die kognitive Leistungsfähigkeit (z. B. Intelligenztest, Arbeitsgedächtnis) beeinträchtigen.

In einer berühmten Studie baten Mullainathan & Kollegen Personen, sich eine kostspielige Reparatur vorzustellen (arm vs. reich), und testeten dann ihre kognitive Leistung. Ergebnis: Bei Armen sank die Leistung signifikant. Bei einem klassischen IQ-Test betrug das so erzeugte Defizit etwa 13 IQ-Punkte.

Dieser Effekt konnte aber nur zum Teil repliziert werden. Er existiert in manchen Studien, ist aber nicht universell stabil – oft deutlich schwächer oder gar nicht replizierbar.

Skizzieren Sie zwei Sichten des Interaktionsdiagramms, zu den orginalen Ergebnissen. Interpretieren Sie eine ggf. bestehende Interaktion.

Lösung
Wir beobachten eine disordinale Interaktion. Der Einfluss des einen Faktors hängt davon ab, um welche Stufe des anderen Faktors es gerade geht. ‘Wirkt der Geld-Prime negativ auf den IQ-Test?’ – ‘Nur für Arme, nicht für Reiche’.