Zeitschrift für Pädagogik

Vorsicht bei Evaluationen und internationalen Vergleichen - Unterschiedliche Referenzrahmen bedrohen die Validität von Befragungen zur Lehrerausbildung

Zusammenfassung

Zusammenfassung: Basierend auf der internationalen Vergleichsstudie TEDS-M wird die Validität von Befragungen zur Lehrerausbildung überprüft. Ziel ist zum einen, subjektive Qualitätseinschätzungen zur Ausbildung mit der tatsächlich erreichten Leistung in Zusammenhang zu bringen und so die prädiktive Validität Ersterer zu überprüfen. Zum anderen wird die Gefahr ökologischer Fehlschlüsse nachgewiesen, wenn in Analysen internationaler Daten die falsche Analyseeinheit gewählt wird. In Mehrebenenanalysen mit rund 8.000 angehenden Mathematiklehrkräften der Sekundarstufe I aus 15 Ländern werden vier typische Fragen aus Evaluationsstudien zur Wirksamkeit der Lehrerausbildung mit dem tatsächlich gezeigten mathematischen und mathematikdidaktischen Professionswissen in Beziehung gesetzt. Eine globale Wirksamkeitseinschätzung der Ausbildung weist einen geringen positiven Zusammenhang zum Professionswissen auf. Differenzierten Bewertungen kann dagegen keine prädiktive Validität zugeschrieben werden. Die Ergebnisse mahnen zur Vorsicht, was Schlussfolgerungen zur Lehrerausbildung angeht, die nur auf subjektiven Einschätzungen beruhen. Im internationalen Vergleich müssen zudem die kulturellen Unterschiede zwischen Ländern berücksichtigt werden, da unterschiedliche Referenzrahmen für die Einschätzungen existieren und die erhobenen Konstrukte ihre Bedeutung verändern, wenn sie auf Länderebene aggregiert werden.



Schlagworte: Mehrebenenanalyse, Befragung, Validität, Fehlschluss, Vergleichsstudie



Abstract: Based on the international comparative study TEDS-M, the validity of surveys on teacher education is examined. On the one hand, the aim is to relate subjective assessments of the quality of teacher training to the actual achievement in order to thus evaluate the predicative validity of the former, on the other hand, the risk of ecological misinterpretations is substantiated, which arises when the wrong analytical unit is chosen in the analysis of international data. In multi-level analyses carried out with about 8.000 future math teachers in lower secondary education from 15 different countries, four typical questions from evaluative studies on the efficacy of teacher training are related to the actually manifested mathematical and math-didactical professional competence. A global assessment of the efficacy of teacher training reveals a minor positive correlation with professional competence. To more differentiated evaluations, however, no predicative validity can be attributed. The results emphasize the need to be cautious with regard to conclusions concerning teacher training that rely solely on subjective assessments. In the context of international comparisons the cultural differences between the countries have to be taken into consideration, too, since different referential frameworks for these assessments exist and the constructs collected change their meaning once they are aggregated on country level.



Keywords: Multi-Level Modeling, Survey, Validity, Ecological Fallacy, Comparative Study