1 Der Datensatz

Wir möchten evaluieren, ob ein entwickeltes Englischtraining die Englischkenntnisse von Studierenden erhöht. Dazu wurde eine quasi-experimentelle Studie durchgeführt, bei der die Studierenden selbst entscheiden konnten, ob sie am Training teilnehmen (Interventionsgruppe; IG) oder nicht (Kontrollgruppe; KG). Nach dem Training wurden in beiden Gruppen die Englischkenntnisse gemessen. Als Kovariaten wurden die Englischvorkenntnisse und die Vorliebe für Englisch erhoben. Für die Analysen nutzen wir den simulierten Datensatz (englisch.rda) mit dem Objektnamen englisch mit den folgenden Variablen:

treat: Teilnahme am Englischtraining (0 = kein Englischtraining, 1 = Englischtraining) (Interventionsvariable)
eng_post: Englischkenntnisse nach dem Training (Skala von 0 bis 5) (Outcome-Variable)
eng_pre: Englischvorkenntnisse (Skala von 0 bis 5) (Kontinuierliche Kovariate)
eng_vorliebe: Vorliebe für Englisch (0 = keine Vorliebe für Englisch, 1 = Vorliebe für Englisch) (Dichotome Kovariate)

2 Erklärung der R-Funktionen

Zum Schätzen der generalisierten ANCOVA benutzen wir das Paket EffectLiteR, dessen Befehl effectLite() es erlaubt, die kausalen Effekte \(\widehat{\tau}\) (der durchschnittliche kausale Effekt ATE), \(\widehat{\tau}_{X=1}\) (der durchschnittliche kausale Effekt der Behandelten ATT) und \(\widehat{\tau}_{X=0}\) (der durchschnittliche kausale Effekt der Unbehandelten ATU) sowie kovariatenbedingte Effekte zu schätzen. Die folgende Tabelle bietet eine Übersicht der zentralen Funktionsargumente von effectLite():

Argument	Bedeutung
`effectLite(`
`y,`	Outcome-Variable
`x,`	Interventionsvariable
`control,`	Kodierung der Kontrollgruppe; z.B. `control = "0"`; default = der erste Eintrag von `as.factor(x)` wird gewählt
`z,`	kontinuierliche Kovariate(n) (default = `NULL`)
`k,`	kategoriale Kovariate(n) (default = `NULL`)
`data,`	Datensatz
`interactions,`	zugelassene Interaktionen; z.B. default = `interactions = "all"`, dabei werden Interaktionen zwischen allen Variablen außer den kontinuierlichen untereinander zugelassen, `interactions = "no"` erlaubt keine Interaktion zwischen Kovariate(n) und Interventionsvariable
`missing,`	Umgang mit fehlenden Werten; z.B. `missing = "fiml"` für “Full Information Maximum Likelihood”; `missing = "listwise"` für listenweisen Ausschluss fehlender Werte
`fixed.cell,`	fixe, festgelegte Gruppengröße (`TRUE`) oder stochastische, nicht festgelegte Gruppen (`FALSE`)
`homoscedasticity)`	Annahme von Varianzhomogenität der abhängigen Variable in den Interventionsgruppen (`TRUE`, wenn angenommen; `FALSE`, wenn nicht angenommen)

Mit der Funktion elrPredict() aus dem Paket EffectLiteR können kovariatenbedingte Effekte inklusive Standardfehler geschätzt werden. Die relevanten Argumente der Funktion sind in der folgenden Tabelle erklärt.

Argument	Bedeutung
`elrPredict(`
`obj,`	mit der Funktion `effectLite()` vorbereitetes Objekt
`newdata,`	Datensatz, der Kovariaten aus dem Modell beinhaltet (default = `NULL`)
`add.columns)`	Zusätzliche Spalten hinzufügen. Z.B. `add.columns = "expected-outcomes"`

Mit der Funktion conditionalEffectsPlot() aus dem Paket EffectLiteR können kovariatenbedingte Effekte visualisiert werden. Die relevanten Argumente der Funktion sind in der folgenden Tabelle erklärt.

Argument	Bedeutung
`conditionalEffectsPlot(`
`obj,`	mit der Funktion `effectLite()` vorbereitetes Objekt
`zsel,`	Variable die auf der X-Achse dargestellt werden soll. Z.B. default = `zsel = "id"` verwendet die Indexvariable (numerierte Zeilen des Datensatzes) für die X-Achse.
`gxsel,`	Name der Effektfunktion die auf der Y-Achse dargestellt werden soll. Z.B. default = `gxsel = "g1"` verwendet die g1 Funktion für die Y-Achse.
`colour,`	Eine Variable die für die Färbung der Gerade(n) verwendet werden soll.
`show.ci,`	Darstellung der Konfidenzintervalle der kovariatenbedingte Effekte bei `TRUE` (default = `FALSE`)
`regression`	Spezifikation für die Regressionsgerade. Z.B. regression = “default”
`regression.ci)`	Darstellung des Konfidenzintervalls der Regressionsgerade (default = `FALSE`).

3 Vorbereitung

Zunächst installieren (falls nötig) und laden wir das Paket

# install.packages("EffectLiteR") # Installation des Paketes vor der ersten Nutzung

library(EffectLiteR)              # Laden des Paketes

und lesen den Datensatz ein

load("englisch.rda")              # Einlesen des Datensatzes (wenn der Datensatz nicht 
                                  # im Arbeitsverzeichnis liegt, muss der Pfad entsprechend         
                                  # dem Speicherort des Datensatzes angepasst werden)

4 Generalisierte ANCOVA mit einer kontinuierlichen Kovariate

Wir spezifizieren eine generalisierte ANCOVA zur Vorhersage der Englischkenntnisse (Outcome-Variable) nur durch das Englischtraining (Interventionsvariable) und die Englischvorkenntnisse (kontinuierliche Kovariate). Die Kovariate Vorliebe für Englisch lassen wir dabei also zunächst außen vor.

Nun kann das Modell spezifiziert und geschätzt werden.

m1 <- effectLite(
  
  y = "eng_post",           # Outcome-Variable 
  
  x = "treat",              # Interventionsvariable
  
  control = "0",            # Kodierung für KG
  
  z = "eng_pre",            # kontinuierliche Kovariate
  
  k = NULL,                 # in diesem Fall haben wir keine kategorialen Kovariate(n)
  
  data = englisch,          # der Datensatz
  
  interactions = "all",     # alle Interaktionen zulassen
  
  missing = "fiml",         # Umgang mit fehlenden Werten mit der 
                            # "Full Information Maximum Likelihood"-Methode
  
  fixed.cell = FALSE,       # nicht festgelegte Gruppengrößen
  
  homoscedasticity = FALSE) # keine Annahme von Varianzhomogenität

print(m1)

Im Folgenden werden relevante Auszüge des Outputs einzeln erläutert.

4.1 Geschätzte Regressionsgleichung

## 
## 
## --------------------- Message  --------------------- 
## 
##  -- model converged succesfully -- 
## 
...

Unter Message finden wir die Mitteilung der erfolglosen oder (in diesem Fall) erfolgreichen Modellschätzung.

...
## --------------------- Variables  --------------------- 
## 
## Outcome variable Y:  eng_post 
## Treatment variable X:  treat   (Reference group:  0)
## Continuous covariates in Z=(Z1): Z1=eng_pre 
## 
## Levels of Treatment Variable X 
##    X   treat (original)   Indicator
##    0                  0       I_X=0
##    1                  1       I_X=1
...

Unter Variables wird eine Zusammenfassung der verwendeten Variablen und deren Notation in EffectLite gegeben.

...
## 
##  --------------------- Regression Model --------------------- 
## 
##  E(Y|X,Z) = g0(Z) + g1(Z)*I_X=1 
##   g0(Z) = g000 + g001 * Z1 
##   g1(Z) = g100 + g101 * Z1 
## 
##  Intercept Function g0(Z)  [Reference group: 0] 
## 
##    Coefficient   Estimate      SE   Est./SE   p-value
##           g000       1.50   0.143     10.52         0
##           g001       0.56   0.058      9.64         0
## 
##  Effect Function g1(Z)   [treat: 1 vs. 0] 
## 
##    Coefficient   Estimate      SE   Est./SE   p-value
##           g100      0.936   0.287      3.26     0.001
##           g101     -0.237   0.106     -2.24     0.025
## 
## 
...

Unter Regression Model finden sich die folgenden Angaben:

Estimate: die geschätzten Regressionskoeffizienten
SE: der Standardfehler (engl. standard error) der geschätzten Regressionskoeffizienten
Est./SE: die entsprechende Prüfgröße \(z\)
p-value: der dem \(z\)-Wert entsprechende \(p\)-Wert

Die einzelnen Regressionsparameter können folgendermaßen interpretiert werden:

g000 = \(\alpha_0\) = 1,500: Für Personen in der Kontrollgruppe, die keine Englischvorkenntnisse (also 0 Punkte im Englisch Vortest) haben, erwarten wir einen Wert von 1,500 Punkte im Englisch Nachtest. Dieser geschätzte Parameter hat einen Standardfehler von 0,143 und unterscheidet sich signifikant von 0 (\(p\) < ,001).
g001 = \(\alpha_1\) = 0,560: Für Personen in der Kontrollgruppe, erwarten wir für jeden Punkt mehr im Englisch Vortest 0,560 Punkte höhere Werte im Englisch Nachtest. Dieser geschätzte Parameter hat einen Standardfehler von 0,058 und unterscheidet sich signifikant von 0 (\(p\) < ,001).
g100 = \(\alpha_2\) = 0,936: Wir erwarten, dass eine Person in der Interventionsgruppe, die keine Englischvorkenntnisse (also 0 Punkte im Englisch Vortest) hat, einen um 0,936 Punkte höheren Wert im Nachtest erzielt, als eine Person aus der Kontrollgruppe, die ebenfalls keine Vorkenntnisse hat. Wir schätzen demnach für Personen ohne Vorkenntnisse einen Effekt des Englischtrainings auf die Englischkenntnisse von 0,936 Punkten. Dieser geschätzte Parameter hat einen Standardfehler von 0,287 und unterscheidet sich signifikant von 0 (\(p\) = ,001).
g101 = \(\alpha_3\) = -0,237: Der Zusammenhang (Steigungskoeffizient) zwischen Vorkenntnissen und Englisch Nachtestwerten ist in der Interventionsgruppe um 0,237 Punkte geringer als in der Kontrollgruppe. Mit jedem Punkt mehr auf den Vorkenntnissen verringert sich der geschätzte Trainingseffekt um 0,237 Punkte. Das Englischtraining scheint demnach besonders gut für Personen mit geringen Vorkenntnissen geeignet zu sein. Dieser geschätzte Parameter hat einen Standardfehler von 0,106 und unterscheidet sich signifikant von 0 (\(p\) = ,025)

Wir können nun auch die Intercept- und Effektfunktion aufstellen:

\(g_0(Z) = 1,500 \ + 0,560 \ * Z\)

\(g_1(Z) = 0,936 \ - 0,237 \ * Z\)

Diese können in die Gleichung eingesetzt und in eine reguläre Schreibweise einer multiplen Regression mit Interaktion umgeformt werden:

\(E(Y│X, Z)=g_0 (Z) + g_1 (Z) * X\)

\(E(Y│X, Z)= 1,500 + 0,560 * Z + ( 0,936 - 0,237 * Z) * X\)

\(E(Y│X, Z)= 1,500 + 0,560 * Z + 0,936 * X - 0,237 * Z * X\)

Die Regressionsgleichung kann grafisch dargestellt werden, indem wir für jede der beiden Bedingungen eine Gerade einzeichnen.

Für die Kontrollgruppe setzen wir \(X=0\) ein. Daraus ergibt sich folgende Gleichung:

\(E(Y│X, Z)= 1,500 + 0,560 * Z + 0,936 * 0 - 0,237 * Z * 0\)

\(E(Y│X, Z)= 1,500 + 0,560 * Z\)

→ einfache lineare Regression der Englischkenntnisse auf die Vorkenntnisse nur für Personen in der Kontrollgruppe.

Für die Interventionsgruppe setzen wir \(X=1\) ein. Daraus ergibt sich folgende lineare Gleichung:

\(E(Y│X,Z) = 1,500 + 0,560 * Z + 0,936 * 1 - 0,237 * Z * 1\)

\(E(Y│X,Z)= 1,500 + 0,560 * Z + 0,936 - 0,237 * Z\)

\(E(Y│X,Z)= 2,436 + 0,323 *Z\)

→ einfache lineare Regression der Englischkenntnisse auf die Vorkenntnisse nur für Personen in der Interventionsgruppe.

Diese lassen sich grafisch in einem Streudiagramm darstellen.

plot(eng_post ~ eng_pre,                 # Streudiagramm
     data = englisch,                    # Datensatz
     col = treat + 1)                    # Färben der Datenpunkte nach Interventionsgruppe 
                                         # (col = 1 für KG, col = 2 für IG)

abline(a = 1.5, b = 0.56,                # Einzeichnen der Gerade für die KG (Intercept, Steigung)
       col = 1)                          # Farbe der Geraden in der Kontrollgruppe

abline(a = 2.436, b = 0.323,             # Einzeichnen der Gerade für die Interventionsgruppe (Intercept, Steigung)
       col = 2)                          # Farbe der Geraden in der Interventionsgruppe

legend("bottomright",                    # Einfügen einer Legende unten rechts
       legend = c("KG", "IG"),           # Inhalte der Legende
       fill = 1:2)                       # Farben

Abbildung 1: Grafische Darstellung der geschätzten Regression

4.2 Kausale Effekte

Mithilfe der Regressionsgleichung können dann die verschiedenen Interventionseffekte geschätzt werden. In der Tabelle sind die Formeln und Definitionen der Schätzer der kausalen Effekte noch einmal aufgeführt:

Effekte	Schätzung	Bedeutung
Kovariatenbedingter kausaler Effekt	\(\widehat{\tau}_{Z=z}=g_1 (Z=z)\)	Der Effekt für eine konkrete Kovariatenausprägung (bzw. -skombination) gibt an, welche Wirkung des Trainings wir für eine Person mit einer bestimmten Kovariatenausprägung(en) erwarten.
ATE	\(\widehat{\tau} = E(g_1 (Z))\)	Der durschnittliche kausale Effekt gibt den über alle Personen gemittelten Effekt des Trainings an.
ATT	\(\widehat{\tau}_{X=1}=E(g_1 (Z)\|X=1)\)	Der durschnittliche kausale Effekt der Behandelten gibt den kausalen Effekt des Trainings für Personen an, die das Training wählen.
ATU	\(\widehat{\tau}_{X=0} = E(g_1 (Z)\|X=0)\)	Der durschnittliche kausale Effekt der Unbehandelten gibt den kausalen Effekt des Trainings für Personen an, die das Training nicht wählen.

4.2.1 Exkurs: Berechnung kausaler Effekte

In diesem Exkurs zeigen wir, wie die Berechnung der kausalen Effekte mit Hilfe der geschätzten Regressionskoeffizienten per Hand erfolgt. Dies ist in der Praxis nicht notwendig, hilft aber für das Verständnis der kausalen Effektarten.

Kovariatenbedingte Effekte:

Die Effekte des Englischtrainings für Personen mit einer bestimmten Kovariatenausprägung werden mit Hilfe der \(g_1 (Z)\)-Funktion berechnet. Diese lautet

\(g_1 (Z) = 0,936 - 0,237 * Z\) (s.o.)

Will man den kausalen Effekt für Personen bestimmten Vorkenntnissen bestimmen, setzt man den entsprechenden \(z\)-Wert in die Formel ein. Dies wird an zwei Beispielen erläutert:

Für eine Person mit Vorkenntnissen von \(z = 0,5\) schätzen wir demnach

\(\widehat{\tau}_{Z=0,5} = g_1 (Z=0,5) = 0,936 - 0,237 * 0,5 = 0,818\)

eine Erhöhung der Englischkenntnisse durch das Training um 0,818 Punkte. Für eine Person mit hohen Englisch-Vorkenntnissen von \(z = 4\) schätzen wir hingegen

\(\widehat{\tau}_{Z=4} = g_1 (Z=4)= 0,936 - 0,237 * 4 = -0,012\)

eine minimale Verschlechterung der Englischkenntnisse durch das Training um 0,012 Punkte. Es profitieren demnach vor allem Personen mit geringem Vorwissen von dem Training.

Durchschnittlicher kausaler Effekt:

Der durchschnittliche kausale Effekt wird anhand des Erwartungswertes der \(g_1\)-Funktion geschätzt. In unserem Beispiel also:

\(\widehat{\tau} = E(g_1 (Z)) = E(0,936 - 0,237 * Z) = 0,936 - 0,237 * E(Z)\)

Wir setzen den Erwartungswert für \(Z\) ein. Diesen schätzen wir anhand der durchschnittlichen Vorkenntnisse in unserer gesamten Stichprobe.

mean(englisch$eng_pre)

## [1] 2.58

Er beträgt in dem Datenbeispiel \(2,580\). Somit ergibt sich:

\(\widehat{\tau} = 0,936 - 0,237 * 2,580 = 0,325\)

→ Im Durchschnitt haben Personen 0,325 Punkte höhere Englischkenntnisse, wenn sie am Englischtraining teilnehmen als wenn sie nicht teilnehmen.

Durchschnittlicher kausaler Effekt der Behandelten:

Der durchschnittliche kausale Effekt der Behandelten wird durch den auf die Interventionsgruppe bedingten Erwartungswert der \(g_1\)-Funktion geschätzt.

\(\widehat{\tau}_{X=1} = E(g_1 (Z)|X=1) = E( 0,936 - 0,237 * Z|X=1 ) = 0,936 - 0,237 * E(Z|X=1)\)

Der Erwartungswert der Vorkenntnisse in der Interventionsgruppe wird anhand der mittleren Vorkenntnisse in der Interventionsgruppe geschätzt.

tapply(englisch$eng_pre, englisch$treat, mean) # Mittelwerte im Englisch-Vortest nach Gruppe

##    0    1 
## 2.40 2.78

Der geschätzte Erwartungswert der Vorkenntnisse \(Z\) in der Interventionsgruppe ist \(2,780\). Wir setzen den Erwartungswert für die Englischvorkenntnisse in der Interventionsgruppe ein:

\(\widehat{\tau}_{X=1} = 0,936 - 0,237 * 2,780 = 0,277\)

→ Personen, die am Englischtraining teilnehmen, haben im Durchschnitt 0,277 Punkte höhere Englischkenntnisse als wenn sie nicht teilgenommen hätten.

Durchschnittlicher kausaler Effekt der Unbehandelten:

Der durchschnittliche kausale Effekt der Unbehandelten wird durch den auf die Kontrollgruppe bedingten Erwartungswert der \(g_1\)-Funktion geschätzt:

\(\widehat{\tau}_{X=0} = E(g_1 (Z)|X=0) = E(0,936 - 0,237 * Z|X=0) = 0,936 - 0,237 * E(Z|X=0)\)

Wir setzen den Erwartungswert für die Englischvorkenntnisse in der Kontrollgruppe ein. Diesen schätzen wir anhand der durchschnittlichen Vorkenntnisse in der Kontrollgruppe.

Der Erwartungswert von \(Z\) in der Kontrollgruppe ist \(2,400\) (s.o.). Es gilt also:

\(\widehat{\tau}_{X=0} = 0,936 - 0,237 * 2,400 = 0,367\)

→ Personen die nicht am Englischtraining teilnehmen hätten im Durchschnitt 0,367 Punkte höhere Englischkenntnisse, wenn sie am Englischtraining teilgenommen hätten als wenn sie nicht teilnehmen. Dieser Wert ist höher als der geschätzte ATT. Es profitieren demnach vor allem Personen vom Training, die üblicherweise nicht daran teilnehmen.

4.2.2 kausale Effekte in R

Die Schätzer der kausalen Effekte können direkt aus dem R-Output abgelesen werden. Wir erhalten zudem Standardfehler und p-Werte für jeden geschätzten Effekt:

...
## 
##  --------------------- Average Effects --------------------- 
## 
##            Estimate      SE   Est./SE         p-value   Effect Size
## E[g1(Z)]      0.324   0.054         6   0.00000000193          0.56
## 
## 
##  --------------------- Effects given a Treatment Condition --------------------- 
## 
##                Estimate       SE   Est./SE         p-value   Effect Size
## E[g1(Z)|X=0]      0.368   0.0608      6.05   0.00000000143         0.635
## E[g1(Z)|X=1]      0.276   0.0547      5.04   0.00000046516         0.476
...

Unter Average Effects kann der Schätzer des durchschnittlichen kausalen Effekts abgelesen werden. Unter Effects given a Treatment Condition finden sich die Schätzer der durchschnittlichen kausalen Effekte für die Behandelten und die Unbehandelten.

Dabei sind folgende Werte relevant:

Estimate: der jeweils geschätzte kausale Effekt
SE: Standardfehler des geschätzten kausalen Effekts
p-value: \(p\)-Wert
Effect Size: die Effektstärke Glass’ \(\Delta\)

Es werden also (übereinstimmend mit der obigen händischen Berechnung) die folgenden kausalen Effekte geschätzt und zusätzlich deren Standardfehler, \(p\)-Werte und Effektgrößen angegeben:

\(E[g_1(Z)]\) = \(\hat{ATE}\) = 0,324 (\(SE\) = 0,054; \(p\) < ,001; Glass’ \(\Delta\) = 0,560): Im Durchschnitt führt das Training zu einem um 0,324 Punkte besseren Ergebnis im Englisch Nachtest. Der Effekt ist signifikant und entspricht einer standardisierten Effektstärke (Glass’ \(\Delta\)) von 0,56 (mittel).
\(E[g_1(Z)|X=0]\) = \(\hat{ATU}\) = 0,368 (\(SE\) = 0,061; \(p\) < ,001; Glass’ \(\Delta\) = 0,635): Für Personen in der Kontrollgruppe wird ein durchschnittlicher Effekt des Trainings von 0,368 geschätzt. Der Effekt ist signifikant und entspricht einer standardisierten Effektstärke (Glass’ \(\Delta\)) von 0,635 (mittel).
\(E[g_1(Z)|X=1]\) = \(\hat{ATT}\) = 0,276 (\(SE\) = 0,055; \(p\) < ,001; Glass’ \(\Delta\) = 0,476): Für Personen in der Interventionsgruppe wird ein durchschnittlicher Effekt von 0,276 geschätzt. Der Effekt ist signifikant und entspricht einer standardisierten Effektstärke (Glass’ \(\Delta\)) von 0,476 (klein).

EffectLiteR gibt mithilfe des elrPredict()-Befehls geschätzte kovariatenbedingte Effekte inklusive deren Standardfehler aus, z.B. den erwarteten Effekt des Trainings für Personen mit einem Vortestwert in Englisch von 0,5 oder einem Vortestwert von 4:

datacov1 <- data.frame(eng_pre=c(0.5, 4))  # Auswahl der entsprechenden Kovariatenwerte
elrPredict(m1, datacov1)

##        g1 se_g1 ExpOutc0 ExpOutc1
## 1  0.8176 0.236     1.78     2.60
## 2 -0.0125 0.151     3.74     3.73

Für Personen mit einem Vortestwert in Englisch von 0,5 erwarteten wir ohne Training einen Nachtestwert in Englisch von 1,780 und mit Training einen Nachtestwert von 2,600. Für diese Personen schätzen wir, dass das Training zu einer um 0,818 (\(SE\) = 0,236) Punkte höheren Englischkenntnis führt. Für Personen mit einem Vortestwert von 4 erwarten wir einen Effekt des Trainings von -0,013 (\(SE\) = 0,151) Punkten im Englisch Nachtest.

Die kovariatenbedingten Effekte können mit dem conditionalEffectsPlot()-Befehl aus dem Paket EffectLiteR visualisiert werden.

conditionalEffectsPlot(
  m1,               # vorher mit effectLite definiertes Objekt
  zsel = "eng_pre", # kontinuierliche Kovariate
  gxsel = "g1")     # Effektfunktion

Abbildung 2: Kovariatenbedingte Effekte

Wir können in der Graphik die geschätzten kovariatenbedingten kausalen Effekte ablesen. Vergleichen wir wieder Personen mit hohen und niedrigen Vorkenntnissen. Für Personen mit einem Vortestwert von 0,5 Punkten können wir den Effekt nicht ablesen. Das liegt daran, dass der Wert nicht in unserer Stichprobe beobachtet wurde. Würden wir die Regressionsgerade hier weiterführen, könnten wir den oben ausgerechneten Effekt von ungefähr 0,81 Punkten ablesen (\(g_1(Z=0,5)\)). Für Personen mit einem Vortestwert von 4 Punkten wird ein Effekt von ungefähr -0,01 Punkten erwartet (\(g_1(Z = 4)\)).

5 Generalisierte ANCOVA mit einer dichotomen und einer kontinuierlichen Kovariate

Im Folgenden berücksichtigen wir zusätzlich zur kontinuierlichen Kovariate Englischvorkenntnisse noch die Vorliebe für Englisch. Wir belassen den Code und fügen zum Einen das Argument k = "eng_vorliebe" hinzu und spezifizieren zum Anderen, dass wir Interaktionen zwischen jeder Kovariate und dem Training (nicht aber zwischen den Kovariaten oder Interaktionen höherer Ordnung) zulassen.

m2 <- effectLite(
  
  y = "eng_post",           # Outcome-Variable
  
  x = "treat",              # Interventionsvariable
  
  control = "0",            # Kodierung für KG
  
  z = "eng_pre",            # kontinuierliche Kovariate
  
  k = "eng_vorliebe",       # kategoriale Kovariate
  
  data = englisch,           # der Datensatz
  
  interactions = "X:K,X:Z", # Interaktion zwischen kategorialer Kovariate 
                            # und Interventionsvariable ('X:K') sowie zwischen 
                            # kontinuierlicher Kovariate und Interventionsvariable ('X:Z') zulassen.
  
  missing = "fiml",         # Umgang mit fehlenden Werten mit der 
                            # "Full Information Maximum Likelihood"-Methode
  
  fixed.cell = FALSE,       # nicht festgelegte Gruppengrößen
  
  homoscedasticity = FALSE) # keine Annahme von Varianzhomogenität

5.1 Geschätzte Regressionsgleichung

print(m2)

...
## 
##  --------------------- Regression Model --------------------- 
## 
##  E(Y|X,K,Z) = g0(K,Z) + g1(K,Z)*I_X=1 
##   g0(K,Z) = g000 + g001 * Z1 + g010 * I_K=1 + g011 * I_K=1 * Z1 
##   g1(K,Z) = g100 + g101 * Z1 + g110 * I_K=1 + g111 * I_K=1 * Z1 
## 
##  Intercept Function g0(K,Z)  [Reference group: 0] 
## 
##    Coefficient   Estimate      SE   Est./SE   p-value
##           g000      1.359   0.140      9.69         0
##           g001      0.564   0.056     10.13         0
##           g010      0.267   0.062      4.32         0
##           g011      0.000      NA        NA        NA
## 
##  Effect Function g1(K,Z)   [treat: 1 vs. 0] 
## 
##    Coefficient   Estimate      SE   Est./SE   p-value
##           g100      0.955   0.272      3.52     0.000
##           g101     -0.308   0.100     -3.06     0.002
##           g110      0.176   0.097      1.82     0.068
##           g111      0.000      NA        NA        NA
## 
## 
...

Analog zu dem ersten Modell finden sich unter Regression Model Regressionsparameter, Standardfehler, \(z\)-Wert und \(p\)-Wert (s.o.).

Intercept- und Effektfunktion

\(g_{0}(K,Z) = 1,359 \ + 0,564 \ * Z \ + 0,267 \ * K\)

\(g_{1}(K,Z) = 0,955 \ - 0,308 \ * Z \ + 0,176 \ * K\)

Die einzelnen Parameter können folgendermaßen interpretiert werden:

g000 = \(\alpha_0\) = 1,359: Wir erwarten für eine Person in der Kontrollgruppe, die keine Vorkenntnisse in Englisch und keine Vorliebe für Englisch hat, einen Nachtestwert von 1,359 Punkten. Dieser geschätzte Parameter hat einen Standardfehler von 0,140 und ist mit einem \(p\)-Wert von \(p\) < ,001 signifikant.
g001 = \(\alpha_1\) = 0,564: Für Personen in der Kontrollgruppe mit der gleichen (Nicht-)Vorliebe für Englisch erwarten wir für jeden zusätzlichen Vortestwert 0,564 Punkte mehr im Englisch Nachtest. Dieser geschätzte Parameter hat einen Standardfehler von 0,056 und ist mit einem \(p\)-Wert von \(p\) < ,001 signifikant.
g010 = \(\alpha_2\) = 0,267: Personen in der Kontrollgruppe mit einer Vorliebe für Englisch haben im Mittel 0,267 Punkte höhere Englisch Nachtestwerte als Personen in der Kontrollgruppe mit keiner Vorliebe für Englisch aber denselben Vortestwerten. Dieser geschätzte Parameter hat einen Standardfehler von 0,062 und ist mit einem \(p\)-Wert von \(p\) < ,001 signifikant.
g011 = \(\alpha_3\) = 0,000: Zwischen Vorliebe für Englisch (\(K\)) und Vorkenntnissen (\(Z\)) wurde keine Interaktion zugelassen, deswegen wird der Parameter g011 auf 0 gesetzt.
g100 = \(\alpha_4\) = 0,955: Bei Personen mit keiner Vorliebe für Englisch (\(K=0\)) und keinen Englisch Vorkenntnissen (\(Z=0\)) führt das Englischtraining im Mittel zu 0,955 Punkten höheren Englischkenntnisse als ohne Training. Dieser geschätzte Parameter hat einen Standardfehler von 0,272 und ist mit einem \(p\)-Wert von \(p\) < ,001 signifikant.
g101 = \(\alpha_5\) = -0,308: Bei gleicher (Nicht-Vorliebe) für Englisch verringert sich der erwartete Effekt des Trainings mit jedem Vortestwert mehr um 0,308 Punkte im Englisch Nachtest. Dieser geschätzte Parameter hat einen Standardfehler von 0,100 und ist mit einem \(p\)-Wert von \(p\) = ,002 signifikant.
g110 = \(\alpha_6\) = 0,176: Bei gleichen Vorkenntnissen ist der Effekt des Englischtrainings bei Personen mit einer Vorliebe für Englisch um 0,176 Punkte höher als bei Personen ohne eine Vorliebe für Englisch. Dieser geschätzte Parameter hat einen Standardfehler von 0,097, ist jedoch mit einem \(p\)-Wert von \(p\) = ,068 nicht signifikant.
g111 = \(\alpha_7\) =0,000: Es wurde keine dreifach-Interaktion zwischen \(Z\), \(K\) und \(X\) zugelassen. Daher wurde der Parameter g111 auf 0 gesetzt.

5.2 Schätzung kausaler Effekte

...
## 
##  --------------------- Average Effects --------------------- 
## 
##              Estimate       SE   Est./SE       p-value   Effect Size
## E[g1(K,Z)]      0.265   0.0517      5.12   0.000000298         0.457
## 
## 
##  --------------------- Effects given a Treatment Condition --------------------- 
## 
##                  Estimate       SE   Est./SE       p-value   Effect Size
## E[g1(K,Z)|X=0]      0.305   0.0581      5.25   0.000000148         0.526
## E[g1(K,Z)|X=1]      0.221   0.0543      4.07   0.000047999         0.381
## 
## 
...

Analog zum ersten Modell sind im Output auch hier zunächst der Schätzer des durchschnittlichen kausalen Effekts (Average Effects) und die Schätzer der interventionsbedingten kausalen Effekte (Effects given a Treatment Condition) zu finden:

Interventionsbedingte Effekte

\(E[g_1(Z)]\) = \(\hat{ATE}\) = 0,265 (\(SE\) =0,052; \(p\) < ,001; \(ES\) = 0,457): Im Durchschnitt führt das Training zu einem um 0,265 Punkte besseren Ergebnis im Englisch Nachtest. Der Effekt ist signifikant (\(p\) < ,001) und entspricht einer standardisierten Effektstärke von Glass’ \(\Delta\) = 0,457 (klein).
\(E[g_1(Z)|X=0]\) = \(\hat{ATU}\) = 0,305 (\(SE\) = 0,058; \(p\) < ,001; \(ES\) = 0,526): Für Personen in der Kontrollgruppe wüde ein Effekt von 0,305 Punkten bei Teilnahme am Training erwartet. Der Effekt ist signifikant (\(p\) < ,001) und entspricht einer standardisierten Effektstärke von Glass’ \(\Delta\) = 0,526 (mittel).
\(E[g_1(Z)|X=1]\) = \(\hat{ATT}\) = 0,221 (\(SE\) = 0,054; \(p\) < ,001; \(ES\) = 0,381): Für Personen in der Interventionsgruppe wird ein Effekt von 0,221 Punkten bei Teilnahme am Training erwartet. Der Effekt ist signifikant (\(p\) < ,001) und entspricht einer standardisierten Effektstärke von Glass’ \(\Delta\) = 0,381 (klein).

...
## 
##  --------------------- Effects given K=k --------------------- 
## 
##                  Estimate       SE   Est./SE      p-value   Effect Size
## E[g1(K,Z)|K=0]      0.184   0.0759      2.43   0.01505042         0.318
## E[g1(K,Z)|K=1]      0.320   0.0665      4.81   0.00000149         0.552
## 
## 
##  --------------------- Effects given X=x, K=k --------------------- 
## 
##                       Estimate       SE   Est./SE        p-value   Effect Size
## E[g1(K,Z)|X=0, K=0]      0.215   0.0785      2.74   0.0061049519         0.371
## E[g1(K,Z)|X=1, K=0]      0.128   0.0763      1.67   0.0944744807         0.220
## E[g1(K,Z)|X=0, K=1]      0.395   0.0738      5.35   0.0000000874         0.681
## E[g1(K,Z)|X=1, K=1]      0.261   0.0677      3.85   0.0001177889         0.450
## 
...

Unter Effects given K=k und Effects given X=x, K=k sind nun zusätzlich auf die kategoriale Kovariate (Vorliebe für Englisch) bedingte Effekte zu finden:

Kovariatenbedingte Effekte

\(E[g_1(K,Z)|K=0]\) = \(\widehat{\tau}_{K=0}\) = 0,184 (\(SE\) = 0,076; \(p\) = ,015; \(ES\) = 0,318): Für Personen ohne Vorliebe für Englisch wird ein Effekt von 0,184 Punkten bei Teilnahme am Training erwartet. Der Effekt ist signifikant (\(p\) = ,015) und entspricht einer standardisierten Effektstärke von Glass’ \(\Delta\) = 0,318 (klein).
\(E[g_1(K,Z)|K=1]\) = \(\widehat{\tau}_{K=1}\) = 0,320 (\(SE\) = 0,067, \(p\) < ,001, \(ES\) = 0,552): Für Personen mit Vorliebe für Englisch wird ein Effekt von 0,320 Punkten bei Teilnahme am Training erwartet. Der Effekt ist signifikant (\(p\) < ,001) und entspricht einer standardisierten Effektstärke von Glass’ \(\Delta\) = 0,552 (mittel).
\(E[g_1(K,Z)|X=0, \ K=0]\) = \(\widehat{\tau}_{X=0; \ K=0}\) = 0,215 (\(SE\) = 0,079; \(p\) = ,006; \(ES\) = 0,371): Für Personen in der Kontrollgruppe, die keine Vorliebe für Englisch haben, wird ein Effekt von 0,215 Punkten bei Teilnahme am Training erwartet. Der Effekt ist signifikant (\(p\) = ,006) und entspricht einer standardisierten Effektstärke von Glass’ \(\Delta\) = 0,371 (klein).
\(E[g_1(K,Z)|X=1, \ K=0]\) = \(\widehat{\tau}_{X=1; \ K=0}\) = 0,128 (\(SE\) = 0,076; \(p\) = ,094; \(ES\) = 0,220): Für Personen in der Interventionsgruppe, die keine Vorliebe für Englisch haben, wird ein Effekt von 0,128 Punkten bei Teilnahme am Training erwartet. Der Effekt ist nicht signifikant (\(p\) = ,094).
\(E[g_1(K,Z)|X=0, \ K=1]\) = \(\widehat{\tau}_{X=0; \ K=1}\) = 0,395 (\(SE\) = 0,074; \(p\) < ,001; \(ES\) = 0,681): Für Personen in der Kontrollgruppe, die eine Vorliebe für Englisch haben, wird ein Effekt von 0,395 Punkten bei Teilnahme am Training erwartet. Der Effekt ist signifikant (\(p\) < ,001) und entspricht einer standardisierten Effektstärke von Glass’ \(\Delta\) = 0,681 (mittel).
\(E[g_1(K,Z)|X=1, \ K=1]\) = \(\widehat{\tau}_{X=1; \ K=1}\) = 0,261 (\(SE\) = 0,068; \(p\) < ,001; \(ES\) = 0,450): Für Personen in der Interventionsgruppe, die eine Vorliebe für Englisch haben, wird ein Effekt von 0,261 Punkten bei Teilnahme am Training erwartet. Der Effekt ist signifikant (\(p\) < ,001) und entspricht einer standardisierten Effektstärke von Glass’ \(\Delta\) = 0,450 (klein).

Kovariatenbedingte Effekte können für jede Kovariatenkombination geschätzt werden, z.B. für Personen mit einem Vortestwert in Englisch von 2, die eine Vorliebe für Englisch haben oder für Personen mit demselben Vortestwert, aber keiner Vorliebe für Englisch:

datacov2 <- data.frame(eng_pre=c(2,2), 
                       eng_vorliebe=c(1,0))  # Auswahl der entsprechenden Kovariatenwerte
elrPredict(m2, datacov2)

##      g1  se_g1 ExpOutc0 ExpOutc1
## 1 0.339 0.0956     2.49     2.83
## 2 0.515 0.0955     2.75     3.27

Für Personen mit einem Vortestwert in Englisch von 2 und einer Vorliebe für Englisch erwarteten wir einen Effekt des Englischtrainings von 0,339 (\(SE\) = 0,096) Punkten mehr im Englisch Nachtest. Für Personen mit einem Vortestwert von 2 ohne Vorliebe für Englisch erwarten wir eine Erhöhung der Englischkenntnisse von 0,515 (\(SE\) = 0,096) Punkten durch das Training.

Bedingte kausale Effekte für beide Kovariaten können mit dem conditionalEffectsPlot()-Befehl visualisiert werden:

conditionalEffectsPlot(
  m2,                      # vorher mit effectLite definiertes Objekt
  zsel = "eng_pre",        # kontinuierliche Kovariate
  gxsel = "g1",            # Effektfunktion
  colour = "eng_vorliebe"  # hier können wir zusätzlich Personen mit und ohne Vorliebe 
  )                        # für Englisch unterschiedlich färben

Abbildung 3: Kovariatenbedingte Effekte getrennt nach Ausprägung der Vorliebe

Wie bei dem Modell oben, können hier die kovariatenbedingten kausalen Effekte abgelesen werden. Die türkisfarbenen Punkte stellen Personen mit einer Vorliebe für Englisch dar. Die orangefarbenen Punkte stellen Personen ohne Vorliebe für Englisch dar. Wenn wir hier beispielhaft den geschätzten kausalen Effekt für Personen mit einem Vortestwert von 2 Punkten und einer Vorliebe für Englisch ablesen, kommen wir auf einen Wert von ungefähr \(g_1(K=1,Z=2) = 0,52\). Wenn wir den geschätzten kausalen Effekt für Personen mit dem gleichen Vortestwert von 2 Punkten, aber ohne Vorliebe für Englisch ablesen, kommen wir auf einen Wert von ungefähr \(g_1(K=0,Z=2) = 0,34\).

6 Weiterführende Literatur

Informationen zum Hintergrund von und weiteren Analysemöglichkeiten mit EffectLiteR finden Sie hier:

Mayer, A., Dietzfelbinger, L., Rosseel, Y., & Steyer, R. (2016). The EffectLiteR approach for analyzing average and conditional effects. Multivariate Behavioral Research, 51(2-3), 374-391. https://doi.org/10.1080/00273171.2016.1151334
Mayer, A., Zimmermann, J., Hoyer, J., Salzer, S., Wiltink, J., Leibing, E., & Leichsenring, F. (2020). Interindividual differences in treatment effects based on structural equation models with latent variables: An EffectLiteR tutorial. Structural Equation Modeling, 27(5), 798–816. https://doi.org/10.1080/10705511.2019.1671196
Sengewald, M. A., & Mayer, A. (2022). Causal effect analysis in nonrandomized data with latent variables and categorical indicators: The implementation and benefits of EffectLiteR. Psychological Methods. Online-Vorveröffentlichung. https://doi.org/10.1037/met0000489