Verfahren der Multiplen Imputation bei Schätzung von Strukturgleichungsmodellen mit latenten Variablen: ein systematischer Vergleich mittels Monte-Carlo-Simulationen

Abstract

Dieser SISS-Beitrag fasst die Ergebnisse aus dem DFG-geförderten Projekt "Monte-Carlo-Simulationen zur Evaluation der Leistungsfähigkeit moderner Missing Data Techniken bei Schätzung von Strukturgleichungsmodellen mit latenten Variablen. Eine systematische Analyse verschiedener Varianten der Multiplen Imputation" zusammen. Im Projekt wurden mittels Monte-Carlo-Simulationstechniken (MC-Simulationstechniken) die Performanz verschiedener Varianten der Multiplen Imputation (MI) und MI-alternativer Verfahren zur Schätzung fehlender Werte im Kontext von Strukturgleichungsmodellierungen (SEM-Analyse) verglichen. Es wurden sechs Missing Data Techniken (MDTs) im Kontext von drei verschiedenen SEM-Populationsmodellen unter unterschiedlichen Simulationskonfigurationen getestet. Die variierten Konfigurationen ergaben sich aus: a) Datensätzen mit unterschiedlichen Fallzahlen, b) Datensätzen mit symmetrischen und (stark) asymmetrischen Variablenverteilungen, c) Datensätzen mit unterschiedlich hohen Anteilen an fehlenden Werten. Neben MI-Techniken mit strikten Annahmen zur Verteilung der Modellvariablen (multivariate Normalverteilung) wurden auch MI-Varianten getestet, welche dieser Annahme nicht unterliegen und kategoriale Variablen explizit im Verfahren berücksichtigen können. Zusätzlich zu den verschiedenen Varianten der Multiplen Imputation wurden zum Vergleich auch MI-alternative Verfahren eingesetzt (das "Direct Maximum Likelihood-Schätz-verfahren" sowie die "Expectation-Maximization-Methode"). Zur Bewertung der Performanz der verschiedenen MDTs wurden damit erreichbare SEM-Fit-Indices herangezogen (p-Wert der Chi²-Statistik, SRMR, RMSEA und CFI). Es wurden aber auch die Qualität der geschätzten SEM-Parameter und deren Standardfehler sowie die relative Effizienz der Parameterschätzungen untersucht. Auf diese Weise konnten unter den sechs getesteten MDTs zwei Verfahren identifiziert werden, die bei allen konfigurierten Modell- und Datenbedingungen sehr gute Ergebnisse erbringen. Das sind das "Direct Maximum Likelihood-Schätzverfahren" (Direct-ML-Verfahren) und eine Variante der MI, die bei der Imputation der fehlenden Werte die Modellstruktur des Analysemodells berücksichtigt: die H0-Technik. Beide erbringen neben sehr guten Ergebnissen bei den untersuchten SEM-Fit-Indices auch unverzerrte SEM-Parameterschätzungen und Standardfehler. Von den MI-Varianten kann somit allein dieH0-Technikuneingeschränkt für den praktischen Einsatz empfohlen werden. Zudem kann als Nicht-MI-Variante die Direct-ML-Methode empfohlen werden. Sie hat sogar den Vorteil, dass die fehlenden Werte direkt bei der Modellschätzung berücksichtigt werden (ohne die fehlenden Werte separat imputieren zu müssen). Alle anderen MDTs liefern zwar auch gute, unverzerrte SEM-Parameterschätzwerte und Standard-fehler, aber sie generieren häufig SEM-Fit-Werte, die zur fälschlichen Ablehnung von geschätzten Strukturgleichungsmodellen führen. Zwar ist bei kleinen Missinganteilen die Modellbewertung an-hand der Fit-Indices oftmals unproblematisch, aber bei höheren Anteilen (ab ca. 20%) kann nur ein einziger Fit-Index uneingeschränkt empfohlen werden: der SRMR-Index (Standardized Root Mean-Square Residual Index).

This SISS-paper summarizes the results of the DFG-funded project "Monte Carlo simulations for evaluating the performance of modern missing data techniques in estimating structural equation models with latent variables. A systematic analysis of different variants of multiple imputation". In this project, Monte Carlo simulation (MC simulation) techniques were used to compare the performance of different variants of Multiple Imputation (MI) and other Non-Multiple Imputation methods for estimating missing values when analyzing structural equation models (SEM). In total, six missing data techniques (MDTs) applied to three different SEM-population models were investigated using various configurations for simulation. These configurations included a) data files with different numbers of cases, b) data files with symmetrical and (strong) asymmetrical value distributions, and c) data files with different proportions of missing data. Besides using MI techniques with strict assumptions of value distributions (multivariate normal distribution), we also tested MI variants which are not subject to these assumptions. For comparative reasons two Non-MI MDTs were applied (the "Direct Maximum Likelihood estimation" and the "Expectation-Maximization method"). For evaluating the performance of all six MDTs we focused on four different fit indices used most prominentlyin SEM analysis (p-value of the chi²-statistic, SRMR, RMSEA und CFI). We also analyzed the quality of all estimated SEM parameters and their standard errors as well as the relative efficiency of all estimated parameters. Among the six tested missing data techniques only two techniques could be identified that deliver very good results under all model-and data configurations. These are the "Direct Maximum Likelihood estimation" (Direct-ML-method) and a variant of MI that takes into account the model structure of the analyzed model when imputing the missing values: the H0-method. Both methods deliver high quality fit indices when applied to SEM estimation. They also deliver unbiased SEM parameter es-timations and standard errors. Thus, when looking particularly at the MI variants, just the H0-method can be recommended for practical usage. In addition, the Direct ML-method (a Non-MI technique) can be recommended. The Direct ML-method integrates the process of estimating missing values into model estimation so that there is no need for an initially separate process of missing value imputation. Although all the other MDTs deliver good and unbiased results when estimating SEM parameters and standard errors, they often generate SEM fit indices that lead to false rejections of SEMs. This is even more problematic when having data files with high proportions of missing values (≥ 20%). In situations like this, there is only one SEM fit index that can be fully recommended: the SRMR index (Standardized Root Mean-Square Residual index).