Entwicklung psychologischer Testkriterien
gefördert durch den Strukturfond der Universität Tübingen, Kap. 1415

Stand der Forschung

Testverfahren nehmen in der psychologischen Praxis wie auch in der wissenschaftlichen Forschung eine zentrale Funktion ein. Beide Anwendungsgebiete sind an qualitativ hochwertigen Messverfahren interessiert, was in der Regel über Gütekriterien vermittelt werden soll. Die Entwicklung und Überarbeitung von Standards zur Beschreibung psychologischer und pädagogischer Testverfahren (APA, 1985) ist Teil einer längerfristig angesetzten Qualitätssicherung in der Diagnostik. In der Praxis orientiert sich der Testanwender allerdings entsprechend der Umfragen von Schorr (1995) und Steck (1997) nur selten an psychometrischen Kriterien, was auch außerhalb des deutschen Sprachraumes zu beobachten ist (Archer, Maruish, Imhof & Piotrowski, 1991). Ein vom Autor entwickelter Kriterienkatalog zur Darstellung der Benutzbarkeit von Testkennwerten konnte zeigen, dass es an benutzerfreundlichen und testtheoretisch übergreifenden Kennwerten und Konzepten mangelt. Innovationen innerhalb der Item-Response-Theorie (Linden & Hambleton, 1997) bieten eher selten genutzte Möglichkeiten der Beschreibung und Fundierung von Testverfahren. Die Beurteilung der Validität und Messgenauigkeit eines Verfahrens basiert deshalb überwiegend auf varianzbasierten Ansätzen, wozu die Multi-Trait-Multi-Methode (MTMM, Campbell und Fiske, 1979) sowie Konstrukt- und Kriteriumsvalidierung auf der Basis von Assoziationsmaßen (u.a Produkt-Moment-Korrelationen und Varianzquotienten, Kelley, 1942) zählen.

Eigene Vorarbeiten

Der Autor definierte und operationalisierte in verschiedenen Arbeiten (Müller, 2000d, 2001g, 2002a,b) insgesamt fünf neue Testeigenschaften, welche sich durch ihre testtheoretisch übergreifende Konzeption auszeichnen. Als Beispiel für einen neuen Kennwert dient an dieser Stelle die ‚Ausdehnung’ einer psychologischen Dimension. Der zentrale inhaltliche Gedanke des Kennwertes liegt darin, dass eine testübergreifende Maßeinheit in Eigenschaftsskalierung definiert werden kann und bereits in einer Rasch-Skalierung (Rasch, 1960) enthalten ist. Dies eröffnet beispielsweise in der psychologischen Diagnostik die Möglichkeit der Beurteilung, ob zwei Testverfahren tatsächlich die gleiche psychologische Eigenschaft abbilden (die Prüfgröße bildet der Vergleich von Rasch-Varianzen nach Bartlett). Darüber hinaus ermöglicht dieser Kennwert eine Bewertung über die Unterschiedlichkeit von Personen in einer psychologischen Dimension. Damit dient der Kennwert ebenso einer beschreibenden Funktion. Die Ergebnisse wurden auf einer Reihe von Fachtagungen mit Kollegen diskutiert (2000d, 2001d,e, 2002b,c) und führten zu Kooperationen mit Testautoren (beispielsweise die Berechnung des Personenunterscheidungsvermögens im IST-2000-R, Amthauer et. al. 2001).

Wissenschaftliche Zielsetzung

Die Erprobung und Weiterentwicklung der Kennwerte soll die bestehende theoretische Entwicklungsphase mit Erfahrungen über praktische Hindernisse in der Berechnung der Kennwerte abschließen und eine umfangreiche Analyse existierender Testverfahren vorbereiten. Hierzu sollen bereits erhobene Normierungsdaten für möglichst viele auf dem Markt befindliche Testverfahren gesammelt werden. Die Anlauffinanzierung dient damit zum Nachweis der Machbarkeit der Erstellung einer Testdatenbank. Auf dieser Grundlage könnten in einem anschließend von der DFG geförderten Projekt eine Vielzahl an Forschungsfragen untersucht werden, z.B. Berechnung der eigenen Kennwerte, sowie Analyse nach der MTMM zur konvergenten und diskriminanten Validität. Letztere Ergebnisse sollen dann mit der vom Autor entwickelten neuen Methode zur Validierung von Testverfahren verglichen werden.