Es gibt keine sauberen Daten. Viele veröffentlichte Studien und Ergebnisse sind schlichtweg falsch, Analysen zeigen sogar: die meisten sind fehlerhaft (Ioannidis, 2005). Ergebnisse und Berichte – etwa zu Mitarbeitern und Kunden – sind in der Praxis durch vielfältige Einflüsse verzerrt. Mikropolitische Interessen und Dienstleister, die ihren nächsten Auftrag sichern wollen, bestimmen das Feld. Unvermögen bei Versuchsplanung, Datenerhebung, Datenauswertung und Dateninterpretation kommen dazu. Naives Vertrauen auf diese sogenannten Fakten ist tödlich für den Unternehmenserfolg. Für Entscheider ist es daher zunehmend erforderlich, unter die Oberfläche von Forschungsergebnissen zu blicken, diese zu interpretieren, zu deuten und letztlich zu bewerten. In der Wissenschaft benutzt man dafür den Begriff der Evaluation. Wie kann man Ergebnisse von Studien evaluieren? Hier setzt dieser Fachtext an. …
In diesem Beitrag:
Kompetenz im Umgang mit Daten als Wettbewerbsfaktor
Top-Arbeitgeber, Kundenzufriedenheitsführer – ist das jetzt alles nichts mehr wert? Soll man Studien und Ergebnisse zukünftig einfach ignorieren? Das Ignorieren von Ergebnissen wird nicht helfen, die Entscheidungen in Unternehmen zu verbessern. Vielmehr ist notwendig, Studien und Forschungsergebnisse interpretieren zu können, zwischen den Daten zu lesen und zu wissen, wie man diese einordnet. Auf dieser Grundlage zieht man die richtigen Schlüsse aus Studien und kann die Spreu vom Weizen trennen.
Forschungsergebnisse gilt es richtig zu bewerten, zu deuten und zu interpretieren. Warum? Kompetenz im Umgang mit Daten und Ergebnissen ist zum Wettbewerbsfaktor geworden. Wer alles glaubt, liegt meistens falsch. Auf Basis dieser Ergebnisse werden Entscheidungen getroffen. Und werden Ergebnisse falsch interpretiert, dann sind die daraus abgeleiteten Entscheidungen schlecht.
Die Interpretation von Ergebnissen hat das Ziel, verlässliche und gültige Aussagen aus Ergebnissen abzuleiten. In wie weit ist davon auszugehen, dass Ergebnisse die Realität abbilden, welche Verzerrungen in welche Richtung bestehen und was bedeuten die Ergebnisse? Damit tun sich viele Entscheider schwer, sie sind nicht darin ausgebildet, denken und hinterfragen nicht mit einer wissenschaftlichen Brille.
Kontakt mit Forschungsergebnissen als Teil des Alltags
Für Wirtschaftspsychologen gehört es zum Alltag, Forschungsergebnisse zu interpretieren. Sei es, dass sie um Einschätzung zu vorhandenen Daten zu Mitarbeitern oder Kunden gebeten werden, mit vorhandenen Ergebnissen aus Studien als scheinbare Wahrheit konfrontiert sind oder eigene Daten erhoben und ausgewertet haben.
Auch für viele Führungskräfte gehört es zum Alltag, Forschungsergebnisse zu interpretieren. Sie haben aber oftmals nicht den entsprechenden Ausbildungshintergrund. Daher richtet sich dieser Text nicht nur an Psychologen, sondern vor allem an diese Zielgruppe. Er liefert eine “psychologische Brille” mit der Praktiker auf Ergebnisse (z.B. von Mitarbeiterbefragungen und Marktforschungsstudien) blicken können und gibt wertvolle Checklisten und Tipps, um die richtigen Fragen zu Forschungsergebnissen zu stellen.
Die Bewertung von Ergebnissen ist ein zentraler Aspekt bei der Interpretation. Bei der Bewertung geht es darum, festzustellen, ob Ergebnisse nachvollziehbar und transparent nach wissenschaftlichen Standards und ohne substantielle Verzerrungen zu Stande gekommen sind – beispielsweise ob davon auszugehen ist, dass Teilnehmer einer Befragung tatsächlich ehrlich geantwortet haben. Diese Bewertung wird mehr oder minder positiv ausfallen. Ergebnisse deren Bewertung negativ ausfällt, können meist nicht sinnvoll interpretiert werden.
Typische Beispiele für Ergebnisse in der Praxis, die es zu bewerten und zu interpretieren gilt, sind beispielsweise:
- Ergebnisse von Mitarbeiterbefragungen
- Testergebnisse von Bewerbern und Mitarbeitern
- Ergebnisse aus der Analyse von Verhaltensdaten und andere Beobachtungsdaten von Mitarbeitern (etwa Zeitdauer von Arbeitsprozessen, Daten aus IT-Nutzung, Fehlzeiten oder Fehlerraten)
- Ergebnisse von Kundenbefragungen
- Marktforschungsstudien
- Auswertungen aus Marketing und Vertrieb
Bei all diesen Ergebnissen geht es darum, die Qualität und Interpretierbarkeit zu beurteilen – oder noch besser schon bevor diese erhoben werden, die Qualität und Interpretierbarkeit sicher zu stellen. Davon handelt dieser Text.
Was Sie als Leser erwartet
Der Text liefert Ihnen eine wissenschaftliche Brille für Kompetenz im Umgang mit Forschungsergebnissen und Daten. Sei es als Wissenschaftler im Bereich der Psychologie oder als Praktiker, der mit den Resultaten von Mitarbeiterbefragungen und Kundenstudien konfrontiert ist. Sie erfahren im Detail:
- Gütekriterien, die Messungen, Instrumente und Daten erfüllen sollten.
- Wie Sie diese Gütekriterien im Forschungsprozess sicherstellen und danach berechnen können.
- Welche Fehlerquellen für die Qualität von Ergebnissen bestehen.
- Wie man mit diesen Problemen in Forschungsprojekten erfolgreich umgeht, um sie unter Kontrolle zu halten.
- Wonach Sie bei fertigen Forschungsberichten suchen sollten und woran Sie gravierende Fehler erkennen.
Die folgenden Kapitel stellen die wissenschaftlichen Gütekriterien vor, mit denen Forschungsergebnisse bewertet werden. Weiter geht es mit Kapiteln zu Fehlerquellen auf Seiten der Forscher, Fehlerquellen auf Seiten der Teilnehmer und Fehlerquellen, die aus der Situation entstehen.
Los geht es im nächsten Kapitel mit einem Überblick, wo im Forschungsprozess die Interpretation von Ergebnissen eine Rolle spielt und welche Gütekriterien es dafür gibt.