top of page
  • AutorenbildINAGO - Institut für Arbeitsgestaltung und Organisationsentwicklung

Fragebögen sind überbewertet! Es werden bessere Analysemethoden gebraucht!


Um Forderungen des Arbeitsschutzes zu erfüllen oder um Ansatzpunkte für die Steigerung von Effizienz und Produktivität zu finden, werden Arbeitsmerkmale (psychische Belastung) analysiert und bewertet. Dafür werden überwiegend Fragebögen eingesetzt. Doch warum ist das so? Angesichts der enormen Nachteile und Verzerrungen von Fragebogenerhebungen, sollten bessere Vorgehensweisen angewandt werden. Dieser Beitrag gibt einen kurzen Überblick über Pro- und Kontra-Argumente des Einsatzes von Fragebogenuntersuchung und stellt ein geeigneteres Vorgehen vor.

Zuerst muss die Frage beantwortet werden, wie Arbeitsmerkmale (bzw. die psychische Belastung) gemessen werden können. Hierfür gibt es leider keine einfache Antwort. Übereinkunft besteht darin, dass es keinen einzelnen Messwert gibt. Arbeit muss immer multikausal und interaktiv betrachtet werden. Beispielsweise kann das Vorhandensein von Handlungsspielraum bei der Arbeit durch Befragung des Beschäftigten, aus Beobachtungsdaten und/oder aus Arbeitsanweisungen bzw. Arbeitsaufträgen erfasst werden. Für die Analyse und Bewertung von Arbeitsmerkmalen stehen also unterschiedliche Methoden zur Verfügung. Diese lassen sich in objektive und subjektive Methoden unterteilen (Rau, 2010). Die Terminologie objektiv und subjektiv bezieht sich darauf, inwieweit das Messobjekt (die Person bzw. der Arbeitsplatzinhaber) die Qualität der Daten bewusst oder unbewusst beeinflussen kann (Frese & Zapf 1988, Kasl 1998; Kristensen 1995). Ist das Ziel, Arbeitsmerkmale objektiv zu erfassen, muss die Analyse und Bewertung durch geschulte ExpertInnen mithilfe geeigneter Instrumente durchgeführt werden. Für eine subjektive Erhebung können Fragebogen eingesetzt werden. In der wissenschaftlichen und praktischen Analyse werden jedoch fast ausschließlich Fragebogenanalysen durchgeführt. Damit wird die Analyse der Arbeit allein auf die subjektive Beurteilung der Arbeit beschränkt.

Welche Nachteile haben solche subjektiven Beurteilungen bzw. Fragebogenanalysen?

Subjektive Analyseverfahren unterliegen der Denk- und Wahrnehmungsweise sowie dem aktuellen emotionalen Zustand der als „Datenquelle“ ausgewählten Person. Während dies bei der psychologischen Beanspruchungserfassung (z.B. Engagement, Depressivität, vitale Erschöpfung etc.) intendiert ist, kann es bei der Arbeitsanalyse eine Fehlerquelle bzw. ein sogenannter subjektiver Bias sein. Unter dem subjektiven Bias wird in diesem Zusammenhang Folgendes verstanden: Die Beeinflussung von Aussagen zur Bewertung von Arbeitsmerkmalen durch Eigenschaften der als „Datenquelle“ genutzten Person. Eigenschaften sind dabei z.B. das aktuelle Befinden, kognitive Schemata, Erwartungen, Persönlichkeitseigenschaften oder die Tendenz zur Mitte (Tendenz von Befragten bei mehrstufigen Skalen eher die mittleren Skalenpunkte auszuwählen als die Extrema). Unter anderem wurden die Effekte der Einflussfaktoren soziale Erwünschtheit, negative Affektivität oder Erwartungen der Befragten hinsichtlich des vermeintlichen Untersuchungsziels auf die Untersuchungsergebnisse nachgewiesen. Der subjektive Bias wird noch dadurch verstärkt, dass Menschen bewusst und unbewusst dazu neigen, vermeintlich inkonsistente Angaben in ihren Antworten konsistent zu machen. Untersuchungen dazu zeigen, dass der Zusammenhang von Arbeitsmerkmalen und deren Folgen für den Arbeitenden oft überschätzt werden. Wenn zusätzlich, wie in vielen Fragebogenstudien üblich, die Daten zur Arbeitsmerkmalen (psychische Belastung) und Beanspruchung (z.B. Arbeitszufriedenheit oder vitale Erschöpfung) zu einem einzigen Zeitpunkt von den Beschäftigten erfasst werden, kommt es zum Common Method Bias. Unter dem Common Method Bias wird die statistisch erwartbare Beziehung zwischen abhängiger und unabhängiger Variable aufgrund der Nutzung der gleichen Datenquelle verstanden.

Diese Fehlerquellen müssen bei jeder Arbeitsanalyse beachtet werden. Außerdem sind dies nur die offensichtlichsten Fehler. Den meisten Fragebögen liegt eine falsche Item-Konzeption oder ein falsches Messmodell zugrunde. Während es z.B. bei Persönlichkeitsfragebögen sinnvoll ist, ein reflektives Messmodell zugrunde zu legen, ergibt dies bei den meisten Arbeitsmerkmalen bzw. psychischen Belastungen keinen Sinn. Hier werden formative Messmodelle mit anderen Gütekriterien benötigt. Dies würde an dieser Stelle allerdings zu weit führen. Fakt ist: Es gibt etliche Unternehmensberatungen, welche ihre eigenen Fragebögen entwickeln und dann munter auf die Beschäftigten losgelassen werden, ohne sich mit Alternativen oder besseren Analysemethoden beschäftigt zu haben. Dies ist nicht nur ärgerlich für die Auftraggeber, sondern führt auch zu katastrophalen Fehlbewertungen der Arbeitsmerkmale bzw. psychischen Belastung.

Was sind (vermeintliche) Argumente für Fragebogenanalysen?

Wenn alle möglichen Fehlerquellen betrachtet werden, stellt sich die Frage, warum so viele Befragungsstudien durchgeführt werden. Spector (1992) geht davon aus, dass den subjektiven Methoden in erster Linie aus Aufwandsgründen der Vorzug gegeben wird. Als Argumente werden genannt:

a) die Durchführungsökonomie

  • Fragebögen können scheinbar von jedem erstellt und ausgewertet werden (was wie gerade erläutert eine katastrophale Fehleinschätzung ist).

  • Fragebögen, insbesondere selbst zusammengestellte, können sehr kurzgehalten werden. Dies wird der Komplexität der psychischen Belastung allerdings nicht gerecht und bildet die Arbeitsmerkmale nicht valide genug ab.

  • Die Durchführung von Fragebogenanalysen mit vielen Personen geht schnell, was tatsächlich der einzige zulässige Grund ist, der für die Durchführungsökonomie spricht.

b) das vermutete „Expertentum beim Beschäftigten“, d.h. die befragten Beschäftigten könnten am besten über ihre Arbeitsbelastungen Auskunft geben, da sie diesen ja ausgesetzt sind.

  • Bei diesem Argument wird übersehen, dass die Antworten der befragten Beschäftigten dem subjektiven Bias (s.o.) unterliegen und dass unklar ist, welche kognitive Repräsentationen sie bezüglich der einzelnen erfassten Belastungen haben (z.B. was ist Handlungsspielraum?). So werden häufig Items verwendet, die mehrdeutig sind, die bestimmten theoretischen Vorstellungen und der daraus resultierenden Sprache entsprechen („Fachsprache“) oder die unübliche Begriffe enthalten. Die Befragten werden sich in diesen Fällen die Bedeutung der Frage auf Basis ihres Wissenshintergrundes erschließen müssen. Die Folge kann eine hohe Streuung der Antworten verschiedener Probanden sein. Auf jedem Fall geht ein starker subjektiver Bias in die Antwort ein, der sich allein schon aus dem jeweiligen Wissenshintergrund der Probanden ergibt.

c) der vermutete Wirkmechanismus, d.h. nur das, was von einer Person von der psychischen Belastung erlebt wird, kann sich auch auf deren Gesundheit auswirken. Ergo muss man auch nur das Erleben, nicht aber die objektiv bestehende Belastung erfassen.

  • Dieses Argument wurde vielfach empirisch widerlegt (z.B. Theorell & Hasselhorn, 2005). Es gibt mehrere Studien, die zeigen, dass psychische Belastungen z.T. stärker mit Gesundheit zusammenhängen, wenn sie nicht als solche erlebt werden (z.B. Hypertonie, Major Depression).

d) es gibt keine objektiven Analyseverfahren, da auch unabhängige Experten einen subjektiven Bias in die Daten einbringen.

  • Richtig ist, dass auch objektive Analyseverfahren, wenn sie auf die Bewertung durch Personen (hier ExpertInnen) beruhen, fehlerbehaftet sein können. So kann selbstverständlich auch die Expertin bzw. der Experte einen subjektiven Bias erliegen. Dieser Bias lässt sich aber durch verschiedene Methoden auf ein Minimum reduzieren. Voskuijl & van Sliedregt (2002) haben eine Metaanalyse zur Übereinstimmung von Expertenbeurteilungen (Interraterreliabilität) bei Arbeitsanalysen durchgeführt. Sie stellten fest, dass die Untersucherübereinstimmung dann am höchsten ist, wenn für Arbeitsanalysen erfahrene ExpertInnen eingesetzt werden, die die Belastungen am Arbeitsplatz mittels Beobachtungsinterviews analysieren und wenn verankerte Skalen verwendet werden. Die Verankerung von Skalen bedeutet, dass für jede mögliche Einstufung/Bewertung eine Beschreibung vorliegt, die zutreffen muss, um diese auszuwählen.

Die genannten Argumente verstellen häufig den Blick auf die einzuhaltende Reihenfolge bei Untersuchungen. So sollte zuerst Klarheit über das Ziel einer Untersuchung bestehen, um dann konkrete Fragen zu formulieren, für deren Beantwortung die besten Methoden auszuwählen sind, die dann auch unter ökonomischen Gründen gegeneinander abgewogen werden müssen. Unter den ökonomischen Gründen sollte der Wichtigste sein, ob mit den gewählten Methoden die Fragestellung wirklich so beantwortet werden kann, dass die Zielstellung erfüllt wird. Beispielsweise wird die Durchführung einer Mitarbeiterbefragung zur Arbeitszufriedenheit keinen Nutzen für eine Gefährdungsbeurteilung psychischer Belastungen bringen. Trotzdem wird sie in vielen Unternehmen genau dafür eingesetzt.

Wie geht es besser?

Der subjektive Bias auf die Bewertung von Arbeitsbelastungen durch den Beschäftigten hat aber nicht nur negative Effekte. So ist es für viele Fragestellungen interessant zu wissen, ob die objektive (ExpertInnen-)Bewertung mit der subjektiven (Beschäftigten-)Bewertung übereinstimmt. Aus dem Ausmaß der Übereinstimmung lassen sich Schlussfolgerungen für die Interventionen ableiten. Dies sei am Beispiel des Handlungsspielraums erläutert. Positiv ist, wenn der objektiv gegebene und der subjektiv wahrgenommene Handlungsspielraum übereinstimmen. Wird subjektiv mehr Handlungsspielraum erlebt, als objektiv gegeben, können im Extremfall Handlungen ausgeführt werden, welche die Sicherheit eines Systems gefährden (z.B. Straßenbahnfahrende, die schneller auf einer Strecke fahren als eigentlich erlaubt). Für die betroffene Person wird das Erleben des (eigentlich nicht vorhandenen Handlungsspielraums) eher positive Effekte haben, solange es nicht zu kritischen Situationen kommt (weitere Beispiele sind das Nichteinhalten von Arbeitsschutzvorschriften, weil sie das Arbeitstempo behindern oder unbequem sind). Wird weniger Handlungsspielraum erlebt als gegeben, kann dies z.B. mit einer Reduzierung der Effizienz von Arbeitssystemen einhergehen. Mögliche Ursachen hierfür können z.B. eine mangelnde Qualifikation oder eine autoritäre Führung etc. sein. Das Beispiel verdeutlicht, dass erst durch die Kombination von bedingungsbezogenen objektiven und subjektiven Analyseverfahren die Informationen zur Verfügung stehen, die für die Auswahl von Interventionsmaßnahmen notwendig sind. Je nach der Höhe des Handlungsspielraums und dem Grad der Übereinstimmung von objektiver und subjektiver Bewertung kann entschieden werden, ob eine Verhältnismodifikation (Erweiterung des Handlungsspielraums) und/oder eine Verhaltensmodifikation (Qualifizierungsmaßnahme beim Beschäftigten oder Veränderung des Führungsstils des Vorgesetzten) notwendig ist. Zudem lassen sich soziale Aspekte des Arbeitsplatzes über subjektive Verfahren eher erfassen.

Schlussfolgerung

Für Arbeitsanalysen bzw. Gefährdungsbeurteilungen psychischer Belastungen sollten verschiedene Methoden kombiniert und multimodal gemessen werden. Reine Fragebogenstudien werden dem nicht gerecht. Insbesondere wenn Untersuchern die inhaltliche und fachliche Kompetenz zur Analyse und Bewertung von Arbeitsmerkmalen bzw. psychischen Belastungen fehlt, werden schlechte Fragebögen oder gar falsch konstruierte Fragebögen eingesetzt, die im schlimmsten Fall zu falschen Ergebnissen führen. Fragebögen sind durch ihren schnellen ökonomischen Einsatz für ein Screening gut geeignet, eine finale Beurteilung der Arbeitsmerkmale bzw. psychischen Belastungen durch Fragebögen wäre jedoch unzureichend. Um den aktuellen und zukünftigen Anforderungen in der VUKA-Welt gerecht zu werden, wird das objektive Beobachtungsinterview als Königsweg der Arbeitsanalyse benannt (z.B. Hacker et al., 2015).



Weiterführende Informationen zur Arbeitsanalyse, Arbeitsbewertung oder Arbeitsgestaltung erfahren sie in unserem SpringerEssential, welches Ende März erscheint. Kontaktieren Sie uns gerne bei Fragen zu diesem Thema.










 

Der Beitrag ist detailliert in folgenden Quelle nachzulesen:

Rau, R. (2010). Befragung oder Beobachtung oder beides gemeinsam? – Welchen Instrumenten ist der Vorzug bei Untersuchungen zur psychischen Belastung und Beanspruchung zu geben? Arbeitsmedizin, 60, 294-301. https://doi.org/10.1007/BF03344299

Mustapha, V. (2020). Eine ganzheitliche Arbeitsanalyse, -bewertung und -gestaltung mit dem Leitbild der „vollständigen Tätigkeit“ – Eine Konstruktanalyse und Vorgehensentwicklung (Dissertation). Martin-Luther-Universität Halle-Wittenberg. http://doi.org/10.25673/34924


Weitere Quellen des Textes:

Frese, M. & Zapf, D. (1988). Methodological issues in the study of work stress: Objective vs. subjective measurement of work stress and the question of longitudinal studies. In C. L. Cooper & R. Payne (Eds.), Causes, coping, and consequences of stress at work (pp. 375–411). New York, NY: John Wiley & Sons. https://doi.org/10.1002/smi.2460050217

Hacker, W., Slanina, K. & Scheuch, K. (2015). Einmischen: Verhältnisprävention arbeitsbedingter psychischer Belastung anstatt Symptomtherapie – Aber wie? In R. Wieland, O. Strohm, W. Hacker & P. Sachse (Hrsg.), Wir müssen uns einmischen – Arbeitspsychologie für den Menschen (S. 58–­68). Kröning: Asanger.

Kasl, S. V. (1998). Measuring job stressors and studying the health impact of the work environment: An epidemiologic commentary. Journal of Occupational Health Psychology, 3, 390–401. https://doi.org/10.1037/1076-8998.3.4.390

Kristensen, T. S. (1995). The Demand-Control-Support Model: Methodological challenges for future research. Stress Medicine, 11, 17–26. https://doi.org/10.1002/smi.2460110104

Spector, P. E. (1992). A consideration of the validity and meaning of self-report measures of job conditions. In C. L. Cooper & I. T. Robertson (Eds.), International Review of Industrial and Organizational Psychology (pp. 123–151). West Sussex: John Wiley & Sons.

Theorell, T. & Hasselhorn, H. M. (2005). On cross-sectional questionnaire studies of relationships between psychosocial conditions at work and health – are they reliable? International Archives Occupational Environmental Health, 78, 517–522. https://doi.org/10.1007/s00420-005-0618-6

Voskuijl, O. F. & van Sliedregt, T. (2002). Determinants of Interrater Reliability of Job Analysis: A Meta-analysis. European Journal of Psychological Assessment, 18, 52–62. https://doi.org/10.1027//1015-5759.18.1.52

bottom of page