Eine Evaluation dient dem Erkenntnisgewinn, der mit dem Sammeln von ggf. sensiblen Daten einhergeht. Daher hat die Deutsche Gesellschaft für Evaluation (DeGEval) Standards für eine professionelle Evaluierung aufgestellt. Diese sollen Transparenz über die durchzuführende Evaluation schaffen und eine systematische Orientierung bei der Initiierung, Planung und Durchführung geben. Diese 3 Standards sind:
- Nützlichkeit,
- Durchführbarkeit,
- Genauigkeit.
Die Standards im Bereich Nützlichkeit "sollen sicherstellen, dass die Evaluation sich an abgestimmten und geklärten Evaluationszwecken sowie soweit möglich am Informationsbedarf der vorgesehenen Nutzerinnen und Nutzer ausrichtet"[1]. Hierunter fällt u. a. der Aspekt, dass die ausgewählten Beteiligten im Voraus über den Sinn und Zweck der Evaluierung und den Umfang an gesammelten Informationen in Kenntnis gesetzt werden. Ebenso ist es ein Standard, die Ergebnisse einer Evaluation hinterher allen interessierten Beteiligten verständlich und nachvollziehbar zur Verfügung zu stellen. Hier sollte man unbedingt darauf achten, dass alle Teilnehmenden wissen, dass es nicht um eine Leistungsüberprüfung geht und keine Gefahr besteht, dass sie diese "Prüfung" nicht bestehen könnten. Vielmehr muss klar sein, dass die unterweisende Person eine Verpflichtung eingeht, eine Unterweisung so zu gestalten, dass alle Teilnehmenden sie verstehen und davon im Sinne der Sicherheit profitieren können. Deshalb ist es wichtig festzustellen, ob dieses Ziel erreicht wurde. Es ist also zentral, den Fokus von der einzelnen Person wegzulenken und den Gesamtkontext zu vermitteln, in dem die Evaluation stattfindet.
Die Durchführbarkeitsstandards "sollen sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird"[2]. Hierzu gehören die Angemessenheit und Effizienz des Verfahrens (Nutzen der Evaluation und Aufwand der Teilnehmenden müssen sich die Waage halten) sowie ein diplomatisches Vorgehen, das zu einer möglichst hohen Akzeptanz bei den Teilnehmenden führen soll. Die Standards im Bereich Fairness dienen dazu, "dass in einer Evaluation respektvoll und fair mit allen beteiligten und betroffenen Personen und Gruppen umgegangen wird"[3]. Nebst der bereits erwähnten Offenlegung der Ergebnisse und Berichte gehört hierzu u. a. der Schutz der individuellen Rechte: "Evaluationen sollen so geplant und durchgeführt werden, dass Rechte, Sicherheit und Würde der in eine Evaluation einbezogenen Personen geschützt sind"[4]. Eine Evaluation muss unparteiisch durchgeführt und ausgewertet werden. Hier ist es wichtig, dass mit dem eventuellen Nicht-Wissen oder Nicht-Können einer Person konstruktiv umgegangen wird. Wurde ein Thema nicht richtig verstanden, ist dies Anlass, das Thema nochmals zu erklären, zu schärfen oder ggf. auftretende Fragen in einer weiteren Veranstaltung zu beantworten.
Der letzte Standardbereich ist der Bereich der Genauigkeit; hier soll sichergestellt werden, dass "eine Evaluation gültige und nachvollziehbare Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervorbringt und vermittelt"[5]. Dazu zählen u. a. angemessene Analysen der Informationen und begründete Bewertungen und Schlussfolgerungen. Im Zusammenhang mit dem Genauigkeits-Standard kommt den wissenschaftlichen Gütekriterien eine besondere Bedeutung zu:
- Validität (inhaltliche Passgenauigkeit der gewonnenen Daten in Bezug zur Beantwortung der Fragestellung) und
- Reliabilität (zuverlässig messfehlerfrei gewonnene Daten)
Die Einhaltung dieser beiden Gütekriterien aus der empirischen Sozialforschung führt dazu, dass die Einflüsse von Fehlerquellen reduziert werden, und trägt so zur Glaubwürdigkeit und Akzeptanz des Evaluationsvorhabens und der Genauigkeit des Ergebnisses bei.
Validität und Reliabilität
Eine Evaluation ist valide, wenn sie wirklich das misst, was sie messen soll. Im Kontext von Unterweisungen wollen wir messen, ob das Thema verstanden wurde und alle Personen nun z. B. die wichtigsten Gefahren nennen können, alle Sicherheitsvorkehrungen verstanden haben oder ihre PSA korrekt verwenden können. Es wäre in dem Sinne falsch zu fragen, ob die Teilnehmenden den Schulungsraum angenehm fanden, ob sie rechtzeitig über den Termin informiert wurden oder ob auf ihre Arbeitszeiten Rücksicht genommen wurde. Diese Aspekte sind zwar im Sinne einer geglückten Durchführung wichtig, zählen aber nicht zu den Gütekriterien der Evaluation.
Eine Evaluation ist reliabel, wenn eine Messung bei einer Wiederholung das gleiche Ergebnis erbringt. Im Kontext von Unterweisungen sollten also Personen, die ein Thema verstanden haben, es auch eine Woche später noch "verstanden haben" (mal Erinnerungsprobleme ausgeklammert). Gegen diese Vorgabe würde verstoßen, wenn die Sifa z. B. einen Multiple-Choice-Test ausgeben würde inkl. Tipps zur Beantwortung, damit ein gutes Ergebnis herauskommt. Würde man den gleichen Test am nächsten Tag o...
Das ist nur ein Ausschnitt aus dem Produkt Arbeitsschutz Office Professional. Sie wollen mehr?
Jetzt kostenlos 4 Wochen testen
Anmelden und Beitrag in meinem Produkt lesen