Zum Inhalt springen
Zur Übersicht der 80 Fragen

Teil B · Fragen 9 bis 18

Entwicklung der Repertory Grid Methodik

Inhalt

Antworten auf die Fragen 9 bis 18

Grundlage dieses Teils ist vor allem die Recherchenotiz 02 (docs/recherche/02_repertory_grid_methodik.md).

Frage 9: Welche Elemente sollten den Befragten gezeigt werden: Personen, Rollen, Situationen oder Verhaltensbeschreibungen?

Antwort. Kurze Arbeitssituationen, die ein Verhalten beschreiben. Keine Personen.

Grundlage. Die Literatur verlangt Elemente, die gleichartig, klar abgegrenzt, repräsentativ und der Person aus eigener Erfahrung vertraut sind. Situationen, Ereignisse und Tätigkeiten sind ausdrücklich vorgesehen. Belegt ist, dass die Art der Elemente Inhalt und Struktur der Konstrukte verändert. Einen empirischen Vergleich von Situationen mit Personen als Elementen habe ich nicht gefunden.

Empfehlung. Neun feste Situationen, die Spannungen der Zusammenarbeit abdecken: offener Einwand, Prozesstreue unter Druck, selbst geänderter Prozess, gemeldeter eigener Fehler, sofortige Zusage, Warten auf Zustimmung, Ausprobieren von Neuem, sorgfältige Dokumentation, Entlastung eines Kollegen. Drei Gründe: Es entstehen keine Daten über Dritte. Die Situationen sind nicht an einen Beruf gebunden. Alle sehen dieselben Elemente.

Alternativen. Rollen („eine Führungskraft, deren Arbeitsweise ich schätze“): der klassische Weg, aber mit Bezug auf reale Dritte. Reale Personen: am reichhaltigsten, aus Sicht des Datenschutzes am heikelsten. Eigene erlebte Situationen: bedeutsamer für die Person, aber nicht mehr für alle gleich.

Risiken und Grenzen. Vorgegebene Elemente sind für die Person weniger bedeutsam als selbst gewählte. Neun Situationen bilden nicht jede Arbeitswelt ab. Die Wortwahl der Situationen prägt die Antworten.

Stand. Zulässigkeit von Situationen als Elemente: wissenschaftlich belegt. Gleichwertigkeit mit Personen als Elementen: offene Hypothese.

Rückfrage. Sollen Organisationen später eigene Situationen ergänzen dürfen? Meine Empfehlung: ja, aber nur für die persönliche Reflexion und mit einer festen Kernliste für alle.

Frage 10: Welche Elemente ermöglichen einen berufsübergreifenden Vergleich?

Antwort. Situationen, die in fast jeder Zusammenarbeit vorkommen: Einwand, Fehler, Zeitdruck, Absprache, Hilfe. Ein Vergleich über Berufe hinweg findet aber ohnehin nicht auf der Ebene der Konstrukte statt, sondern auf den standardisierten Dimensionen.

Grundlage. Die Forderung der Literatur, Elemente müssten der Person aus eigener Erfahrung vertraut sein, spricht gegen fachspezifische Elemente. Einen Beleg für die Vergleichbarkeit von Grids über Berufe hinweg habe ich nicht gefunden.

Empfehlung. Ein allgemeines Kernset beibehalten und in der Pilotphase mit Menschen aus verschiedenen Berufen prüfen, ob alle neun Situationen verstanden und als vertraut erlebt werden (kognitive Interviews, siehe Frage 50).

Alternativen. Berufsspezifische Sets mit einem gemeinsamen Kern von vier bis fünf Situationen.

Risiken und Grenzen. Manche Situationen setzen eine Führungskraft, einen Kunden oder feste Prozesse voraus. Wer das nicht kennt, kann „passt nicht“ wählen. Häufen sich solche Antworten, ist das Set zu überarbeiten.

Stand. Offene Hypothese.

Frage 11: Wie kann die Dreiermethode digital und ohne Moderator funktionieren?

Antwort. In fünf geführten Schritten je Dreiergruppe, mit einer Rückspiegelung an Stelle der Nachfrage eines Interviewers.

Grundlage. Die Erhebung am Rechner ist seit den 1970er Jahren üblich. Als hilfreiche Dialoghilfe ist vor allem die Rückmeldung zu ähnlichen Elementen und Konstrukten dokumentiert. Eine geprüfte Vergleichsstudie zur Datenqualität ohne Interviewer habe ich nicht gefunden. Belegt ist, dass schon Beispiele in der Anleitung die Konstrukte prägen und dass die Form der Frage das Ergebnis verändert: Die ursprüngliche Form nach Kelly (zwei gleich, das dritte anders) liefert stärker gegliederte Systeme, die Frage nach dem Gegenteil wertendere Pole.

Empfehlung. Der Ablauf des Prototyps:

  1. Vergleichen. Drei Situationen, die Person wählt die zwei ähnlichen.
  2. Benennen. Was verbindet die beiden, und worin ist die dritte anders? Zwei Textfelder mit kurzer Hilfe.
  3. Prüfen. Die Unterscheidung wird zurückgespiegelt: „Sie unterscheiden Situationen danach, ob jemand eher … oder eher …“. Die Person bestätigt oder korrigiert. Regelbasierte Hinweise zur Formulierung erscheinen als Anregung.
  4. Einordnen. Alle neun Situationen zwischen den beiden Seiten, sieben Stufen oder „passt nicht“.
  5. Eigene Sicht. Freiwillig: Welche Seite liegt mir näher, und warum?

Dazu ein fester Plan von zwölf Dreiergruppen, in dem jedes Paar von Situationen genau einmal vorkommt, eine Anleitung mit einem Beispiel aus einem anderen Lebensbereich und jederzeit die Möglichkeit, zu unterbrechen und später fortzufahren.

Alternativen. Paarvergleiche statt Dreiergruppen (einfacher, aber weniger ergiebig). Ein begleitendes Gespräch per Video mit einer geschulten Person. Ein KI Dialog, der nachfragt (siehe Frage 17).

Risiken und Grenzen. Ohne Nachfrage bleiben Konstrukte oft an der Oberfläche. Manche Menschen tun sich mit dem Benennen eines Gegensatzes schwer und schreiben nur eine Verneinung.

Stand. Erhebung am Rechner: wissenschaftlich belegt als gängige Praxis. Gleichwertigkeit der Selbstdurchführung: offene Hypothese.

Frage 12: Wie viele Elemente und Konstrukte sollten mindestens erhoben werden?

Antwort. Neun Elemente. Mindestens drei Konstrukte, empfohlen sechs, höchstens zwölf.

Grundlage. Dokumentierte Gepflogenheiten liegen bei 8 bis 10 Elementen, häufig 9, und bei 6 bis 18 Konstrukten je Person. Rojon und andere (2019) erhielten 6 bis 18 Konstrukte in Interviews von im Mittel 45 Minuten. Für die Selbstdurchführung fand sich keine Angabe zur Dauer.

Empfehlung. Die Staffel drei, sechs, zwölf folgt dem Plan der Dreiergruppen: Nach drei, sechs und zwölf Runden hat die Person jede Situation gleich oft gesehen. Drei Konstrukte sind die untere Grenze für ein erstes Bild. Ab sechs lassen sich Zusammenhänge zwischen Konstrukten sinnvoll betrachten.

Alternativen. Zwölf Elemente mit mehr Dreiergruppen: mehr Tiefe, aber deutlich länger. Fünf Elemente für eine Kurzfassung: zu wenig für Zusammenhänge.

Risiken und Grenzen. Mit neun Elementen ist jede einzelne Korrelation zwischen zwei Konstrukten ungenau. Die Dauer je Konstrukt habe ich nicht gemessen. Meine Schätzung von zwei bis drei Minuten ist in der Pilotphase zu prüfen.

Stand. Größenordnung: wissenschaftlich belegt als Gepflogenheit. Die Staffel des Prototyps: plausibel, aber nicht validiert.

Frage 13: Wie erkennt das System, dass ausreichend unterschiedliche Konstrukte erfasst wurden?

Antwort. Es erkennt das nicht sicher. Es kann drei Hinweise geben und überlässt die Entscheidung der Person.

Grundlage. In der Forschung gilt ein Thema als ausgeschöpft, wenn keine neuen Arten von Konstrukten mehr hinzukommen. Für die Zahl der Personen nennt die Literatur als Faustregel 15 bis 25 Interviews, die für jede Studie zu prüfen ist. Für die einzelne Person gibt es keinen anerkannten Kennwert.

Empfehlung. Drei einfache Hinweise:

  1. Sehr ähnlich verwendete Konstrukte. Korrelieren die Bewertungen zweier Konstrukte stark, unterscheidet die Person damit fast dasselbe. Das System fragt: „Meinen Sie mit beiden dasselbe?“
  2. Konstrukte, die nicht unterscheiden. Werden fast alle Situationen gleich bewertet, trägt das Konstrukt wenig bei.
  3. Abdeckung. Wurden alle Situationen gleich oft verglichen?

Alternativen. Ein fester Umfang für alle. Oder ein Abbruch, sobald zwei neue Konstrukte nacheinander stark mit vorhandenen zusammenhängen.

Risiken und Grenzen. Ein automatischer Abbruch auf Grundlage von neun Bewertungen wäre zu unsicher. Ähnliche Bewertungen bedeuten nicht zwingend dieselbe Bedeutung.

Stand. Plausibel, aber nicht validiert.

Im Prototyp. Die stärksten Zusammenhänge zwischen Konstrukten erscheinen im eigenen Profil als Frage. Konstrukte, die nicht unterscheiden, sind markiert. Es gibt keinen automatischen Abbruch.

Frage 14: Wie können beide Pole eines Konstrukts neutral und verständlich formuliert werden?

Antwort. Indem beide Seiten ein Verhalten beschreiben, in zwei bis sechs Worten, und die zweite Seite sagt, was stattdessen geschieht. Das System gibt Hinweise. Die Worte bleiben die der Person.

Grundlage. Die Theorie behandelt die bevorzugte Seite als eigene Auskunft. Die Reihenfolge der Pole gilt als willkürlich. Eine Anleitung zum Vermeiden wertender Pole habe ich in der Literatur nicht gefunden.

Empfehlung. Regelbasierte Hinweise ohne KI:

HinweisAuslöser
sehr kurzeine Seite hat weniger als drei Zeichen
beide Seiten gleichidentischer Wortlaut
nur Verneinungdie zweite Seite ist die erste mit „nicht“, „kein“, „ohne“ oder „un“
wertendes Wortetwa gut, schlecht, richtig, falsch, professionell
mehrere Themen„und“, „oder“, Strichpunkt oder Schrägstrich
sehr langmehr als 90 Zeichen

Jeder Hinweis ist eine Anregung. Die Person entscheidet. Es wird nichts automatisch umformuliert, und der ursprüngliche Wortlaut bleibt gespeichert.

Alternativen. Formulierungshilfe durch ein Sprachmodell (siehe Frage 17). Vorgegebene Satzanfänge („Jemand, der …“).

Risiken und Grenzen. Zu viele Hinweise drängen Menschen zu einer Sprache, die nicht ihre ist. Genau das soll das Verfahren vermeiden.

Stand. Plausibel, aber nicht validiert.

Frage 15: Wie verhindert man, dass ein Pol automatisch als moralisch besser erscheint?

Antwort. Ganz verhindern lässt es sich nicht. Man kann es begrenzen und, wichtiger, offen damit umgehen.

Grundlage. Die Art der Erhebung verschiebt nachweislich, wie positiv oder sozial unerwünscht die Pole ausfallen. Die Frage nach dem Gegenteil erzeugt wertendere Paare als die Frage nach dem Unterschied (Hagans, Neimeyer und Goodholm 2000).

Empfehlung. Fünf Maßnahmen:

  1. Die Frage lautet „Worin ist die dritte Situation anders?“ und nicht „Was ist das Gegenteil?“.
  2. Die Situationen selbst beschreiben Verhalten und werten nicht.
  3. Die bevorzugte Seite wird getrennt und freiwillig erfragt. So muss die Formulierung der Pole keine Wertung tragen.
  4. Beide Seiten stehen in der Darstellung gleich groß und gleich gewichtet nebeneinander. Es gibt keine Farben für gut und schlecht.
  5. Bei den standardisierten Dimensionen sind beide Pole gleichwertig formuliert, und bei jeder dritten Frage sind die Seiten vertauscht.

Alternativen. Eine Zusatzfrage: „Was würde jemand an der anderen Seite schätzen?“ Sie fördert Verständnis, verlängert aber die Befragung.

Risiken und Grenzen. Manche Konstrukte sind für die Person tatsächlich wertend, und das ist eine echte Auskunft. Sie zu glätten, würde sie verfälschen.

Stand. Wirkung der Frageform: wissenschaftlich belegt. Wirkung der übrigen Maßnahmen: plausibel, aber nicht validiert.

Frage 16: Wie gehen wir mit ähnlich formulierten, aber inhaltlich unterschiedlichen Konstrukten um?

Antwort. Sie werden nie automatisch zusammengelegt. Was ein Konstrukt bedeutet, zeigt sich daran, wie die Person es verwendet, und nicht an seinem Wortlaut.

Grundlage. Die Grenzen der Zusammenfassung sind gut dokumentiert: Gleiche Wörter bedeuten nicht gleiche Konstrukte, und mehrdeutige Konstrukte lassen sich nicht sauber einordnen. Die Übereinstimmung zwischen Menschen, die Konstrukte ordnen, schwankt stark.

Empfehlung.

  • Innerhalb einer Person: Zusammenhang der Bewertungen. Zwei ähnlich klingende Konstrukte mit unterschiedlichen Bewertungen sind zwei Konstrukte.
  • Zwischen Personen: kein Vergleich. Freigegebene Konstrukte erscheinen im Wortlaut nebeneinander. Die Deutung leistet das Team im Gespräch.
  • In einer späteren Studie: Ordnung durch zwei unabhängige Personen mit ausgewiesener Übereinstimmung.

Alternativen. Alle Mitglieder bewerten zusätzlich einige vorgegebene Konstrukte. Dann lässt sich die Verwendung zwischen Personen vergleichen, um den Preis längerer Befragung.

Risiken und Grenzen. Im Gespräch können Menschen aneinander vorbeireden, gerade weil sie dieselben Worte benutzen. Das Format „Unterscheidungen teilen“ sieht deshalb ausdrücklich vor, nach der gemeinten Situation zu fragen.

Stand. Wissenschaftlich belegt.

Frage 17: Wann sollte KI nachfragen und wann muss ein Mensch die Interpretation bestätigen?

Antwort. Eine KI darf fragen und vorschlagen. Deuten und zuordnen darf nur die Person selbst. In eine Rechnung geht nie etwas ein, das eine KI entschieden hat.

Grundlage. Die automatische Zuordnung von Texten zu Werten gelingt je nach Wert sehr unterschiedlich: In einem großen Vergleich erreichten die besten Systeme bei einzelnen Kategorien einen F1 Wert von 0,87, bei anderen höchstens 0,39 (Notiz 03, Abschnitt C6). Für kurze, zweipolige, deutschsprachige Konstrukte habe ich keine Evidenz gefunden. Es gibt kein anerkanntes Verfahren, das den Einsatz ohne von Menschen eingeordnete Vergleichsdaten rechtfertigt.

Empfehlung.

AufgabeKIMensch
Verständnisfrage zu einer Formulierung stellendarfdie Person antwortet
kürzere Formulierung vorschlagendarfdie Person übernimmt oder verwirft
Konstrukt einer Dimension zuordnendarf höchstens vorschlagendie Person bestätigt ausdrücklich
Bedeutung eines Konstrukts zusammenfassendarf höchstens vorschlagendie Person bestätigt
Werte berechnen, Personen einordnen, vergleichennieAnalytics Engine nach festen Regeln
Schlüsse über eine Person ziehennieniemand außer der Person selbst

Alternativen. Ganz ohne KI, wie im Prototyp: regelbasierte Hinweise und Zuordnung durch die Person.

Risiken und Grenzen. Ein Vorschlag wirkt als Anker. Menschen bestätigen Vorschläge oft, ohne sie zu prüfen. Freitexte können Angaben über Dritte oder besonders geschützte Angaben enthalten und würden an einen Dienst außerhalb der Organisation gehen.

Stand. Unzuverlässigkeit automatischer Zuordnung: wissenschaftlich belegt für verwandte Aufgaben. Nutzen einer KI Formulierungshilfe: offene Hypothese.

Im Prototyp. Es gibt keine Verbindung zu einem Sprachmodell. Die Freigabe für die KI Assistenz und die Einstellung der Organisation sind vorbereitet, haben aber keine Wirkung.

Rückfrage. Soll eine KI Assistenz in der nächsten Stufe überhaupt entstehen? Wenn ja: über welchen Weg, damit die Verarbeitung in der Europäischen Union bleibt (siehe Frage 78)?

Frage 18: Wie speichern wir die Originalantworten so, dass spätere methodische Neubewertungen möglich sind?

Antwort. Indem die Rohdaten die einzige Quelle bleiben und jede Auswertung bei Bedarf neu aus ihnen berechnet wird.

Grundlage. Für Grids gibt es keinen verbindlichen Standard. Veröffentlicht ist ein Vorschlag für ein gemeinsames Austauschformat (Walter, Bacher und Fromm 2004). Für eine spätere erneute Auswertung entscheidend sind: Skalengrenzen, Zuordnung der Pole, fehlende Werte und die bevorzugte Seite.

Empfehlung. Gespeichert wird je Erhebung:

  1. Schlüssel und Version des Instruments und des Elementsets,
  2. je Konstrukt die Dreiergruppe, das gewählte Paar, der ursprüngliche und der gegebenenfalls überarbeitete Wortlaut beider Pole,
  3. je Situation die Bewertung, mit einem eigenen Wert für „passt nicht“,
  4. die bevorzugte Seite und die Begründung, falls angegeben,
  5. ob die Person die Rückspiegelung bestätigt hat,
  6. Zuordnungen zu Dimensionen mit dem Vermerk, wer sie vorgenommen hat,
  7. Zeitpunkte von Beginn und Abschluss,
  8. bei Fragebögen jede einzelne Antwort, nicht nur der Dimensionswert.

Dimensionswerte werden bei jedem Abruf aus den Antworten berechnet. Jede Person kann ihre vollständigen Daten in einem offenen Format (JSON) herunterladen.

Alternativen. Zusätzliche Ausgabe in einem Format, das OpenRepGrid einlesen kann, für Forschungszwecke.

Risiken und Grenzen. Rohdaten sind schutzwürdiger als Kennwerte. Sie brauchen strenge Zugriffsregeln und ein Löschkonzept (siehe Frage 70).

Stand. Wissenschaftlich belegt als Anforderung guter Praxis.

Im Prototyp. Umgesetzt wie beschrieben.