Teil C · Fragen 19 bis 28
Messung und Vergleichbarkeit
Inhalt
Antworten auf die Fragen 19 bis 28
Grundlage dieses Teils ist vor allem die Recherchenotiz 03 (docs/recherche/03_werte_fit_messung.md).
Frage 19: Welche Werte können wissenschaftlich sinnvoll zwischen Personen verglichen werden?
Antwort. Nur Werte aus demselben, für alle gleichen Instrument mit denselben Fragen und derselben Skala. Am besten abgesichert sind die vier übergeordneten Wertebereiche nach Schwartz. Individuell erhobene Konstrukte sind nicht vergleichbar.
Grundlage. Vergleiche zwischen Personen und Gruppen setzen voraus, dass alle das Instrument gleich verstehen (Messinvarianz). Für Vergleiche von Mittelwerten braucht es die strengste Form. Für das überarbeitete Instrument von Schwartz ist über 49 kulturelle Gruppen die mittlere Form belegt, die strengste nach einer Sekundärquelle nicht (Schwartz und Cieciuch 2022).
Empfehlung. Drei Stufen der Vergleichbarkeit unterscheiden und in der Oberfläche benennen:
| Daten | Vergleich zwischen Personen |
|---|---|
| Konstrukte aus dem Repertory Grid | nein |
| Dimensionswerte eines geprüften Instruments | ja, als Beschreibung der Antworten |
| Einschätzungen desselben Teams durch seine Mitglieder | ja, sie beziehen sich auf denselben Gegenstand |
Alternativen. Vergleich von Rangfolgen innerhalb der Person statt von Niveaus zwischen Personen („Was ist dieser Person am wichtigsten?“). Das umgeht Unterschiede im Gebrauch der Skala, erlaubt aber keine Mittelwerte.
Risiken und Grenzen. Auch bei einem geprüften Instrument ist ein Unterschied von wenigen Zehnteln zwischen zwei Personen kleiner als der Messfehler.
Stand. Wissenschaftlich belegt.
Frage 20: Ist eine siebenstufige Ratingskala angemessen oder sollte eine andere Skala verwendet werden?
Antwort. Sieben Stufen sind für zweipolige Fragen und für das Grid angemessen. Für ein übernommenes Instrument gilt dessen Originalformat.
Grundlage. Die Evidenz spricht für etwa vier bis sieben Antwortstufen. Unter sechs Stufen sinkt die Messgenauigkeit, über sechs bis sieben hinaus ist kein Gewinn belegt. Eine vollständige Beschriftung aller Stufen verbessert die Datenqualität. Das Instrument von Schwartz verwendet sechs vollständig beschriftete Stufen ohne Mitte. Bei Grids sind fünf und sieben Stufen dokumentiert, ohne dass eine Studie die Überlegenheit von sieben zeigt.
Empfehlung.
- Zweipolige Gegensatzpaare: sieben Stufen. Die Mitte hat hier eine klare Bedeutung („beides gleich“ oder „kommt darauf an“).
- Repertory Grid: sieben Stufen plus eine eigene Antwort „passt nicht“. So wird die Mitte nicht als Notlösung missbraucht.
- Zustimmung zu Aussagen über das Team: sieben Stufen mit beschrifteten Enden.
- Instrument von Schwartz, falls lizenziert: sechs beschriftete Stufen wie im Original.
Alternativen. Fünf Stufen: schneller auf kleinen Bildschirmen, etwas ungenauer. Schieberegler ohne Stufen: wirken genau, sind es aber nicht.
Risiken und Grenzen. Im Prototyp sind nur die Enden und die Mitte beschriftet, nicht jede Stufe. Eine vollständige Beschriftung wäre nach der Evidenz besser und ist für die Pilotfassung zu prüfen.
Stand. Größenordnung der Stufenzahl: wissenschaftlich belegt. Die Wahl von sieben statt sechs: plausibel, aber nicht validiert.
Frage 21: Wie wird geprüft, ob Menschen eine Skala gleich interpretieren?
Antwort. Mit Verfahren, die große Stichproben brauchen und deshalb nicht in einem einzelnen Team, sondern nur plattformweit oder in eigenen Studien möglich sind.
Grundlage. Etablierte Verfahren sind: Prüfung der Messinvarianz in drei Stufen, Prüfung einzelner Fragen auf unterschiedliches Funktionieren zwischen Gruppen, Kennwerte für Antwortstile (etwa Zustimmungsneigung oder Neigung zu Extremen) und Ankervignetten, bei denen alle dieselbe beschriebene Person einschätzen. Solche Prüfungen brauchen Stichproben, die einzelne Kundenorganisationen kaum liefern.
Empfehlung.
- In der Validierungsstudie: Messinvarianz zwischen Sprachen, Berufsgruppen, Geschlecht und Altersgruppen prüfen.
- In der Auswertung: bei Wertefragebögen die Zentrierung am persönlichen Mittel, die Unterschiede im Gebrauch der Skala teilweise ausgleicht.
- In der Gestaltung: Gegensatzpaare statt Zustimmungsfragen. Sie sind weniger anfällig für Zustimmungsneigung.
- In der Oberfläche: Mittelwerte als Beschreibung der Antworten bezeichnen.
Alternativen. Ankervignetten in der Befragung. Sie verlängern sie und sind selbst nicht frei von Problemen.
Risiken und Grenzen. In einem Team mit sieben Personen lässt sich nicht prüfen, ob alle die Skala gleich verstehen. Diese Unsicherheit bleibt.
Stand. Die Verfahren: wissenschaftlich belegt. Messinvarianz der Fragen des Prototyps: nicht geprüft, offene Hypothese.
Frage 22: Wie können individuell erhobene Konstrukte auf gemeinsame Dimensionen abgebildet werden?
Antwort. Nur durch die Person selbst oder, in einer Studie, durch geschulte Menschen mit ausgewiesener Übereinstimmung. Nie automatisch, und nie so, dass daraus ein Wert in einer Rechnung wird.
Grundlage. Für Gruppenvergleiche empfiehlt die Literatur vorgegebene Konstrukte, möglichst abgeleitet aus vorheriger freier Erhebung. Dass alle ein vorgegebenes Konstrukt gleich verwenden, ist eine prüfbare Annahme und kein Automatismus. Die Ordnung freier Konstrukte durch Menschen gelingt nur mit mäßiger Übereinstimmung (55 Prozent im ersten Durchgang bei Rojon und anderen 2019).
Empfehlung. Die Person kann ein eigenes Konstrukt einer gemeinsamen Dimension zuordnen und angeben, welche Seite welchem Ende entspricht. Das ist eine Anmerkung zu ihrem Profil. Sie hilft ihr, eigene Unterscheidungen und die Dimensionen des Fragebogens nebeneinander zu sehen. Sie verändert keinen Dimensionswert.
Alternativen. Erstens: alle bewerten dieselben Situationen zusätzlich auf einigen vorgegebenen Konstrukten. Zweitens: Ordnung durch zwei unabhängige Fachleute. Drittens: das Verfahren der deutenden Gruppierung, das Gruppen verwandter Konstrukte über übereinstimmende Bewertungen findet (Burr, King und Heckmann 2022, nach Registerdaten).
Risiken und Grenzen. Manche Konstrukte passen zu keiner Dimension. Das ist kein Mangel, sondern zeigt, dass persönliche Unterscheidungen über die gemeinsamen Dimensionen hinausgehen.
Stand. Wissenschaftlich belegt für die Grenzen. Nutzen der Selbstzuordnung: plausibel, aber nicht validiert.
Frage 23: Können Methoden nach Honey für die Aggregation verwendet werden?
Antwort. Ja, als begleitetes, deutendes Verfahren. Nein, als automatische Kennzahl für ein Team.
Grundlage. Honey (1979) verbindet jedes eigene Konstrukt mit einer vorgegebenen Gesamteinschätzung, drückt die Nähe als prozentuale Übereinstimmung aus, teilt die Konstrukte je Person in Drittel und ordnet sie erst dann inhaltlich über Personen. Rojon und andere (2019) fanden das Verfahren seit 1979 nur in sechs begutachteten Studien. Sie belegen seine Brauchbarkeit für eine Gruppe in einem Zusammenhang.
Empfehlung. Den Teil des Verfahrens, der innerhalb der Person bleibt, umsetzen: Welche meiner Unterscheidungen hängen am engsten mit dem zusammen, was ich insgesamt für gute Zusammenarbeit halte? Den Teil, der über Personen geht, als moderiertes Angebot mit menschlicher Deutung vorsehen, nicht als Funktion der Software.
Alternativen. Verzicht auf die Gesamteinschätzung und damit auf die Kennwerte. Das verkürzt die Befragung um einen Schritt.
Risiken und Grenzen. Die Prozentzahl kann als Bewertung missverstanden werden. Sie beschreibt nur einen Zusammenhang innerhalb der Person. Die Originalarbeit lag mir nicht vor. Die genaue Schreibweise der Formel ist aus der Beschreibung rekonstruiert (siehe Dokument 3).
Stand. Das Verfahren: wissenschaftlich belegt in begrenztem Umfang. Seine Verwendung in einer Software ohne Moderation: plausibel für den Teil innerhalb der Person, nicht gedeckt für die Zusammenfassung über Personen.
Frage 24: Wo ist eine KI gestützte semantische Zuordnung sinnvoll und wo ist sie zu unzuverlässig?
Antwort. Sinnvoll ist sie als Vorschlag, den ein Mensch prüft. Zu unzuverlässig ist sie überall dort, wo ihr Ergebnis ungeprüft in eine Rechnung, einen Vergleich oder eine Aussage über eine Person einginge.
Grundlage. Siehe Frage 17: Die Güte automatischer Zuordnung zu Werten schwankt je nach Wert zwischen brauchbar und unbrauchbar. Für kurze zweipolige Konstrukte in deutscher Sprache liegt keine Evidenz vor.
Empfehlung.
| Einsatz | Bewertung |
|---|---|
| Vorsortieren von Konstrukten für menschliche Fachleute in einer Studie | sinnvoll, mit Stichprobenprüfung |
| Vorschlag einer Dimension an die Person selbst | vertretbar, mit ausdrücklicher Bestätigung |
| Hinweis auf zwei sehr ähnlich klingende eigene Konstrukte | vertretbar |
| Automatische Zuordnung als Grundlage eines Teamwerts | nicht vertretbar |
| Einordnung einer Person anhand ihrer Formulierungen | nicht vertretbar |
Vor jedem Einsatz: eine von Menschen eingeordnete Vergleichsmenge aus echten, freigegebenen Konstrukten anlegen und die Übereinstimmung des Modells damit messen, getrennt je Dimension.
Alternativen. Regelbasierte Wortlisten. Sie sind durchschaubar, aber grob.
Risiken und Grenzen. Sprachmodelle ändern sich mit jeder Version. Eine einmal gemessene Güte gilt nicht dauerhaft.
Stand. Unzuverlässigkeit für verwandte Aufgaben: wissenschaftlich belegt. Eignung für diesen Anwendungsfall: offene Hypothese.
Frage 25: Wie gehen wir mit Konstrukten um, die mehrere Themen gleichzeitig enthalten?
Antwort. Bei der Erhebung darauf hinweisen und die Person entscheiden lassen. Danach nichts mehr daran ändern.
Grundlage. Mehrdeutige Konstrukte lassen sich nach der Literatur nicht sauber einordnen. Die Lösung liegt deshalb vor der Auswertung.
Empfehlung. Enthält eine Seite „und“, „oder“ oder einen Schrägstrich, erscheint der Hinweis: „Eine Seite enthält möglicherweise zwei Themen. Wenn ja, wählen Sie das wichtigere.“ Die Person kann das Konstrukt teilen, indem sie ein zweites anlegt, oder es belassen. Ein belassenes Konstrukt bleibt gültig.
Alternativen. Pflicht zur Trennung. Das wäre ein Eingriff in die Sprache der Person und widerspricht dem Verfahren.
Risiken und Grenzen. Die Regel erkennt nur die Wortform. „Schnell und gründlich“ sind zwei Themen, „Hand und Fuß“ ist eines.
Stand. Plausibel, aber nicht validiert.
Frage 26: Welche Skalen können aus bestehenden validierten Verfahren übernommen werden und welche Lizenzen benötigen wir?
Antwort. In Frage kommen vor allem das Werteinstrument von Schwartz und eine Skala zur psychologischen Sicherheit. Für beide sind die Rechte für eine kommerzielle Nutzung nicht geklärt. Bis dahin gilt: nicht verwenden.
Grundlage.
| Verfahren | Inhalt | Rechte nach dem Stand der Recherche |
|---|---|---|
| Überarbeiteter Fragebogen von Schwartz (57 Fragen) | 19 Werte | Kostenfreie Forschung ohne Gewinnabsicht erlaubt. Für andere Nutzungen Zustimmung der Autoren nötig. Keine ausdrückliche Erlaubnis für bezahlte Software gefunden. |
| Kurzes Inventar für die vier Wertebereiche (17 Fragen) | vier übergeordnete Bereiche | Daten aus einem deutschen Panel. Bedingungen nicht abschließend geprüft. |
| Werteskala der europäischen Sozialerhebung (21 Fragen) | zehn Werte | Bedingungen der Erhebung zu beachten. Nicht abschließend geprüft. |
| Skala von Edmondson (7 Fragen) | psychologische Sicherheit | Veröffentlicht in einer Zeitschrift. Rechte für eine Übersetzung und kommerzielle Nutzung ungeklärt. |
| Deutschsprachiger Fragebogen zur psychologischen Sicherheit | psychologische Sicherheit | Eintrag in einer Sammlung sozialwissenschaftlicher Instrumente vorhanden. Bedingungen konnten nicht geprüft werden. |
Empfehlung. Zwei Wege parallel: schriftliche Anfragen an die Rechteinhaber, und die Entwicklung eigener Fragen mit eigener Validierung. Eigene Fragen sind aufwendiger, machen das Produkt aber unabhängig.
Alternativen. Zusammenarbeit mit einem Lehrstuhl, der die Validierung begleitet und Rechte an übernommenen Skalen einbringt.
Risiken und Grenzen. Eine Nutzung ohne Erlaubnis wäre ein rechtliches und ein Ansehensrisiko. Eigene Fragen sind ohne Validierung nur für Vorführungen geeignet.
Stand. Rechtelage: nicht abschließend geprüft, keine Rechtsberatung.
Rückfrage. Sollen die Anfragen an die Rechteinhaber jetzt gestellt werden? Und ist eine Zusammenarbeit mit einer Hochschule gewünscht?
Im Prototyp. Alle Fragen sind eigene Demonstrationsfragen. Es ist kein Wortlaut eines fremden Instruments enthalten.
Frage 27: Wie werden fehlende Antworten, neutrale Positionen und widersprüchliche Angaben behandelt?
Antwort. Fehlendes wird nicht ersetzt. Die Mitte ist eine gültige Antwort. Widersprüche werden der Person gezeigt und nicht korrigiert.
Grundlage. Der Ersatz fehlender Fragen durch das Mittel der Person kann Skalenwerte verzerren. Für unachtsames Antworten gibt es etablierte Kennwerte, etwa lange Folgen gleicher Antworten, Widersprüche zwischen sinngleichen Fragen und sehr kurze Antwortzeiten (Ward und Meade 2023). Bei wenigen Fragen je Dimension wiegen beide Probleme schwer.
Empfehlung.
| Fall | Regel |
|---|---|
| Fehlende Antworten | Ein Dimensionswert entsteht nur, wenn mindestens zwei Drittel der Fragen beantwortet sind. Es wird nichts geschätzt. |
| Mitte der Skala | Gültige Antwort. Ihr Anteil wird der Person gezeigt. |
| „Passt nicht“ im Grid | Eigene Antwort, getrennt von der Skala. Die Situation geht in die Kennwerte dieses Konstrukts nicht ein. |
| Uneinheitliche Antworten in einer Dimension | Ab einer Spannweite von 4 Skalenpunkten ein Hinweis im eigenen Profil. Der Wert bleibt. |
| Lange Folgen gleicher Antworten | Hinweis im eigenen Profil. Kein Ausschluss. |
Alternativen. Ausschluss auffälliger Antwortbögen aus dem Teamprofil. In einer Forschungsstudie üblich, in einem freiwilligen Werkzeug der Reflexion ein unangemessener Eingriff.
Risiken und Grenzen. Ohne Ausschluss kann ein unachtsam ausgefüllter Bogen ein kleines Teamprofil spürbar verschieben.
Stand. Die Probleme: wissenschaftlich belegt. Die gewählten Schwellen: Konventionen.
Im Prototyp. Umgesetzt wie beschrieben (Dokument 3, Abschnitt „Vom Antwortbogen zum Dimensionswert“).
Frage 28: Wie messen wir die Zuverlässigkeit und Stabilität der individuellen Profile?
Antwort. Mit mindestens zwei Kennwerten der inneren Konsistenz, mit einer Wiederholung nach kurzer und nach längerer Zeit und mit einem ausgewiesenen Messfehler. Für Grids zusätzlich mit der Frage, wie viele Konstrukte eine Person beim zweiten Mal wieder nennt.
Grundlage. Cronbachs Alpha allein gilt als unzureichend. Empfohlen werden modellbasierte Kennwerte wie Omega. Für Entscheidungen über Einzelne verlangt die Literatur deutlich höhere Zuverlässigkeit als für die Beschreibung von Gruppen. Kurze Werteskalen erreichen bei Wiederholung Werte um 0,65 bis 0,77 und damit nicht das Niveau für folgenreiche Einzelentscheidungen. Bei Grids sind Kennwerte der Struktur recht stabil, die Inhalte wiederholen sich aber nur zu etwa zwei Dritteln.
Empfehlung.
- Je Dimension Alpha und Omega aus der Pilotstichprobe.
- Wiederholung nach drei bis vier Wochen (Zuverlässigkeit) und nach sechs bis zwölf Monaten (Stabilität).
- Aus der Zuverlässigkeit den Standardmessfehler berechnen und in der Oberfläche als Bereich zeigen.
- Bei Grids: Anteil wieder genannter Konstrukte und Übereinstimmung der Bewertungen bei gleichen Konstrukten.
- Jedes Profil trägt ein Datum und wird nach zwölf Monaten zur Erneuerung vorgeschlagen.
Alternativen. Längere Skalen mit fünf oder sechs Fragen je Dimension. Sie sind zuverlässiger, verlängern aber die Befragung.
Risiken und Grenzen. Drei Fragen je Dimension sind für Aussagen über Einzelne knapp. Der Prototyp ist deshalb auf die Beschreibung von Teams und die eigene Reflexion ausgelegt und nicht auf den genauen Vergleich zweier Personen.
Stand. Die Anforderungen: wissenschaftlich belegt. Zuverlässigkeit der Fragen des Prototyps: unbekannt.
Im Prototyp. Alpha und Standardmessfehler sind in der Engine vorhanden. Im Simulator wird der Messfehler als wählbare Annahme geführt, weil ein gemessener Wert noch fehlt.