Zum Inhalt springen
Zur Übersicht der 80 Fragen

Teil F · Fragen 49 bis 56

Entwicklung und wissenschaftliche Validierung

Inhalt

Antworten auf die Fragen 49 bis 56

Grundlage dieses Teils sind die Recherchenotizen 03 (Abschnitte C3 und C5) und 04 (Abschnitte D1 bis D3). Der Validierungsplan als Ganzes steht in Dokument 6.

Frage 49: Wie entwickeln wir ein Pilotinstrument mit möglichst geringer Befragungsbelastung?

Antwort. In Bausteinen, die sich getrennt und in mehreren Sitzungen bearbeiten lassen, mit einem klaren Mindestumfang und gemessener statt geschätzter Dauer.

Grundlage. Repertory Grid Interviews dauern nach der Literatur im Mittel 45 Minuten bis zu zwei Stunden. Für die Selbstdurchführung am Bildschirm habe ich keine Angabe gefunden. Lange Befragungen erhöhen den Anteil unachtsamer Antworten.

Empfehlung.

BausteinUmfangDauer (Schätzung, zu messen)
Repertory Grid, Mindestumfang3 Konstrukte, je 9 Einordnungen, plus Gesamteinschätzungetwa 10 Minuten
Repertory Grid, empfohlen6 Konstrukteetwa 15 bis 20 Minuten
Arbeitsorientierungen18 Gegensatzpaareetwa 4 Minuten
Teamnormen und gelebte Praxis21 Fragenetwa 4 bis 5 Minuten

Zusammen rund 25 bis 30 Minuten, teilbar in drei Sitzungen. Jeder Baustein speichert Zwischenstände. Die Pilotfassung misst die Bearbeitungszeit je Schritt mit, ausschließlich zusammengefasst und nur mit Einwilligung, um die Schätzungen zu ersetzen.

Alternativen. Geplantes Auslassen: Jede Person erhält nur einen Teil der Fragen. Das senkt die Belastung, verlangt aber große Stichproben und taugt nicht für kleine Teams. Eine Kurzfassung mit zwei Fragen je Dimension: schneller, aber ungenauer.

Risiken und Grenzen. Die Zeitangaben sind Schätzungen. Wer das Grid ernst nimmt, braucht länger. Wer es abkürzt, liefert flache Konstrukte.

Stand. Plausibel, aber nicht validiert.

Frage 50: Wie prüfen wir Inhaltsvalidität und Konstruktvalidität?

Antwort. In vier Schritten, vom Verständnis einzelner Fragen bis zum Zusammenhang mit geprüften Verfahren.

Grundlage. Die Standards für pädagogisches und psychologisches Testen (AERA, APA und NCME 2014) und das Bewertungsmodell der europäischen Psychologenverbände verlangen Belege aus mehreren Quellen: Inhalt, Antwortprozesse, innere Struktur, Zusammenhänge mit anderen Größen und Folgen der Nutzung.

Empfehlung.

  1. Inhalt. Fachleute aus Arbeitspsychologie und Organisationsentwicklung ordnen jede Frage einer Dimension zu. Fragen, die nicht einheitlich zugeordnet werden, entfallen oder werden überarbeitet.
  2. Antwortprozesse. Kognitive Interviews mit 15 bis 20 Personen aus verschiedenen Berufen: Wie verstehen sie Fragen, Pole und Situationen?
  3. Innere Struktur. Bestätigende Faktorenanalyse: Bilden die Fragen die sechs Dimensionen ab? Dazu Zuverlässigkeit je Dimension.
  4. Zusammenhänge. Vergleich mit geprüften Verfahren: Werte nach Schwartz, die fünf großen Persönlichkeitsmerkmale, eine geprüfte Skala zur psychologischen Sicherheit. Erwartet werden mittlere Zusammenhänge mit verwandten und geringe mit unverwandten Größen.

Für das Repertory Grid kommt hinzu: Vergleich der selbst durchgeführten Fassung mit einem Interview bei denselben Personen.

Alternativen. Übernahme vollständig geprüfter Instrumente an Stelle eigener Entwicklung (siehe Frage 26).

Risiken und Grenzen. Konstruktvalidität ist kein Zustand, den man einmal erreicht. Sie gilt für eine Zielgruppe und einen Zweck. Ein Beleg für die Beschreibung von Teams ist kein Beleg für Auswahlentscheidungen.

Stand. Das Vorgehen: wissenschaftlich belegt als Standard. Die Gültigkeit der Fragen des Prototyps: offene Hypothese.

Frage 51: Wie prüfen wir Unterschiede zwischen Sprachen, Ländern und Berufsgruppen?

Antwort. Durch sorgfältige Übersetzung im Team, durch Prüfung der Messinvarianz und durch die Prüfung einzelner Fragen auf unterschiedliches Funktionieren.

Grundlage. Vergleiche zwischen Gruppen setzen Messinvarianz voraus. Für das Instrument von Schwartz ist sie über Kulturen in der mittleren Form belegt, in der strengsten nach einer Sekundärquelle nicht. Solche Prüfungen brauchen deutlich größere Stichproben, als einzelne Organisationen liefern (Vandenberg und Lance 2000, Inhalt nicht nachgeprüft).

Empfehlung.

  1. Übersetzung: zwei unabhängige Übersetzungen, Abgleich im Team, Rückübersetzung als Kontrolle, kognitive Interviews in der Zielsprache.
  2. Messinvarianz: in drei Stufen über Sprachen, Berufsgruppen, Geschlecht und Altersgruppen.
  3. Einzelne Fragen: Fragen, die in einer Gruppe anders funktionieren, werden überarbeitet oder gestrichen.
  4. Situationen des Grids: Anteil der Antwort „passt nicht“ je Situation und Berufsgruppe als einfaches Maß der Vertrautheit.
  5. Bis dahin: keine Vergleiche von Mittelwerten über Sprachen oder Berufsgruppen hinweg.

Alternativen. Getrennte Normen je Gruppe. Sie setzen ebenfalls große Stichproben voraus und lösen das Problem ungleicher Messung nicht.

Risiken und Grenzen. Der Prototyp ist auf Deutsch entwickelt. Die englische Fassung ist technisch vorbereitet und nur teilweise übersetzt. Eine geprüfte Übersetzung ist sie nicht.

Stand. Die Verfahren: wissenschaftlich belegt. Die Vergleichbarkeit der eigenen Fragen über Gruppen: offene Hypothese.

Frage 52: Welche Pilotstichprobe benötigen wir für unterschiedliche wissenschaftliche Fragestellungen?

Antwort. Das hängt stark von der Frage ab. Für das Verständnis genügen wenige Personen, für die Messgüte einige hundert, für Aussagen über Teams viele Teams.

Grundlage. Auf der Ebene von Teams entscheidet die Zahl der Teams. Simulationsstudien zeigen verzerrte Schätzungen bei 50 oder weniger Gruppen (Maas und Hox 2005). Kleine Zusammenhänge auf Teamebene sind selbst mit 200 Teams nicht verlässlich nachweisbar (Arend und Schäfer 2019). Für die Ausschöpfung von Konstruktkategorien in Grids gilt eine Faustregel von 15 bis 25 Interviews.

Empfehlung.

FragestellungGrößenordnungSicherheit der Angabe
Verständlichkeit, kognitive Interviews15 bis 20 Personenübliche Praxis
Vergleich Selbstdurchführung und Interview im Grid30 bis 40 Personen, jede mit beiden Formeneigene Schätzung
Kategorien von Konstrukten, Ausschöpfung15 bis 25 Personen je ZielgruppeFaustregel der Literatur
Fragenanalyse und Zuverlässigkeit200 bis 300 Personenübliche Praxis, nicht nachgeprüft
Faktorenstruktur300 bis 500 Personenübliche Praxis, nicht nachgeprüft
Messinvarianz zwischen Gruppenmindestens 200 Personen je Gruppeübliche Praxis, nicht nachgeprüft
Stabilität bei Wiederholung100 bis 150 Personen, zweimal befragteigene Schätzung
Übereinstimmung und Unterschiede zwischen Teamsmehr als 50 TeamsSimulationsstudien
Zusammenhang von Zusammensetzung und späteren Normen85 bis 200 Teamseigene Rechnung der Recherche

Alternativen. Stufenweises Vorgehen: zuerst Verständnis und Messgüte mit Einzelpersonen aus einem Befragtenpool, erst danach Teams.

Risiken und Grenzen. Eine Validierung mit 20 oder 30 Teams kann die Kernfrage nicht beantworten. Wer das nicht leisten kann, sollte auf die entsprechende Behauptung verzichten.

Stand. Größenordnungen auf Teamebene: wissenschaftlich belegt durch Simulationsstudien. Die übrigen Zahlen: übliche Praxis und eigene Schätzungen, vor der Planung mit einer Fachperson für Statistik abzustimmen.

Rückfrage. Gibt es Zugang zu Organisationen, die mit zusammen mindestens 50 Teams an einer Studie teilnehmen würden? Davon hängt ab, welche Fragen überhaupt beantwortbar sind.

Frage 53: Welche Ergebnisse sollten nach drei, sechs oder zwölf Monaten erneut erhoben werden?

Antwort. Was sich schnell verändern kann, öfter. Was stabil ist, seltener.

Grundlage. Werte sind bei Erwachsenen in ihrer Rangordnung mäßig bis hoch stabil. In einer Längsschnittstudie über acht Jahre lag die Stabilität der Rangordnung bei etwa 0,69 bis 0,77 über jeweils vier Jahre (Notiz 03, Abschnitt A6). Wahrnehmungen der Zusammenarbeit verändern sich schneller. Nichtteilnahme verzerrt Kennwerte der Übereinstimmung und Streuung um bis zu 20 Prozent (Newman und Sin 2009).

Empfehlung.

Was3 Monate6 Monate12 Monate
Teamnormen und gelebte Praxisnach einem Wechseljaja
Psychologische Sicherheitnach einem Wechseljaja
Arbeitsorientierungenneinneinja
Grundwerteneinneinja
Repertory Gridneinneinfreiwillig, als eigener Rückblick
ZielprofilneinÜberprüfungÜberprüfung, gegebenenfalls neue Fassung
Angaben zum Umfeld (Größe, Aufgaben)bei Änderungbei Änderungja

Jedes Profil trägt ein Datum. Nach zwölf Monaten schlägt die Plattform eine Erneuerung vor.

Alternativen. Sehr kurze Abfragen in engen Abständen, etwa monatlich drei Fragen. Sie zeigen Verläufe, erhöhen aber die Belastung und den Eindruck einer Dauerbeobachtung.

Risiken und Grenzen. Wiederholte Befragungen können selbst etwas verändern. Und mit jeder Welle sinkt meist die Beteiligung.

Stand. Stabilität von Werten: wissenschaftlich belegt. Die Abstände: plausibel, aber nicht validiert.

Frage 54: Wie kann eine längsschnittliche Studie den tatsächlichen Einfluss neuer Teammitglieder untersuchen?

Antwort. Mit einer vorausschauenden Studie über viele Teams, mit Messungen vor und nach dem Zugang und mit Vergleichsteams ohne Wechsel.

Grundlage. Die Auswertungsverfahren sind vorhanden: Wachstumsmodelle (Bliese und Ployhart 2002), Modelle für Verläufe, die durch ein Ereignis unterbrochen werden (Bliese und Lang 2016), ein Modell, das prüft, ob die Übereinstimmung in Gruppen über die Zeit zunimmt (Lang, Bliese und de Voogt 2018), und der Vergleich der Veränderung mit und ohne Ereignis. Beispiele verwirklichter Studien: 47 Teams über die Zeit mit einem objektiven Leistungsmaß (van der Vegt und andere 2010) und 65 Projektteams mit wiederholter Messung bei Neuen (Chen 2005). Was fehlt, sind Daten zu genau dieser Frage.

Empfehlung. Die zu prüfende Behauptung ist eng: Sagt die rechnerische Verschiebung der Wertezusammensetzung die später beobachtete Veränderung der wahrgenommenen Normen vorher?

  1. Vorab registrieren: Hypothesen, Messgrößen, Auswertung.
  2. Vor dem Zugang messen: mindestens einmal, besser zweimal, damit der Verlauf ohne Ereignis bekannt ist.
  3. Nach dem Zugang messen: nach 3, 6 und 12 Monaten.
  4. Vergleichsteams: ähnliche Teams ohne Wechsel im selben Zeitraum.
  5. Begleitgrößen erfassen: Rolle der neuen Person, Einarbeitung, Aufnahmebereitschaft, weitere Veränderungen.
  6. Auf Teamebene auswerten, nicht auf der Ebene der einzelnen neuen Person.
  7. Umfang: grob 85 bis 200 Teams mit Zugang.

Alternativen. Eine kleinere Studie mit 20 bis 30 Teams als Machbarkeitsprüfung. Sie zeigt, ob Erhebung und Beteiligung funktionieren, beantwortet aber die Frage nicht.

Risiken und Grenzen. Neue Mitglieder werden nicht zufällig Teams zugeteilt. Wer in welches Team kommt, hängt mit vielem zusammen. Ein Nachweis von Ursache und Wirkung ist deshalb auch mit dieser Anlage nur eingeschränkt möglich.

Stand. Die Methoden: wissenschaftlich belegt. Das Ergebnis einer solchen Studie: offen.

Frage 55: Wie vermeiden wir, dass organisatorische Veränderungen fälschlich einzelnen Personen zugeschrieben werden?

Antwort. In der Forschung durch Vergleichsteams und das Festhalten anderer Ereignisse. Im Produkt dadurch, dass es Veränderungen nie einer Person zuordnet.

Grundlage. In Organisationen geschieht selten nur eines zur selben Zeit: neue Führung, neue Aufgaben, Umzug, Sparrunden. Ohne Vergleich lässt sich nicht unterscheiden, was woher kommt.

Empfehlung.

In der Studie:

  1. Vergleichsteams ohne Wechsel im selben Zeitraum.
  2. Ein Ereignisprotokoll je Team: alle wesentlichen Veränderungen mit Datum.
  3. Zwei Messungen vor dem Ereignis.
  4. Auswertung auf der Ebene der Teams.
  5. Mehrere Zugänge je Organisation, damit sich Besonderheiten einzelner Personen ausgleichen.

Im Produkt:

  1. Verläufe werden nur für Teams gezeigt, nie mit dem Hinweis „seit dem Eintritt von …“.
  2. Die Simulation zeigt einen hypothetischen Endzustand, keinen Verlauf.
  3. In Verlaufsansichten stehen Ereignisse als neutrale Marken, etwa „Wechsel der Zusammensetzung“.
  4. Jede Ergebnisansicht nennt, dass ein verändertes Mittel keine Wirkung einer Person belegt.

Alternativen. Verzicht auf Verlaufsansichten. Der Prototyp hat keine.

Risiken und Grenzen. In einem kleinen Team weiß jeder, wer neu ist. Eine Verlaufsansicht wird immer auch als Aussage über diese Person gelesen. Das spricht dafür, Verläufe nur zurückhaltend und erst nach Abstimmung mit Beschäftigtenvertretung und Datenschutz einzuführen.

Stand. Methodische Grundsätze: wissenschaftlich belegt.

Frage 56: Welche Kriterien müssten erreicht werden, bevor das Modell für folgenreiche Personalentscheidungen wissenschaftlich in Betracht kommt?

Antwort. Sehr hohe, und sie sind derzeit in keinem Punkt erfüllt. Meine Empfehlung ist, diesen Weg nicht zu verfolgen.

Grundlage. Für Verfahren in Personalentscheidungen verlangen die Fachstandards einen Bezug zu den Anforderungen der Tätigkeit, belegte Zuverlässigkeit und Gültigkeit sowie Fairness: DIN 33430 (Fassung 2016), ISO 10667 (Fassung 2020), die Standards von AERA, APA und NCME (2014) und die Grundsätze der Society for Industrial and Organizational Psychology (2018). Die Normtexte selbst konnte ich nicht einsehen. Für Passungsmaße ist der Zusammenhang mit Leistung schwach belegt: In einer Meta Analyse schloss der untere Rand des Glaubwürdigkeitsbereichs für Leistung und Fluktuation null ein (Arthur und andere 2006, nach Sucheintrag).

Empfehlung. Acht Kriterien, die alle erfüllt sein müssten:

  1. Anforderungsbezug: eine dokumentierte Analyse, warum bestimmte Werte für eine bestimmte Tätigkeit oder ein Team erforderlich sind. Ein frei gesetztes Zielprofil genügt nicht.
  2. Zuverlässigkeit auf einem Niveau, das Aussagen über Einzelne trägt, mit Bereichen der Unsicherheit für jeden Wert und jede Differenz.
  3. Geprüfte Messung über Sprachen, Geschlecht, Alter und Herkunft.
  4. Vorhersagegüte, vorausschauend und in unabhängigen Stichproben belegt, für ein klar bestimmtes Ergebnis.
  5. Fairness: Prüfung auf Benachteiligung geschützter Gruppen bei jedem Kriterium und laufend im Betrieb.
  6. Qualifizierte Anwendung: geschulte Personen, dokumentiertes Vorgehen, Auskunft und Einspruchsmöglichkeit für Betroffene.
  7. Rechtlicher Rahmen: Rechtsgrundlage, Folgenabschätzung, Beteiligung der Beschäftigtenvertretung, bei Einsatz von KI die Pflichten für Systeme mit hohem Risiko.
  8. Keine Übernahme alter Daten: Was unter der Zusage „nicht für Personalentscheidungen“ erhoben wurde, bleibt dabei.

Persönliche Konstrukte aus dem Repertory Grid sind individuell und nicht normiert. Als Auswahlkriterium wären sie nach diesen Maßstäben besonders schwer zu rechtfertigen.

Alternativen. Das Produkt dauerhaft als freiwilliges Werkzeug der Reflexion und Teamentwicklung führen. Für Auswahlentscheidungen gibt es geprüfte Verfahren der Eignungsdiagnostik.

Risiken und Grenzen. Der Druck, ein vorhandenes Werkzeug auch für Besetzungen zu nutzen, entsteht in Organisationen von selbst. Die Simulation liegt nah an einer Besetzungsüberlegung. Dagegen helfen technische Zweckbindung, vertragliche Nutzungsgrenzen und eine Betriebsvereinbarung (siehe Frage 69).

Stand. Die Anforderungen: wissenschaftlich belegt als Stand der Fachstandards, Normtexte nicht eingesehen. Ob das Modell sie je erfüllen könnte: offene Hypothese.

Rückfrage. Bestätigen Sie, dass Internal Talent ausdrücklich nicht für Einstellung, Beförderung, Versetzung, Teambesetzung als Einzelmaßnahme oder Kündigung vorgesehen ist? Diese Zweckbestimmung sollte in Produktbeschreibung, Nutzungsbedingungen und Oberfläche gleich lauten.