Zum Inhalt springen
Zur Übersicht der Methodik

Recherchenotizen

Notiz 3: Werte, Passung und Messung

Dies sind Arbeitsnotizen. Sie folgen nicht dem Textstil der übrigen Dokumente, enthalten Fachbegriffe und Verweise auf fremde Seiten. Maßgeblich für das Produkt sind die Dokumente 1 und 3.
Inhalt

Lesehinweis und Verifikationslage (Stand 22.11.2026). Zwei Kennzeichnungen stehen hinter jeder Aussage in eckigen Klammern.

Evidenzstatus (Vorgabe des Auftraggebers): "wissenschaftlich belegt" = durch veröffentlichte Forschung gestützt, Quelle genannt. "plausibel, aber nicht validiert" = begründete Ableitung, für den Anwendungsfall Internal Talent nicht empirisch geprüft. "offene Hypothese" = keine tragfähige Evidenz gefunden. Für Lizenz- und Normangaben, die keine Forschungsaussagen sind, steht "dokumentiert" (Sachangabe aus einem Dokument).

Verifikationsstatus (diese Sitzung): "abgerufen" = Dokument wurde in dieser Sitzung selbst abgerufen und gelesen. "Suchauszug" = Angabe wurde durch den vom Suchwerkzeug gelieferten Seiteninhalt (Zusammenfassung, teils mit Zitaten, meist Abstract-Ebene) bestätigt, die Seite selbst konnte nicht geöffnet werden. "nicht verifiziert" = Angabe aus dem Fachwissen des Bearbeiters, in dieser Sitzung nicht bestätigt. Solche Angaben stehen ausschließlich unter "Gaps".

Strenger Maßstab: Nur "abgerufen" erfüllt die Anforderung "auf abgerufener Seite verifiziert". "Suchauszug" ist eine Teilverifikation. Englische Zitate aus Suchauszügen sind als "Wortlaut laut Suchauszug" markiert und vor einer wörtlichen Verwendung am Original zu prüfen.

Technische Einschränkungen: (1) Das Abrufwerkzeug konnte keine wissenschaftlichen Hosts erreichen (Netzwerkfreigabe der Sitzung nur für Paketregister und GitHub). Fehlgeschlagen sind unter anderem pmc.ncbi.nlm.nih.gov, scholarworks.gvsu.edu, zis.gesis.org, gosling.psy.utexas.edu und europeansocialsurvey.org. (2) Nach 68 erfolgreichen Suchanfragen war das sitzungsweite Suchbudget (200 Anfragen, von allen Agenten geteilt) erschöpft. Acht geplante Suchen zu LLM-Kodierung, Interrater-Standards und zu den Zahlen von Arthur et al. (2006) liefen nicht mehr. (3) Direkt abgerufen und gelesen wurden daher nur: Referenzhandbücher auf CRAN (persval, careless, RSA, multilevel, irr, irrCAC, psych, semTools, sirt, profileR, configural, FAPA, acR, oolong, iotarelr, OpenRepGrid.ic, gridsampler), die Metadaten der ACL Anthology (offizielles GitHub-Repositorium, mit Abstracts) und zwei GitHub-README-Dateien (quallmer, persval).

A1. Verfeinerte Wertetheorie mit 19 Werten (Schwartz et al. 2012): Struktur, vier Werte höherer Ordnung, zirkuläres Kontinuum

Takeaway

Die verfeinerte Theorie ordnet 19 Werte nach verträglichen und konflikthaften Motivationen auf einem Kreis an. Die Unterscheidbarkeit der 19 Werte und ihre Reihenfolge sind in 15 Stichproben aus 10 Ländern und später in 49 Kulturgruppen gestützt. Die vier Werte höherer Ordnung sind die am besten abgesicherte Verdichtung für ein kleines Set vergleichbarer Dimensionen.

Cited Findings

  • Die Theorie "defines and orders 19 values on the continuum based on their compatible and conflicting motivations" (Wortlaut laut Suchauszug). Geprüft wurde sie mit einem neuen Instrument in 15 Stichproben aus 10 Ländern (N = 6.059). Konfirmatorische Faktorenanalysen und multidimensionale Skalierung stützen die Unterscheidung der 19 Werte. [wissenschaftlich belegt | Suchauszug] Quelle: Schwartz et al. 2012, Eintrag der Hebrew University, DOI 10.1037/a0029393
  • Die vier Werte höherer Ordnung heißen Openness to Change, Self-Enhancement, Conservation und Self-Transcendence. Zusätzlich gibt es zwei Zweiteilungen: selbstbezogene Werte (regulieren persönliche Interessen) gegenüber auf andere bezogenen Werten (regulieren soziale Beziehungen) sowie selbstschützende Werte (Umgang mit Angst und Unsicherheit) gegenüber wachstumsorientierten, angstfreien Werten. [wissenschaftlich belegt | abgerufen, Sekundärquelle Softwaredokumentation] Quelle: persval Referenzhandbuch v1.1.2, CRAN
  • In 49 Kulturgruppen reproduzierte eine multidimensionale Skalierung die theoretische Reihenfolge der 19 Werte auf dem Kreis ("perfectly reproduced the theorized order of the 19 values around the circle across groups", Wortlaut laut Suchauszug). [wissenschaftlich belegt | Suchauszug] Quelle: Schwartz & Cieciuch 2022, SAGE
  • In vier Ländern (Italien, Polen, Russland, USA; N = 1.857) ließen sich die 19 Werte in Mehrgruppen-Faktorenanalysen unterscheiden. Verhalten hing von der Abwägung zwischen fördernden und hemmenden Werten ab. [wissenschaftlich belegt | Suchauszug, Referenz zusätzlich abgerufen] Quelle: Schwartz et al. 2017, Eintrag der Hebrew University, DOI 10.1002/ejsp.2228
  • Die aktuelle Übersichtsarbeit (2022) behandelt Natur der Werte, Wertetheorien, Messung, Ursprünge der Wertprioritäten, Stabilität und Wandel sowie Zusammenhänge mit Persönlichkeit, Wohlbefinden und Verhalten. [wissenschaftlich belegt | Suchauszug] Quelle: Sagiv & Schwartz 2022, Annual Reviews

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Schwartz, S. H., Cieciuch, J., Vecchione, M., Davidov, E., Fischer, R., Beierlein, C., Ramos, A., Verkasalo, M., Lönnqvist, J.-E., Demirutku, K., Dirilen-Gumus, O., & Konty, M. (2012). Refining the theory of basic individual values. Journal of Personality and Social Psychology, 103(4), 663-688. https://doi.org/10.1037/a0029393 (Suchauszug: Autoren, Band, Seiten, DOI)
  • Schwartz, S. H., Cieciuch, J., Vecchione, M., Torres, C., Dirilen-Gumus, O., & Butenko, T. (2017). Value tradeoffs propel and inhibit behavior: Validating the 19 refined values in four countries. European Journal of Social Psychology, 47(3), 241-258. https://doi.org/10.1002/ejsp.2228 (abgerufen als Referenz im persval-Handbuch, Inhalt per Suchauszug)
  • Sagiv, L., & Schwartz, S. H. (2022). Personal values across cultures. Annual Review of Psychology, 73, 517-546. https://doi.org/10.1146/annurev-psych-020821-125100 (Suchauszug: Band, Seiten, DOI)
  • Schwartz, S. H. (1992). Universals in the content and structure of values: Theory and empirical tests in 20 countries. In M. Zanna (Ed.), Advances in Experimental Social Psychology (Vol. 25, pp. 1-65). Academic Press. https://doi.org/10.1016/S0065-2601(08)60281-6 (abgerufen als Referenz im persval-Handbuch)
  • Corbelli, G. (2025). persval: Computing personal values scores (R-Paket, Version 1.1.2). https://cran.r-project.org/web/packages/persval/persval.pdf (abgerufen)

Inferences

  • Für "wenige standardisierte, vergleichbare Dimensionen" ist die Ebene der vier Werte höherer Ordnung (oder der zwei bipolaren Achsen) die robusteste Wahl. Die 19 Einzelwerte mit je wenigen Items sind auf Individualebene deutlich unsicherer (siehe C3). [plausibel, aber nicht validiert]
  • Wegen der Kreisstruktur sind Wertdimensionen nicht unabhängig. Benachbarte Werte hängen positiv zusammen, gegenüberliegende stehen in Konflikt. Ein Teamprofil mit unabhängig gedachten Achsen ist eine Vereinfachung, die in der Ergebnisdarstellung benannt werden sollte. [plausibel, aber nicht validiert]

Gaps

  • Die vollständige Liste der 19 Werte konnte nicht auf einer abgerufenen Seite geprüft werden. Aus Fachwissen [nicht verifiziert]: Self-Direction (Thought, Action), Stimulation, Hedonism, Achievement, Power (Dominance, Resources), Face, Security (Personal, Societal), Tradition, Conformity (Rules, Interpersonal), Humility, Benevolence (Dependability, Caring), Universalism (Concern, Nature, Tolerance). Die Zwischenstellung von Hedonism, Face und Humility zwischen zwei Werten höherer Ordnung ist ebenfalls nicht verifiziert.
  • Der Volltext von Schwartz et al. (2012) war nicht abrufbar. Kennwerte der Modellgüte sind daher nicht dokumentiert.

A2. Instrumente: PVQ-RR, PVQ-21 (ESS Human Values Scale), SVS, PVQ-40, Kurzformen und psychometrische Evidenz

Takeaway

Der PVQ-RR ist in 49 Kulturgruppen (N = 53.472, 32 Sprachversionen) geprüft: 15 der 19 Werte wurden in der großen Mehrheit der Gruppen reliabel gemessen, konfigurale und metrische Invarianz hielten für fast alle Werte, skalare Invarianz laut Sekundärquelle nicht. Für die vier Werte höherer Ordnung existiert mit dem HOVS17 ein 17-Item-Inventar mit Daten aus dem deutschen GESIS Panel.

Cited Findings

  • Eckdaten der älteren Instrumente: SVS mit 57 Items auf einer 9-stufigen Skala von -1 bis 7. PVQ-40 mit 40 Items, 6-stufig. PVQ-21 (ESS) mit 21 Items, 6-stufig. TwIVI mit 20 Items und TIVI mit 10 Items, jeweils 6-stufig. [wissenschaftlich belegt | abgerufen, Sekundärquelle Softwaredokumentation] Quelle: persval Referenzhandbuch
  • Schwartz' eigenes Repositorium (2021) enthält SVS, PVQ40, PVQ21 (Human Values Scale des ESS) und PVQ-RR mit "numerous authorized language versions", Kodier- und Analyseanleitungen, den wichtigsten Referenzen sowie einer Tabelle, die die vier Instrumente anhand von 12 Merkmalen vergleicht. [dokumentiert | Suchauszug] Quelle: Schwartz 2021, ORPC, DOI 10.9707/2307-0919.1173
  • PVQ-RR, Reliabilität: "reliably measured 15 of the 19 values in the vast majority of groups and two others in most groups" (Wortlaut laut Suchauszug). [wissenschaftlich belegt | Suchauszug] Quelle: Schwartz & Cieciuch 2022, Volltext bei PMC, nicht abrufbar
  • PVQ-RR, Struktur und Invarianz: Die Messmodelle stützten die Unterscheidung fast aller Werte in jeder Gruppe. Fast alle Werte waren auf konfiguraler und metrischer Ebene invariant. Die Autoren werten den PVQ-RR als geeignet, Wertehierarchien und Korrelate über Kulturen zu vergleichen. [wissenschaftlich belegt | Suchauszug] Quelle: Schwartz & Cieciuch 2022
  • Laut einer späteren Studie aus der Türkei wurde über die 49 Gruppen keine skalare Invarianz gefunden, und Mittelwertvergleiche zwischen Kulturen können deshalb verzerrt sein. Dieselbe Quelle berichtet, dass Alpha für Humility nur in vier Stichproben weltweit über .60 lag. [wissenschaftlich belegt | Suchauszug, Sekundärquelle] Quelle: Evaluating value measures across cultures: study on PVQ-RR, PVQ-40, and PVQ-21 in Turkey
  • ESS Human Values Scale: Der ESS enthält seit der ersten Runde (2002) ein 21-Item-Maß von Schwartz. Frühere Fassungen hatten getrennte Formen für Männer und Frauen. Ab ESS Runde 12 (2025/26) ersetzt eine überarbeitete Skala mit geschlechtsneutraler Formulierung und kürzeren Itemtexten die bisherige (laut Suchauszug 20 Items, Itemzahl am Original prüfen). [dokumentiert | Suchauszug] Quelle: ESS Findings Human Values Scale, Survey Practice 2025
  • TwIVI und TIVI: entwickelt aus dem PVQ-40 mit getrennten Stichproben für Ableitung (N = 38.049) und Evaluation (N = 29.143). Eine portugiesische Studie (n = 524) prüfte 2022 erstmals die Faktorenstruktur des TwIVI per CFA. [wissenschaftlich belegt | Suchauszug] Quelle: Gosling Lab, TIVI und TwIVI, DOI 10.1080/00223891.2016.1231115
  • HOVS17 (Higher-Order-Value Scale-17): 17 Items für die vier Werte höherer Ordnung, jährlich im GESIS Panel erhoben. Die Items lagen im zweidimensionalen MDS-Raum wie erwartet. Alle vier Subskalen waren eindimensional, hatten "acceptable reliabilities" und Ein-Jahres-Retest-Stabilitäten zwischen .65 und .69. [wissenschaftlich belegt | Suchauszug] Quelle: Lechner et al. 2024, Eintrag der Hebrew University, PubMed 38408279
  • Deutsche Fassung des PVQ-40: Schmidt et al. (2007) validierten eine deutsche 40-Item-Version. [wissenschaftlich belegt | Suchauszug] Quelle: Hogrefe eContent
  • Beierlein, Davidov, Schmidt, Schwartz und Rammstedt (2012) untersuchten die diskriminante Validität der PVQ-Items (zwei Autoren bei GESIS). [wissenschaftlich belegt | Suchauszug] Quelle: Survey Research Methods

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Schwartz, S. H., & Cieciuch, J. (2022). Measuring the refined theory of individual values in 49 cultural groups: Psychometrics of the revised Portrait Value Questionnaire. Assessment, 29(5), 1005-1019. https://doi.org/10.1177/1073191121998760 (online seit März 2021; Suchauszug: Band, Seiten, DOI, Abstract)
  • Schwartz, S. H. (2021). A repository of Schwartz value scales with instructions and an introduction. Online Readings in Psychology and Culture, 2(2). https://doi.org/10.9707/2307-0919.1173 (Suchauszug)
  • Sandy, C. J., Gosling, S. D., Schwartz, S. H., & Koelkebeck, T. (2017). The development and validation of brief and ultrabrief measures of values. Journal of Personality Assessment, 99(5), 545-555. https://doi.org/10.1080/00223891.2016.1231115 (abgerufen als Referenz im persval-Handbuch, Inhalt per Suchauszug)
  • Lechner, C. M., Beierlein, C., Davidov, E., & Schwartz, S. H. (2024). Measuring the four higher-order values in Schwartz's theory: Validation of a 17-item inventory. Journal of Personality Assessment, 106(5), 651-664. PubMed-ID 38408279 (Suchauszug: Titel, Zeitschrift, Band, Seiten; DOI nicht verifiziert)
  • Schmidt, P., Bamberg, S., Davidov, E., Herrmann, J., & Schwartz, S. H. (2007). Die Messung von Werten mit dem "Portraits Value Questionnaire". Zeitschrift für Sozialpsychologie, 38(4), 261-275. https://doi.org/10.1024/0044-3514.38.4.261 (Suchauszug: Titel, Zeitschrift, DOI; vollständige Autorenliste und Seiten aus Fachwissen)
  • Beierlein, C., Davidov, E., Schmidt, P., Schwartz, S. H., & Rammstedt, B. (2012). Testing the discriminant validity of Schwartz' Portrait Value Questionnaire items: A replication and extension of Knoppen and Saris (2009). Survey Research Methods, 6(1), 25-36. https://ojs.ub.uni-konstanz.de/srm/article/view/5092/4688 (Suchauszug: Autoren, Zeitschrift, Jahr; Untertitel und Seiten aus Fachwissen)
  • Schwartz, S. H., Melech, G., Lehmann, A., Burgess, S., & Harris, M. (2001). Extending the cross-cultural validity of the theory of basic human values with a different method of measurement. Journal of Cross-Cultural Psychology, 32, 519-542. https://doi.org/10.1177/0022022101032005001 (abgerufen als Referenz im persval-Handbuch; Autorenliste wie dort angegeben)
  • Sommer et al. (2025). Revision and cross-cultural adaptation of the Human Values Scale for self-completion modes. Survey Practice. https://doi.org/10.29115/SP-2025-0017 (Suchauszug: Titel, Zeitschrift, DOI; vollständige Autorenliste nicht bestätigt)
  • Evaluating value measures across cultures: study on PVQ-RR, PVQ-40, and PVQ-21 in Turkey. https://pmc.ncbi.nlm.nih.gov/articles/PMC12802304/ (Suchauszug: Titel und URL; Autoren, Zeitschrift und Jahr nicht bestätigt)

Inferences

  • Für Internal Talent gibt es drei realistische Instrumentpfade: (a) PVQ-RR mit 57 Items für 19 Werte, (b) ein Kurzinstrument auf Ebene der vier Werte höherer Ordnung (HOVS17, deutsche Panel-Daten), (c) eigene Items entlang der Theorie mit eigener Validierung. Pfad (b) passt am besten zu "wenigen Dimensionen", hängt aber wie (a) an der Lizenzfrage (A3). [plausibel, aber nicht validiert]
  • Fehlende skalare Invarianz über Kulturen ist auch innerhalb eines deutschen Unternehmens relevant, wenn Beschäftigte mit unterschiedlicher Muttersprache und kulturellem Hintergrund auf denselben Rohwert-Skalen verglichen werden. [plausibel, aber nicht validiert]
  • Ein-Jahres-Retestwerte von .65 bis .69 auf Ebene der Werte höherer Ordnung bedeuten: Individuelle Profile sind mäßig stabil, einzelne Werteprofile sollten nicht als feste Eigenschaft dargestellt werden. [plausibel, aber nicht validiert]

Gaps

  • PVQ-RR: 57 Items, drei Items je Wert, 6-stufige Antwortskala von "not like me at all" bis "very much like me" [aus Fachwissen, nicht verifiziert].
  • Konkrete Reliabilitätskennwerte je Wert (Alpha, Omega), das verwendete Reliabilitätskriterium, die vier schwächeren Werte neben Humility sowie Methode und Ergebnis der Invarianzprüfung im Detail konnten nicht am Volltext geprüft werden.
  • Retest-Reliabilitäten speziell für den PVQ-RR wurden nicht gefunden.
  • Offizielle PVQ-RR-Kurzversionen wurden nicht gefunden. Ob die überarbeitete ESS-Skala (ab Runde 12) Items des PVQ-RR nutzt, ist nicht verifiziert.
  • Ein ZIS-Eintrag für eine deutsche PVQ-RR-Fassung wurde nicht gefunden (siehe A3).

A3. Lizenz und Nutzungsbedingungen (insbesondere kommerzielle Nutzung in bezahlter Software), deutsche Übersetzungen

Takeaway

Für keine Schwartz-Skala wurde eine ausdrückliche Erlaubnis zur kommerziellen Nutzung in einem bezahlten Softwareprodukt gefunden. Die gefundenen Bedingungen erlauben kostenfreie nichtkommerzielle Forschung und verlangen für andere Nutzungen die Zustimmung der Autoren. Vor einer Produktentscheidung ist eine schriftliche Genehmigung von Shalom H. Schwartz (und je nach Itemquelle von ESS ERIC oder GESIS) nötig, sonst eigene Items.

Cited Findings

  • ZIS-Dokumentation der Human Values Scale (ESS): Das Instrument kann für nichtkommerzielle Forschungszwecke kostenfrei genutzt werden. Für andere Nutzungen oder Abweichungen von der dokumentierten Form ist die Zustimmung der Autoren einzuholen. Die Dokumentation ist als Quelle zu zitieren. Sinngemäße Wiedergabe laut Suchauszug, kein gesicherter Wortlaut. [dokumentiert | Suchauszug] Quelle: GESIS ZIS, Eintrag 524, GESIS ZIS, Eintrag 523, DOI 10.6102/zis234
  • ESS, Daten und Dokumentation haben unterschiedliche Lizenzen: "European Social Survey data is licensed under CC BY-NC-SA 4.0" und "European Social Survey documentation is licensed under CC BY-SA 4.0" (Wortlaut laut Suchauszug). [dokumentiert | Suchauszug] Quelle: ESS Disclaimer
  • ESS, Definition kommerzieller Nutzung: Unter Creative-Commons-Lizenzen ist "'commercial use' [...] defined by the nature of the activity, not the sector in which the actor is operating" (Wortlaut laut Suchauszug). Bedingungen der Nutzung: korrekte Zitation des ESS ERIC, Hinweis auf freie Verfügbarkeit der Daten im Data Portal, kein Eindruck einer Verbindung zum oder Autorisierung durch den ESS ERIC. [dokumentiert | Suchauszug] Quelle: ESS Disclaimer
  • ESS ERIC Statuten: Die Nutzung des geistigen Eigentums des ESS ERIC für kommerzielle Zwecke "will be handled on a case by case basis" (Wortlaut laut Suchauszug). [dokumentiert | Suchauszug] Quelle: ESS ERIC Statutes, PDF vom 10.03.2025
  • Schwartz' Repositorium (ORPC, Grand Valley State University) ist mit "Creative Commons Attribution-Noncommercial-No Derivative Works 3.0 License" gekennzeichnet. Das Copyright der Reihe liegt laut Suchauszug bei der International Association for Cross-Cultural Psychology. [dokumentiert | Suchauszug] Quelle: Schwartz 2021, ORPC
  • Die Kodier- und Analyseanleitung zum PVQ-RR liegt als eigenes Dokument von Schwartz vor. Ihr Inhalt zu Nutzungsrechten wurde nicht gefunden. [dokumentiert | Suchauszug, nur Existenz] Quelle: ResearchGate, Coding and analyzing PVQ-RR data
  • TwIVI und TIVI: Auf der Seite des Entwicklers steht laut Suchauszug "ANYONE CAN USE IT FOR ANY PURPOSE. NO NEED TO ASK ME FOR PERMISSION." Die Zuordnung dieses Satzes zur TwIVI-Seite und seine Reichweite (kommerziell, Übersetzungen, PVQ-basierte Itemtexte von Schwartz) sind am Original zu prüfen. [dokumentiert | Suchauszug] Quelle: Gosling Lab, TIVI und TwIVI
  • Drittkataloge im Netz beschreiben den PVQ-RR uneinheitlich ("free for academic use", "open with attribution") und verweisen selbst auf die Originalquelle. Sie sind keine Rechtsgrundlage. [dokumentiert | Suchauszug] Quelle: psychology.me, draistudio.com
  • Deutsche Fassungen: Verifiziert sind die deutsche PVQ-40-Validierung (Schmidt et al. 2007) und die ZIS-Dokumentation der Human Values Scale (ESS) von Schwartz, Breyer und Danner (2015). [dokumentiert | Suchauszug] Quelle: Hogrefe eContent, GESIS ZIS

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

Inferences

  • Eine bezahlte Webplattform ist nach der vom ESS zitierten Creative-Commons-Logik kommerzielle Nutzung, weil die Art der Tätigkeit zählt. Material unter einer NC-Lizenz (Repositorium von Schwartz) darf ohne gesonderte Erlaubnis nicht verwendet werden. Der ND-Zusatz schließt zudem Bearbeitungen aus, zum Beispiel Kürzungen oder Umformulierungen. [plausibel, aber nicht validiert, juristisch zu prüfen]
  • Die Genehmigung muss von den Rechteinhabern kommen: für PVQ-RR und PVQ-21 von Shalom H. Schwartz als Autor, für die deutsche ZIS-Fassung von den dort genannten Autoren, für ESS-spezifisches Material vom ESS ERIC im Einzelfall. [plausibel, aber nicht validiert, juristisch zu prüfen]
  • Die ESS-Dokumentation steht unter CC BY-SA 4.0 ohne NC-Zusatz. Ob daraus ein kommerzielles Nutzungsrecht an den Itemtexten der Human Values Scale folgt, ist offen, weil die Items von Schwartz stammen, die Statuten kommerzielle Nutzung einzeln regeln und ShareAlike Pflichten für Bearbeitungen auslöst. [offene Hypothese, juristisch zu prüfen]
  • Rückfallweg ohne Lizenzabhängigkeit: eigene deutsche Items entlang der veröffentlichten Theorie entwickeln und selbst validieren. Dann entfällt aber die vorhandene Validierungsevidenz von PVQ-RR und HOVS17, und jede Aussage zur Messqualität wäre bis zur eigenen Validierung "plausibel, aber nicht validiert". [plausibel, aber nicht validiert]

Gaps

  • Der genaue Wortlaut der ZIS-Nutzungsbedingungen, des ESS-Disclaimers und der Hinweise im ORPC-Repositorium konnte nicht auf abgerufenen Seiten geprüft werden. Vor Zitaten in Verträgen oder im Produkt sind die Originalseiten zu öffnen.
  • Ob und zu welchen Bedingungen Schwartz kommerzielle Lizenzen vergibt, ist unbekannt. Aus Fachwissen [nicht verifiziert]: Schwartz gestattet nichtkommerzielle Forschungsnutzung üblicherweise ohne Gebühr und bittet bei anderer Nutzung um direkte Kontaktaufnahme.
  • Eine offizielle deutsche PVQ-RR-Übersetzung wurde weder in ZIS noch anderswo verifiziert. Aus Fachwissen [nicht verifiziert]: Das Repositorium enthält deutschsprachige PVQ-RR-Fassungen, und an Schwartz et al. (2012) waren deutsche Stichproben und GESIS-Autoren beteiligt.
  • Die Lizenzlage des HOVS17 (GESIS Panel) und eine validierte deutsche TwIVI-Fassung wurden nicht gefunden.
  • Diese Notizen sind keine Rechtsberatung. Die Einordnung der CC-Lizenzen beruht auf allgemeiner Lizenzkunde und wurde nicht an den Lizenztexten geprüft.

A4. Scoring-Regeln: Zentrierung am persönlichen Mittelwert (MRAT), rohe und zentrierte Werte, Mindestzahl an Items

Takeaway

Die Zentrierung am individuellen Mittelwert aller Items (MRAT) ist die von den Autoren empfohlene Korrektur für individuellen Skalengebrauch. Zentrierte Werte sind ipsativ und bilden relative Prioritäten ab, keine absoluten Niveaus. Für Faktorenanalysen werden Rohwerte verwendet. Die genauen Regeln von Schwartz (Ausschlussgrenzen, Regression) konnten nicht verifiziert werden.

Cited Findings

  • Softwaredokumentation zu SVS, PVQ-40, PVQ-21, TwIVI und TIVI: Standardmäßig wird "the recommended statistical adjustment (MRAT centering) as suggested by the authors, to correct for individual differences in response styles" angewendet, Rohwerte sind optional. [wissenschaftlich belegt | abgerufen, Sekundärquelle Softwaredokumentation] Quelle: persval Referenzhandbuch
  • PVQ-RR in Anwendungsstudien: Analysen beruhen auf Werten, "obtained by subtracting the individual's mean score across all PVQ-RR items from each item's score" (Wortlaut laut Suchauszug). Für konfirmatorische Faktorenanalysen seien Rohwerte angemessen, "to avoid problems with ipsatized scores". [wissenschaftlich belegt | Suchauszug, Sekundärdarstellung] Quelle: ResearchGate, Coding and analyzing PVQ-RR data, ResearchGate, Best-Worst-Scaling-Studie
  • TwIVI und TIVI: Die Anleitung verlangt, die Antworten jeder Person an ihrem Mittelwert über alle 20 beziehungsweise 10 Items zu zentrieren. Es gibt keine umgepolten Items. [wissenschaftlich belegt | Suchauszug] Quelle: Gosling Lab
  • Gegenposition zur Zentrierung: Borg und Bardi (2016) zeigen, dass die mittlere Wichtigkeitsbewertung einer Person auch inhaltlich bedeutsam sein kann und der ersten Hauptkomponente der Werte-Items entspricht. Zentrierung entfernt also nicht nur Antwortstil. [wissenschaftlich belegt | Suchauszug] Quelle: Royal Holloway Repository
  • Die Metaanalyse zu Persönlichkeit und Werten empfiehlt, individuelle Tendenzen im Skalengebrauch bei Werten zu kontrollieren. [wissenschaftlich belegt | Suchauszug] Quelle: Parks-Leduc et al. 2015, Royal Holloway Repository
  • Zur Problematik ipsativer Daten verweist die Softwaredokumentation auf Closs (1996), Cornwell und Dunlap (1994) und Rudnev (2021, "Caveats of non-ipsatization of basic values"). [wissenschaftlich belegt | abgerufen, nur Referenzen] Quelle: persval Referenzhandbuch
  • Das EFPA-Testbeurteilungsmodell hält fest, dass interne Konsistenz als Reliabilitätsschätzung bei ipsativen Skalen verzerrt ist ("biased as a method for estimating reliability of ipsative scales", Wortlaut laut Suchauszug). [dokumentiert | Suchauszug] Quelle: EFPA Review Model 4.2.6, BPS-Kopie
  • Zeilenzentrierung (Ipsatisierung) entfernt die Profilhöhe ("row-centering (ipsatization) to remove profile elevation"). [wissenschaftlich belegt | abgerufen, Softwaredokumentation] Quelle: FAPA Referenzhandbuch

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

Inferences

  • Die Plattform sollte Rohantworten speichern und beide Varianten berechnen. Zentrierte Werte eignen sich für die Darstellung individueller Prioritäten (Profilform), Rohwerte für Messmodelle und Invarianzprüfungen. [plausibel, aber nicht validiert]
  • Zentrierte Werte dürfen nicht als absolute Ausprägung gelesen werden. Ein Team mit hohem zentrierten Mittelwert in einem Wert gewichtet diesen relativ zu den anderen Werten höher, mehr sagt die Zahl nicht. [plausibel, aber nicht validiert]
  • Nach der Zentrierung misst jeder Profilvergleich nur noch Form und Streuung, nicht mehr die Höhe (siehe B3). Das beeinflusst direkt, was "Compatibility" bedeutet. [plausibel, aber nicht validiert]
  • Bei Personen mit sehr wenigen Items je Dimension (zwei bis vier) wirkt sich ein einzelnes fehlendes oder unachtsam beantwortetes Item stark aus. Eine Mindestzahl beantworteter Items je Dimension sollte festgelegt und begründet werden. [plausibel, aber nicht validiert]

Gaps

  • Schwartz' eigene Regeln konnten nicht im Wortlaut geprüft werden. Aus Fachwissen [nicht verifiziert]: zentrierte Werte für Korrelationen und Gruppenvergleiche, Rohwerte für MDS und CFA, bei Regression nicht alle zentrierten Werte gleichzeitig als Prädiktoren wegen linearer Abhängigkeit, Ausschluss von Personen mit zu vielen fehlenden Items oder zu vielen identischen Antworten. Die konkreten Grenzwerte sind der Originalanleitung zu entnehmen.
  • Widerspruch im Suchmaterial: Eine Studie gibt an, nach Schwartz' Anleitung von 2004 Werte als Prädiktoren in Regressionen roh (unzentriert) eingegeben zu haben. Die Regel für Regressionen ist daher am Original zu klären.
  • Eine empfohlene Mindestzahl an Items je Wert wurde in keiner Quelle gefunden. Der Inhalt von Rudnev (2021) wurde nicht gelesen.

A5. Arbeitsbezogene Werte: Sagen Basiswerte Arbeitsverhalten und Teamergebnisse vorher, oder braucht es arbeitsspezifische Konstrukte?

Takeaway

Basiswerte hängen nachweislich mit Berufswahl, Einstellungen und einzelnen Verhaltensweisen (zum Beispiel Citizenship-Verhalten in Teams) zusammen, und Werteunterschiede im Team wirken vor allem auf Zufriedenheit, Bindung und Teamprozesse. Dass allgemeine Basiswerte allein die Zusammenarbeit im Team hinreichend erklären, ist nicht belegt. Teamspezifische Orientierungen und aufgabenbezogene Ergänzung sagen Teamleistung direkter vorher.

Cited Findings

  • Ros, Schwartz und Surkiss (1999): Basiswerte implizieren vier Typen von Arbeitswerten (intrinsisch, extrinsisch, sozial, Prestige). Studie 1 nutzte eine repräsentative israelische Stichprobe (N = 999), Studie 2 spanische Lehrkräfte und Lehramtsstudierende. [wissenschaftlich belegt | Suchauszug] Quelle: Eintrag der Hebrew University
  • WVal (Consiglio et al. 2017): Arbeitswerte auf Basis der zehn Schwartz-Werte, erhoben über 10 Sets mit je 5 Items, die nach Wichtigkeit gereiht werden. 759 Beschäftigte aus 94 Organisationen. CFA ergab unterscheidbare Faktoren, MDS eine Kreisstruktur ähnlich den Werten höherer Ordnung, mit einigen arbeitsbezogenen Abweichungen. [wissenschaftlich belegt | Suchauszug] Quelle: Eintrag der Hebrew University, DOI 10.1177/1069072716639691
  • Übersichtsarbeit "Values at work" (2020): Sie behandelt, wie persönliche Werte Berufswahl und Verhalten bei der Arbeit prägen, die Rolle der Werte von Führungskräften und die Passung zwischen persönlichen und organisationalen Werten. Werte gelten als nützlicher Prädiktor, weil sie breit und relativ stabil sind. [wissenschaftlich belegt | Suchauszug, Abstract-Ebene] Quelle: Eintrag der Hebrew University, DOI 10.1111/apps.12181
  • Kommentar von Maio und Kollegen dazu: Die Übersicht sei zeitgemäß, zeige aber erhebliche Lücken. Es fehle theoretische Klarheit, wie sich Werte in unterschiedlichen organisationalen Kontexten, Rollen und Kulturen äußern. [wissenschaftlich belegt | Suchauszug] Quelle: University of Bath Repository
  • Werte und Citizenship-Verhalten in Teams (582 Studierende in 135 Projektteams): Achievement sagte personenbezogenes Citizenship-Verhalten vorher, Benevolence gruppenbezogenes, Self-Direction beides. Der Teammittelwert in Power schwächte den individuellen Zusammenhang ab, der Teammittelwert in Self-Direction verstärkte ihn. [wissenschaftlich belegt | Suchauszug] Quelle: PubMed 22369271, DOI 10.1037/a0027352
  • Wertediversität in 92 Arbeitsgruppen: "Value diversity decreased satisfaction, intent to remain, and commitment to the group; relationship conflict mediated the effects of value diversity" (Wortlaut laut Suchauszug). Informationsdiversität verbesserte dagegen die Gruppenleistung. [wissenschaftlich belegt | Suchauszug] Quelle: Jehn et al. 1999, SAGE
  • Metaanalyse zu Tiefendiversität (94 Arbeiten, 280 Effektstärken, 24.425 Teams): Tiefendiversität geht mit weniger positiven emergenten Zuständen und Teamprozessen und mit mehr Teamkonflikt einher. Laut einer Sekundärdarstellung wirkt Wertediversität am ungünstigsten auf Prozesse und Zustände, vor Persönlichkeits- und Kulturdiversität. [wissenschaftlich belegt | Suchauszug, Rangfolge nur über Sekundärquelle] Quelle: Triana et al. 2021, RePEc
  • Metaanalyse zur Teamzusammensetzung: In Feldstudien waren minimale Verträglichkeit im Team sowie die Teammittelwerte in Gewissenhaftigkeit, Offenheit, Kollektivismus und Präferenz für Teamarbeit starke Prädiktoren der Teamleistung. Die Stärke hing vom Setting (Labor oder Feld) und von der Operationalisierung der Zusammensetzung ab. [wissenschaftlich belegt | Suchauszug] Quelle: Bell 2007, PubMed
  • Mehrdimensionale Passung im Team (793 Beschäftigte): Wertebasierte Passung sagte Bindung an das Team vorher, persönlichkeitsbasierte Passung Voice-Verhalten, fähigkeitsbasierte Passung Wissensteilung. Jede dieser Größen sagte die von Vorgesetzten beurteilte Aufgabenleistung vorher. [wissenschaftlich belegt | Suchauszug] Quelle: Seong & Kristof-Brown 2012

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

Inferences

  • Die Literatur spricht dafür, Basiswerte als einen Baustein zu behandeln und um arbeits- und teamspezifische Konstrukte zu ergänzen (zum Beispiel Präferenz für Teamarbeit, Ziele, Fähigkeiten, Rollen). Für Internal Talent liefern dies die individuell erhobenen Konstrukte aus den Repertory Grids nur dann, wenn sie arbeitsbezogen erhoben werden. [plausibel, aber nicht validiert]
  • Die Befunde zu Wertediversität stützen die Perspektive "Compatibility" für affektive Ergebnisse (Zufriedenheit, Bindung, Konflikt). Für die Perspektive "Contribution" über Werteunterschiede gibt es keine vergleichbare Stütze, die vorhandene Evidenz zeigt bei Wertediversität eher Kosten. [plausibel, aber nicht validiert]
  • Dass Teammittelwerte in einem Wert den Zusammenhang zwischen individuellem Wert und Verhalten verändern (Arthaud-Day et al. 2012), stützt die Idee, das Teamprofil als Kontext zu zeigen. Es ist aber ein einzelner Befund an studentischen Projektteams. [plausibel, aber nicht validiert]

Gaps

  • Typische Effektstärken für Zusammenhänge zwischen Basiswerten und Arbeitsverhalten oder Leistung wurden nicht verifiziert. Keine Metaanalyse speziell zu Schwartz-Werten und Teamleistung gefunden.
  • Die Effektstärken aus Bell (2007) und Triana et al. (2021) konnten nicht am Volltext geprüft werden.
  • Eine frei nutzbare, validierte deutsche Skala für arbeitsbezogene Werte nach Schwartz wurde nicht gefunden. Eine italienische "New Work Values Scale" (2025) tauchte im Suchmaterial auf, wurde aber nicht geprüft.

A6. Werte gegenüber Persönlichkeitseigenschaften, Stabilität von Werten über die Zeit

Takeaway

Werte und Persönlichkeitseigenschaften sind verwandte, aber unterscheidbare Konstrukte, am engsten hängen Offenheit und Verträglichkeit mit Werten zusammen. Werte sind bei Erwachsenen in ihrer Rangordnung mäßig bis hoch stabil, aber veränderlich. Profile sollten daher mit Datum versehen und regelmäßig erneuert werden.

Cited Findings

  • Metaanalyse über 60 Studien (Fünf-Faktoren-Modell und Schwartz-Werte): Offenheit hängt positiv mit Werten der Offenheit für Wandel (Stimulation, Self-Direction, auch Universalism) und negativ mit Bewahrungswerten (Security, Conformity, Tradition) zusammen. Verträglichkeit hängt stark mit Benevolence und negativ mit Power zusammen. Emotionale Stabilität zeigt keinen substanziellen Zusammenhang mit einem der zehn Werte. [wissenschaftlich belegt | Suchauszug, Koeffizienten nicht geprüft] Quelle: Parks-Leduc et al. 2015, Royal Holloway Repository
  • Längsschnitt über 8 Jahre (270 Personen, 20 bis 28 Jahre, PVQ zu drei Zeitpunkten im Abstand von 4 Jahren): mittlere Rangordnungsstabilität der zehn Werte etwa .69 im ersten und etwa .77 im zweiten Intervall. Mittelwerte von Conservation, Self-Transcendence und Power stiegen, Achievement sank, Openness to Change blieb stabil. Individuelle Veränderungen folgten der Kreisstruktur. [wissenschaftlich belegt | Suchauszug] Quelle: Vecchione et al. 2016, Eintrag der Hebrew University, DOI 10.1016/j.jrp.2016.06.002
  • Schuster, Pinkowski und Fischer (2019) ist eine systematische Literaturübersicht, keine Metaanalyse. Titel: "Intra-Individual Value Change in Adulthood: A Systematic Literature Review of Longitudinal Studies Assessing Schwartz's Value Orientations". Spätere Arbeiten zitieren sie für mäßige bis hohe Rangordnungsstabilität auch über Lebensübergänge und zugleich dafür, dass Werte sich im Erwachsenenalter ändern können. [wissenschaftlich belegt | Suchauszug] Quelle: Hogrefe eContent, Leuphana Forschungsindex
  • Deutsche Panel-Daten (GESIS Panel): Ein-Jahres-Retest-Stabilität der vier Werte höherer Ordnung zwischen .65 und .69. [wissenschaftlich belegt | Suchauszug] Quelle: Lechner et al. 2024, PubMed
  • Bardi und Goodwin (2011) schlagen ein Modell des Wertewandels mit Förderfaktoren, Struktur des Wandels und kulturellen Moderatoren vor und diskutieren Kultur, Werte und Eigenschaften als allgemeine Moderatoren. [wissenschaftlich belegt | Suchauszug, Fragmente des Abstracts] Quelle: DOI 10.1177/0022022110396916

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Parks-Leduc, L., Feldman, G., & Bardi, A. (2015). Personality traits and personal values: A meta-analysis. Personality and Social Psychology Review, 19(1), 3-29. https://pure.royalholloway.ac.uk/en/publications/personality-traits-and-personal-values-a-meta-analysis/ (Suchauszug: Zeitschrift, Band, Seiten, online 2014; DOI nicht bestätigt)
  • Vecchione, M., Schwartz, S., Alessandri, G., Döring, A. K., Castellani, V., & Caprara, M. G. (2016). Stability and change of basic personal values in early adulthood: An 8-year longitudinal study. Journal of Research in Personality, 63, 111-122. https://doi.org/10.1016/j.jrp.2016.06.002 (Suchauszug)
  • Schuster, C., Pinkowski, L., & Fischer, D. (2019). Intra-individual value change in adulthood: A systematic literature review of longitudinal studies assessing Schwartz's value orientations. Zeitschrift für Psychologie, 227(1), 42-52. https://doi.org/10.1027/2151-2604/a000355 (Suchauszug: Titel, Zeitschrift, Band, Heft, DOI; Seiten und Initialen aus Fachwissen)
  • Bardi, A., & Goodwin, R. (2011). The dual route to value change: Individual processes and cultural moderators. Journal of Cross-Cultural Psychology, 42(2), 271-287. https://doi.org/10.1177/0022022110396916 (Suchauszug)

Inferences

  • Bei Retestwerten um .65 bis .77 über ein bis vier Jahre ist ein Werteprofil eine Momentaufnahme mit begrenzter Haltbarkeit. Ein Ablaufdatum für Profile und eine erneute Erhebung nach etwa 12 bis 24 Monaten oder nach großen Rollenwechseln sind begründbar. [plausibel, aber nicht validiert]
  • Werte ersetzen keine Persönlichkeitsdiagnostik und umgekehrt. Aussagen über Verhalten im Team dürfen aus Werten nicht wie aus Eigenschaften abgeleitet werden. [plausibel, aber nicht validiert]

Gaps

  • Die konkreten metaanalytischen Korrelationen aus Parks-Leduc et al. (2015) wurden nicht verifiziert.
  • Eine Metaanalyse zur Stabilität von Werten wurde nicht verifiziert. Im Suchmaterial erschienen zwei ungeprüfte Hinweise: eine Dissertation "Stability and change in values: A meta-analysis of longitudinal studies" (University of Illinois, https://www.ideals.illinois.edu/items/16255) und ein Artikel im European Journal of Personality mit DOI 10.1177/08902070241289969.
  • Bardi, Lee, Hofmann-Towfigh und Soutar (2009), "The structure of intraindividual value change", wurde nur als Titel im Suchmaterial gesehen [nicht verifiziert].

B1. Supplementary und complementary fit, needs-supplies und demands-abilities fit

Takeaway

Die Unterscheidung von supplementärer Passung (Ähnlichkeit mit den Menschen in der Umgebung) und komplementärer Passung (wechselseitiges Ausgleichen von Bedarf und Angebot) geht auf Muchinsky und Monahan (1987) zurück und ist empirisch integriert worden. Die Perspektiven "Compatibility" und "Contribution" von Internal Talent entsprechen dieser Unterscheidung konzeptionell, komplementäre Passung ist in der Forschung aber überwiegend über Bedürfnisse, Fähigkeiten und Anforderungen definiert, nicht über Werteunterschiede.

Cited Findings

  • Supplementäre Passung: Die Person "supplements, embellishes, or possesses characteristics which are similar to other individuals" in der Umgebung. Komplementäre Passung: Eine "weakness or need of the environment is offset by the strength of the individual, and vice versa". Im supplementären Modell wird die Umgebung über die Menschen beschrieben, die ihr angehören, im komplementären Modell unabhängig von ihnen. Zitate nach Sekundärquellen mit Seitenangaben 269 und 271. [wissenschaftlich belegt | Suchauszug, Sekundärzitat] Quelle: Muchinsky & Monahan 1987, Nachweis
  • Integration beider Traditionen (963 erwachsene Beschäftigte, von Arbeitern bis Führungskräften): Wertekongruenz steht prototypisch für supplementäre, Bedürfniserfüllung für komplementäre Passung. Von drei geprüften Modellen setzte sich ein integratives durch, in dem Wertekongruenz direkt und indirekt über Bedürfniserfüllung wirkt. [wissenschaftlich belegt | Suchauszug] Quelle: Cable & Edwards 2004, London Business School, DOI 10.1037/0021-9010.89.5.822
  • Die drei Grundannahmen der Fit-Theorie laut van Vianen (2018): Person und Umwelt sagen Verhalten gemeinsam besser vorher als einzeln. Ergebnisse sind optimal, wenn Merkmale von Person und Umwelt zusammenpassen, unabhängig vom Niveau. Die Richtung einer Fehlpassung spielt keine Rolle. Studien mit polynomialer Regression liefern für die Erklärungskraft von Fit nur "mixed support". [wissenschaftlich belegt | Suchauszug] Quelle: van Vianen 2018, Universität Amsterdam
  • Komplementäre Passung wird in der Folgeliteratur üblicherweise in needs-supplies fit und demands-abilities fit geteilt. [wissenschaftlich belegt | Suchauszug, Sekundärdarstellung] Quelle: Cable & Edwards 2004

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Muchinsky, P. M., & Monahan, C. J. (1987). What is person-environment congruence? Supplementary versus complementary models of fit. Journal of Vocational Behavior, 31(3), 268-277. (Suchauszug: Zeitschrift, Band, Seiten; DOI nicht bestätigt)
  • Cable, D. M., & Edwards, J. R. (2004). Complementary and supplementary fit: A theoretical and empirical integration. Journal of Applied Psychology, 89(5), 822-834. https://doi.org/10.1037/0021-9010.89.5.822 (Suchauszug)
  • van Vianen, A. E. M. (2018). Person-environment fit: A review of its basic tenets. Annual Review of Organizational Psychology and Organizational Behavior, 5, 75-101. https://dare.uva.nl/id/68d24ffd-21e5-44e7-a704-a274f8cba42e (Suchauszug: Band, Seiten, Abstract; DOI nicht bestätigt)

Inferences

  • "Compatibility" als Ähnlichkeit zum Team ist eine direkte Umsetzung supplementärer Passung und damit konzeptionell gut verankert. [plausibel, aber nicht validiert]
  • "Contribution" als für ein Zielprofil relevante Unterschiede ist nur dann komplementäre Passung im Sinn der Literatur, wenn das Zielprofil einen begründeten Bedarf des Teams abbildet. Bei Werten ist ein solcher Bedarf schwer zu begründen. Der Mechanismus "fehlender Wert im Team wird durch neue Person ergänzt und verbessert Ergebnisse" ist eine offene Hypothese. [offene Hypothese]
  • Die Annahme, dass die Richtung einer Abweichung egal ist, ist laut van Vianen empirisch nicht durchgängig gestützt. Die Plattform sollte Abweichungen daher immer mit Richtung zeigen und nicht zu einem Abstandswert verdichten. [plausibel, aber nicht validiert]

Gaps

  • Kristof (1996) und Edwards (1991) wurden nicht gesucht und nicht geprüft. Aus Fachwissen [nicht verifiziert]: Kristof, A. L. (1996). Person-organization fit: An integrative review of its conceptualizations, measurement, and implications. Personnel Psychology, 49(1), 1-49. Edwards, J. R. (1991). Person-job fit: A conceptual integration, literature review, and methodological critique. In C. L. Cooper & I. T. Robertson (Eds.), International Review of Industrial and Organizational Psychology (Vol. 6, pp. 283-357). Wiley.
  • Die Originalseiten von Muchinsky und Monahan (1987) waren nicht zugänglich, die Zitate stammen aus zitierenden Arbeiten.

B2. Person-Group-Fit und Person-Team-Fit: Befunde

Takeaway

Person-Group-Fit hängt metaanalytisch am stärksten mit Zufriedenheit mit Kollegen und Gruppenkohäsion zusammen. Auf Teamebene wirkt wertebezogene (supplementäre) Passung über sozialen Zusammenhalt, fähigkeitsbezogene (komplementäre) Passung über aufgabenbezogene Mechanismen, und der aufgabenbezogene Weg ist für die Leistung wichtiger. Fast alle Befunde beruhen auf wahrgenommener, nicht auf berechneter Passung.

Cited Findings

  • Metaanalyse von Kristof-Brown, Zimmerman und Johnson (2005): Person-Group-Fit korreliert mit Zufriedenheit mit Kollegen zu .42 und mit Gruppenkohäsion zu .47 (Angaben aus Sekundärquellen, die die Metaanalyse zitieren). 25 Studien mit polynomialer Regression wurden wegen ihres besonderen Ansatzes getrennt besprochen. Die Zusammenhänge wurden durch theoretisch erwartete Moderatoren beeinflusst. [wissenschaftlich belegt | Suchauszug, Koeffizienten über Sekundärquellen] Quelle: Wiley Online Library, University of Iowa Repository
  • Seong et al. (2015), 1.101 Beschäftigte und 116 Führungskräfte in 116 Teams zweier Unternehmen in Seoul: Supplementäre Passung (Ähnlichkeit in Werten) wirkt über sozialen Zusammenhalt, komplementäre Passung (Fähigkeiten passen zu Anforderungen) über transaktive Gedächtnissysteme. Die Hypothesen wurden weitgehend gestützt, "with the task-oriented mechanism being more influential of group performance" (Wortlaut laut Suchauszug, Leistung von Führungskräften beurteilt). Diversität in sozialen Kategorien und in Information wurde als Vorläufer der Passungswahrnehmung untersucht. [wissenschaftlich belegt | Suchauszug] Quelle: University of Iowa Repository, Hanyang University Repository
  • Seong und Kristof-Brown (2012), 793 Beschäftigte eines koreanischen Herstellers, Längsschnitt mit Vorgesetzten- und HR-Daten: Ein Modell mit getrennten Dimensionen (Werte, Persönlichkeit, Fähigkeiten) passte am besten, ein aggregiertes Modell nicht. Zugleich deutete sich ein übergeordnetes Passungsurteil an, das die spezifischen Urteile treibt. [wissenschaftlich belegt | Suchauszug] Quelle: DOI 10.1108/02683941211252419
  • Kollektive Passungswahrnehmung (Mehrebenenstudie 2014): Kollektive wertebasierte und fähigkeitsbasierte Passungswahrnehmungen hängen jeweils eigenständig positiv mit Teamkohäsion, Teamwirksamkeit und Teamleistung zusammen. [wissenschaftlich belegt | Suchauszug] Quelle: Jeonbuk National University Repository
  • De Cooman et al. (2016), 121 Personen in 30 Teams, mehrere Messzeitpunkte: Teams, deren Mitglieder gemeinsam hohe supplementäre und hohe komplementäre Passung wahrnahmen, leisteten mehr und berichteten höhere Zufriedenheit und Bestandsfähigkeit, vermittelt über Kohäsion. Auf Individualebene zeigte sich der Verstärkungseffekt nicht. [wissenschaftlich belegt | Suchauszug] Quelle: University of Bath Repository
  • Komplementäre Passung bei Extraversion (324 MBA-Studierende in 64 Teams, 217 Mitglieder in 26 Fertigungsteams): Hohe individuelle bei niedriger Team-Extraversion oder umgekehrt ging mit größerer Anziehung zum Team einher, geprüft mit polynomialer Regression und Flächendiagrammen. Stärker angezogene Mitglieder wurden von Kollegen und Vorgesetzten besser beurteilt. [wissenschaftlich belegt | Suchauszug] Quelle: University of Iowa Repository
  • DeRue und Morgeson (2007): Laut zitierenden Arbeiten ist Person-Team-Fit über die Zeit im Allgemeinen stabil, während Person-Rollen-Fit sich verändert, unter anderem durch Lernen und Erfahrung. Die Studie ist eine der wenigen zu Veränderungen der Passungswahrnehmung innerhalb von Personen. [wissenschaftlich belegt | Suchauszug, Sekundärdarstellung] Quelle: DOI 10.1037/0021-9010.92.5.1242, zitierende Arbeit bei PMC
  • Werbel und Johnson (2001) argumentieren konzeptionell, dass Person-Group-Fit bei der Auswahl für Arbeitsteams helfen und zu kohäsiveren, besser funktionierenden Einheiten führen kann, und schlagen Wege vor, ihn valide und reliabel zu erfassen. [wissenschaftlich belegt als konzeptioneller Beitrag | Suchauszug, Fragmente] Quelle: DOI 10.1002/hrm.1013
  • Hollenbeck-Gruppe (Humphrey et al. 2007): Konzeptionelles Modell auf Basis supplementärer und komplementärer Fit-Theorien. Varianz in Extraversion im Team maximieren, Varianz in Gewissenhaftigkeit minimieren, beides wirkt zusammen. Eine spätere empirische Studie an MBA-Teams stützte diese Kombination am besten. [wissenschaftlich belegt | Suchauszug] Quelle: Penn State, Arbeit von 2007, Penn State, Folgestudie
  • Aktuelle Übersicht (2023): Passung zur Organisation zählt vor allem für individuelle Einstellungen und Fluktuation. Für Individuen ist Passung meist gut, Fehlpassung kann Vorteile haben. Für Organisationen ist die Antwort "still unknown, particularly regarding diversity" (Wortlaut laut Suchauszug). [wissenschaftlich belegt | Suchauszug] Quelle: University of Iowa Repository, DOI 10.1111/peps.12581

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Kristof-Brown, A. L., Zimmerman, R. D., & Johnson, E. C. (2005). Consequences of individuals' fit at work: A meta-analysis of person-job, person-organization, person-group, and person-supervisor fit. Personnel Psychology, 58(2), 281-342. https://doi.org/10.1111/j.1744-6570.2005.00672.x (Suchauszug)
  • Seong, J. Y., Kristof-Brown, A. L., Park, W.-W., Hong, D.-S., & Shin, Y. (2015). Person-group fit: Diversity antecedents, proximal outcomes, and performance at the group level. Journal of Management, 41(4), 1184-1213. https://iro.uiowa.edu/esploro/outputs/journalArticle/Person-Group-Fit-Diversity-Antecedents-Proximal-Outcomes/9984380444702771 (Suchauszug: Band, Heft, Seiten; DOI nicht bestätigt, ein Nachweis nennt 2012 als Online-Datum)
  • Seong, J. Y., & Kristof-Brown, A. L. (2012). Testing multidimensional models of person-group fit. Journal of Managerial Psychology, 27(6), 536-556. https://doi.org/10.1108/02683941211252419 (Suchauszug)
  • Kristof-Brown, A. L., Seong, J. Y., Degeest, D. S., Park, W.-W., & Hong, D.-S. (2014). Collective fit perceptions: A multilevel investigation of person-group fit with individual-level and team-level outcomes. Journal of Organizational Behavior. https://pure.jbnu.ac.kr/en/publications/collective-fit-perceptions-a-multilevel-investigation-of-person-g/ (Suchauszug: Titel, Jahr, Kernbefund; Autorenliste, Band und Seiten aus Fachwissen)
  • De Cooman, R., Vantilborgh, T., Bal, M., & Lub, X. (2016). Creating inclusive teams through perceptions of supplementary and complementary person-team fit: Examining the relationship between person-team fit and team effectiveness. Group & Organization Management, 41(3), 310-342. https://doi.org/10.1177/1059601115586910 (Suchauszug)
  • Kristof-Brown, A. L., Barrick, M. R., & Stevens, C. K. (2005). When opposites attract: A multi-sample demonstration of complementary person-team fit on extraversion. Journal of Personality, 73(4), 935-958. https://doi.org/10.1111/j.1467-6494.2005.00334.x (Suchauszug; Endseite je nach Nachweis 957 oder 958)
  • DeRue, D. S., & Morgeson, F. P. (2007). Stability and change in person-team and person-role fit over time: The effects of growth satisfaction, performance, and general self-efficacy. Journal of Applied Psychology, 92(5), 1242-1253. https://doi.org/10.1037/0021-9010.92.5.1242 (Suchauszug)
  • Werbel, J. D., & Johnson, D. J. (2001). The use of person-group fit for employment selection: A missing link in person-environment fit. Human Resource Management, 40(3), 227-240. https://doi.org/10.1002/hrm.1013 (Suchauszug)
  • Humphrey, S. E., Hollenbeck, J. R., Meyer, C. J., & Ilgen, D. R. (2007). Trait configurations in self-managed teams: A conceptual examination of the use of seeding for maximizing and minimizing trait variance in teams. Journal of Applied Psychology, 92(3), 885-892. https://pure.psu.edu/en/publications/trait-configurations-in-self-managed-teams-a-conceptual-examinati/ (Suchauszug: Band, Seiten; DOI nicht bestätigt)
  • Kristof-Brown, A., Schneider, B., & Su, R. (2023). Person-organization fit theory and research: Conundrums, conclusions, and calls to action. Personnel Psychology, 76(2), 375-412. https://doi.org/10.1111/peps.12581 (Suchauszug)

Inferences

  • Die Trennung der drei Perspektiven statt eines Gesamtscores ist durch die Literatur gestützt: Passungsdimensionen haben unterschiedliche Folgen, und ein aggregiertes Modell passte schlechter (Seong & Kristof-Brown 2012). [plausibel, aber nicht validiert]
  • Die stärkeren Zusammenhänge von Person-Group-Fit liegen bei Einstellungen und Zusammenhalt, nicht bei Leistung. "Compatibility" sollte entsprechend als Hinweis auf erlebte Zugehörigkeit kommuniziert werden, nicht als Leistungsprognose. [plausibel, aber nicht validiert]
  • Die Befunde stammen überwiegend aus wahrgenommener Passung und aus Stichproben in Korea, den USA und den Niederlanden oder Belgien. Die Übertragung auf berechnete Ähnlichkeit von Werteprofilen in deutschen Organisationen ist nicht geprüft. [offene Hypothese]
  • Komplementarität ist für Persönlichkeit (Extraversion) und Fähigkeiten belegt. Für Werte wurde kein Beleg komplementärer Passung gefunden. [offene Hypothese für Werte]

Gaps

  • Weitere Koeffizienten der Metaanalyse für Person-Group-Fit konnten nicht verifiziert werden. Aus Fachwissen [nicht verifiziert]: Arbeitszufriedenheit etwa .31, organisationales Commitment etwa .19, Kündigungsabsicht etwa -.22, Gesamtleistung etwa .19. Der Suchauszug nannte zusätzlich .44, .51 und -.35 für Arbeitszufriedenheit, Commitment und Kündigungsabsicht ohne klare Zuordnung, nach Fachwissen sind das die Werte für Person-Organization-Fit [nicht verifiziert].
  • Aus derselben Metaanalyse [nicht verifiziert]: direkt erfragte wahrgenommene Passung hängt stärker mit Einstellungen zusammen als indirekt berechnete Passung.
  • Details zu DeRue und Morgeson (2007), etwa Stichprobe und die Effekte von Wachstumszufriedenheit, Leistung und Selbstwirksamkeit, wurden nicht geprüft.
  • Hollenbeck et al. (2002), "Structural contingency theory and individual differences: Examination of external and internal person-team fit", wurde nicht geprüft [nicht verifiziert].
  • Im Suchmaterial erschienen ungeprüfte neuere Titel: Kandler et al. (2024), "A multidisciplinary perspective on person-environment fit: Relevance, measurement, and future directions" (https://pure.mpg.de/pubman/item/item_3581969_4/component/file_3595771/kandler-et-al-2024-a-multidisciplinary-perspective-on-person-environment-fit-relevance-measurement-and-future-directions.pdf) sowie Beiträge von Vleugels und Kollegen zu zeitlicher Dynamik von Fit.

B3. Modelle jenseits einfacher Ähnlichkeitsindizes: Differenzwerte, Profilähnlichkeit, polynomiale Regression, wahrgenommene und berechnete Passung

Takeaway

Differenzwerte und Profilähnlichkeitsindizes gelten seit Edwards (1993, 1994) als methodisch problematisch. Der Standard für Kongruenzhypothesen ist polynomiale Regression mit Response-Surface-Analyse, inzwischen auch für Mehrebenen- und dyadische Daten. Profilähnlichkeit zerfällt nach Cronbach und Gleser in Höhe, Streuung und Form, was jede Ähnlichkeitskennzahl mehrdeutig macht.

Cited Findings

  • Edwards (1993) zeigt, wie polynomiale Regression die Probleme von Profilähnlichkeitsindizes vermeidet und zugleich die Zusammenhänge abbildet, die diese Indizes darstellen sollen. Edwards beschreibt später, dass frühe Studien auf Differenzwerte und Profilähnlichkeitsindizes setzten, "which are prone to numerous methodological problems" (Wortlaut laut Suchauszug). [wissenschaftlich belegt | Suchauszug, Abstract nicht verfügbar] Quelle: Scilit, Edwards 1993, DOI 10.1111/j.1744-6570.1993.tb00889.x
  • Edwards und Parry (1993) gelten als grundlegende Arbeit, die polynomiale Regression als bessere Alternative zu Differenzwerten in der Kongruenzforschung vorstellt. Sie verallgemeinert das Differenzwertmodell zu einer quadratischen Regressionsgleichung. [wissenschaftlich belegt | Suchauszug, Sekundärdarstellung] Quelle: Übersichtsarbeit bei PMC
  • Edwards (1994), "The study of congruence in organizational behavior research: Critique and a proposed alternative", ist die zugehörige Kritik mit Alternativvorschlag. [wissenschaftlich belegt | Suchauszug, nur Titel] Quelle: University of Michigan Deep Blue
  • Cronbach und Gleser (1953): Ähnlichkeit ist nur in Bezug auf festgelegte Dimensionen sinnvoll zu diskutieren. Das Distanzmaß D wird vorgestellt, Profile zerfallen in Höhe (elevation), Streuung (scatter) und Form (shape). D setzt unkorrelierte Skalen voraus. [wissenschaftlich belegt | Suchauszug] Quelle: DeepDyve, Abstract, University of Minnesota Conservancy
  • Werkzeuge und Leitfäden für Response-Surface-Analyse: Das R-Paket RSA vergleicht verschachtelte polynomiale Modelle (volles Polynom zweiter oder dritter Ordnung, verschobene und rotierte quadrierte Differenz, einfaches quadriertes Differenzmodell). Es verweist auf Edwards (2002), die Checkliste von Humberg, Nestler und Back (2019), Response-Surface-Analyse für Mehrebenendaten (Nestler, Humberg & Schönbrodt 2019), dyadische Ähnlichkeitseffekte (Schönbrodt, Humberg & Nestler 2018) und Shanock et al. (2010). [wissenschaftlich belegt | abgerufen, Softwaredokumentation] Quelle: RSA Referenzhandbuch v0.10.8
  • Kriteriumsbezogene Profilanalyse trennt in einem Profil Niveau (level) und Muster (pattern) und prüft, welcher Anteil ein Kriterium vorhersagt, mit Kreuzvalidierung (Davison & Davenport 2002, metaanalytische Erweiterung bei Wiernik et al. 2020). [wissenschaftlich belegt | abgerufen, Softwaredokumentation] Quelle: profileR Referenzhandbuch, configural Referenzhandbuch
  • Wahrgenommene Passung: Edwards et al. (2006) untersuchen, wie Person und Umwelt mit dem subjektiven Erleben von Passung verknüpft sind. Die Befunde "challenge fundamental assumptions underlying P-E fit theories" (Wortlaut laut Suchauszug). [wissenschaftlich belegt | Suchauszug, Details nicht geprüft] Quelle: London Business School, DOI 10.1037/0021-9010.91.4.802
  • Für die Operationalisierung der Teamzusammensetzung (Mittelwert, Minimum und weitere) gilt: Sie moderiert die Stärke der Zusammenhänge mit Teamleistung. [wissenschaftlich belegt | Suchauszug] Quelle: Bell 2007, PubMed
  • Für die Aggregation zu Gruppenwerten stehen Kennzahlen der Übereinstimmung und Reliabilität bereit: rwg nach James, Demaree und Wolf (1984) als 1 minus beobachtete Gruppenvarianz geteilt durch erwartete Zufallsvarianz, ICC(1) und ICC(2), wobei ICC(2) aus ICC(1) und mittlerer Gruppengröße berechnet wird (Bliese 2000). [wissenschaftlich belegt | abgerufen, Softwaredokumentation] Quelle: multilevel Referenzhandbuch v2.8

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Edwards, J. R. (1993). Problems with the use of profile similarity indices in the study of congruence in organizational research. Personnel Psychology, 46(3), 641-665. https://doi.org/10.1111/j.1744-6570.1993.tb00889.x (Suchauszug)
  • Edwards, J. R. (1994). The study of congruence in organizational behavior research: Critique and a proposed alternative. Organizational Behavior and Human Decision Processes, 58, 51-100. https://deepblue.lib.umich.edu/items/1f36204c-08ec-4333-9265-700ae5bf6493 (Suchauszug: Titel; Zeitschrift, Band und Seiten aus Fachwissen)
  • Edwards, J. R., & Parry, M. E. (1993). On the use of polynomial regression equations as an alternative to difference scores in organizational research. Academy of Management Journal, 36, 1577-1613. (Suchauszug: Zeitschrift, Band, Seiten; DOI nicht bestätigt)
  • Cronbach, L. J., & Gleser, G. C. (1953). Assessing similarity between profiles. Psychological Bulletin, 50, 456-473. (Suchauszug: Zeitschrift, Band, Seiten; DOI nicht bestätigt)
  • Edwards, J. R. (2002). Alternatives to difference scores: Polynomial regression analysis and response surface methodology. In F. Drasgow & N. W. Schmitt (Eds.), Advances in measurement and data analysis (pp. 350-400). Jossey-Bass. (abgerufen als Referenz im RSA-Handbuch)
  • Humberg, S., Nestler, S., & Back, M. D. (2019). Response surface analysis in personality and social psychology: Checklist and clarifications for the case of congruence hypotheses. Social Psychological and Personality Science, 10(3), 409-419. https://doi.org/10.1177/1948550618757600 (abgerufen als Referenz)
  • Nestler, S., Humberg, S., & Schönbrodt, F. D. (2019). Response surface analysis with multilevel data: Illustration for the case of congruence hypotheses. Psychological Methods, 24(3), 291-308. https://doi.org/10.1037/met0000199 (abgerufen als Referenz)
  • Schönbrodt, F. D., Humberg, S., & Nestler, S. (2018). Testing similarity effects with dyadic response surface analysis. European Journal of Personality, 32(6), 627-641. https://doi.org/10.1002/per.2169 (abgerufen als Referenz)
  • Shanock, L. R., Baran, B. E., Gentry, W. A., Pattison, S. C., & Heggestad, E. D. (2010). Polynomial regression with response surface analysis: A powerful approach for examining moderation and overcoming limitations of difference scores. Journal of Business and Psychology, 25, 543-554. https://doi.org/10.1007/s10869-010-9183-4 (abgerufen als Referenz)
  • Davison, M. L., & Davenport, E. C. (2002). Identifying criterion-related patterns of predictor scores using multiple regression. Psychological Methods, 7(4), 468-484. https://doi.org/10.1037/1082-989X.7.4.468 (abgerufen als Referenz)
  • Wiernik, B. M., Wilmot, M. P., Davison, M. L., & Ones, D. S. (2020). Meta-analytic criterion profile analysis. Psychological Methods. https://doi.org/10.1037/met0000305 (abgerufen als Referenz im configural-Handbuch; Titel aus der Paketbeschreibung)
  • Edwards, J. R., Cable, D. M., Williamson, I. O., Lambert, L. S., & Shipp, A. J. (2006). The phenomenology of fit: Linking the person and environment to the subjective experience of person-environment fit. Journal of Applied Psychology, 91(4), 802-827. https://doi.org/10.1037/0021-9010.91.4.802 (Suchauszug)
  • James, L. R., Demaree, R. G., & Wolf, G. (1984). Estimating within-group interrater reliability with and without response bias. Journal of Applied Psychology, 69, 85-98. (abgerufen als Referenz im multilevel-Handbuch)
  • Bliese, P. D. (2000). Within-group agreement, non-independence, and reliability: Implications for data aggregation and analysis. In K. J. Klein & S. W. Kozlowski (Eds.), Multilevel theory, research, and methods in organizations (pp. 349-381). Jossey-Bass. (abgerufen als Referenz)

Inferences

  • Eine einzelne Ähnlichkeitszahl für "Compatibility" (zum Beispiel euklidische Distanz oder Profilkorrelation zwischen Person und Teammittel) ist mehrdeutig, weil sie Höhe, Streuung und Form vermischt oder Teile davon verwirft und nicht zeigt, welche Dimension die Abweichung trägt. Belastbarer ist eine dimensionsweise Darstellung: Wert der Person, Teammittel, Teamstreuung, Richtung und Größe der Differenz mit Unsicherheitsangabe. [plausibel, aber nicht validiert]
  • Die Simulation "wie verschiebt sich das arithmetische Teamprofil" ist reine Arithmetik und braucht keine Validierung als Rechenschritt: neuer Mittelwert = alter Mittelwert + (Wert der Person minus alter Mittelwert) / (n + 1). Validierungsbedürftig ist jede Deutung der Verschiebung als Verbesserung oder Verschlechterung. [plausibel, aber nicht validiert; die Formel ist eine eigene Herleitung]
  • Ob Ähnlichkeit, Ergänzung oder schlicht das Niveau einzelner Werte Ergebnisse erklärt, lässt sich später nur mit polynomialer Regression und Response-Surface-Analyse an eigenen Daten prüfen, bei Teams in der Mehrebenenvariante. Bis dahin sind alle drei Perspektiven beschreibend. [plausibel, aber nicht validiert]
  • Das arithmetische Teamprofil ist ein additives Kompositionsmodell. Es setzt keine Übereinstimmung im Team voraus, verdeckt aber Streuung. Streuungsmaße und Spannweite gehören deshalb neben den Mittelwert, rwg oder ICC nur dann, wenn das Profil als geteilte Teamnorm gedeutet werden soll. [plausibel, aber nicht validiert]

Gaps

  • Die einzelnen Kritikpunkte von Edwards an Differenzwerten und Profilindizes konnten nicht am Text geprüft werden. Aus Fachwissen [nicht verifiziert]: Verlust der Information, welche Komponente den Effekt trägt, ungeprüfte Gleichheitsrestriktionen, Verwerfen der Richtung, geringere Reliabilität, Konfundierung der Komponenten.
  • Die Kernaussage von Edwards et al. (2006), dass direkt erfragte Passung den Vergleich von wahrgenommener Person und Umwelt nur schwach abbildet, ist nicht verifiziert.
  • Es wurde keine Studie gefunden, die berechnete Wertepassung auf Teamebene mit Response-Surface-Analyse geprüft hat.

B4. Attraction-Selection-Attrition, Homogenitätsrisiken und "cultural fit" als Quelle von Verzerrung

Takeaway

Das ASA-Modell sagt voraus, dass Organisationen durch Anziehung, Auswahl und Abwanderung homogener werden. Qualitative Forschung zeigt, dass "kulturelle Passung" in der Auswahl als Ähnlichkeit zu den Auswählenden wirkt und soziale Ungleichheit reproduzieren kann. Ob Passung für Organisationen insgesamt nützt, gilt 2023 als offen, besonders mit Blick auf Diversität.

Cited Findings

  • ASA-Modell: Schneider (1987) vertritt, dass die gemeinsamen Merkmale der Menschen eine Organisation definieren. Das Update von 1995 fasst die Vorhersage zunehmender Homogenität innerhalb von Organisationen als Folge des ASA-Zyklus zusammen, angestoßen durch Gründer und oberes Management. [wissenschaftlich belegt | Suchauszug] Quelle: Scilit, Schneider et al. 1995, DOI 10.1111/j.1744-6570.1995.tb01780.x
  • Rivera (2012), 120 Interviews mit an der Auswahl Beteiligten in US-Investmentbanken, Kanzleien und Beratungen sowie teilnehmende Beobachtung: Einstellung ist "more than just a process of skills sorting; it is also a process of cultural matching between candidates, evaluators, and firms" (Wortlaut laut Suchauszug). Die geschätzten kulturellen Ähnlichkeiten können Ungleichheit beim Zugang nach sozialer Herkunft erzeugen. [wissenschaftlich belegt | Suchauszug] Quelle: Rivera 2012, SAGE
  • Metaanalyse zur Kriteriumsvalidität von Person-Organization-Fit in Auswahlentscheidungen: Maße der Passung unterliegen bei Personalentscheidungen denselben psychometrischen und rechtlichen Standards wie andere Auswahlverfahren. Für Arbeitsleistung und Fluktuation schloss die untere 95-Prozent-Glaubwürdigkeitsgrenze null ein, die Zusammenhänge waren teilweise über Arbeitseinstellungen vermittelt. Die Autoren diskutieren Bedenken gegen den Einsatz in Auswahlentscheidungen. [wissenschaftlich belegt | Suchauszug, Koeffizienten im Auszug unklar zugeordnet] Quelle: Arthur et al. 2006, Abstract-Nachweis
  • Übersicht 2023: Ob Passung für Organisationen wünschenswert ist, ist "still unknown, particularly regarding diversity" (Wortlaut laut Suchauszug). [wissenschaftlich belegt | Suchauszug] Quelle: DOI 10.1111/peps.12581
  • Wertediversität senkt Zufriedenheit und Bindung, Informationsdiversität steigert Leistung (siehe A5). Ähnlichkeit ist also nicht in jeder Hinsicht vorteilhaft. [wissenschaftlich belegt | Suchauszug] Quelle: Jehn et al. 1999, SAGE

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Schneider, B., Goldstein, H. W., & Smith, D. B. (1995). The ASA framework: An update. Personnel Psychology, 48(4), 747-773. https://doi.org/10.1111/j.1744-6570.1995.tb01780.x (Suchauszug)
  • Rivera, L. A. (2012). Hiring as cultural matching: The case of elite professional service firms. American Sociological Review, 77(6), 999-1022. https://doi.org/10.1177/0003122412463213 (Suchauszug)
  • Arthur, W., Jr., Bell, S. T., Villado, A. J., & Doverspike, D. (2006). The use of person-organization fit in employment decision making: An assessment of its criterion-related validity. Journal of Applied Psychology, 91(4), 786-801. https://academicnewsletter.sufe.edu.cn/info/372323 (Suchauszug: Titel, Zeitschrift, Band, Seiten; DOI nicht bestätigt)

Inferences

  • Eine Plattform, die Ähnlichkeit zum bestehenden Team sichtbar macht, kann den ASA-Mechanismus verstärken, wenn "Compatibility" als Empfehlung gelesen wird. Schutzmaßnahmen: keine Rangliste nach Ähnlichkeit, Ähnlichkeit nie isoliert zeigen, Streuung des Teams als eigene Information, Hinweis auf Homogenitätsrisiko. [plausibel, aber nicht validiert]
  • Die getrennte Perspektive "Contribution" kann dem Homogenitätsdruck entgegenwirken, sofern das Zielprofil begründet und nicht einfach das Ist-Profil ist. Ob das in der Praxis gelingt, ist ungeprüft. [offene Hypothese]
  • Werteprofile hängen mit Alter, Geschlecht, Bildung, Kultur und Religion zusammen. Ein Abgleich mit einem Team- oder Zielprofil kann deshalb mittelbar nach geschützten Merkmalen sortieren. Das ist vor jedem Einsatz in Entscheidungen empirisch zu prüfen (siehe C5). [plausibel, aber nicht validiert]

Gaps

  • Schneider (1987), "The people make the place", Personnel Psychology, 40(3), 437-453, wurde nicht direkt geprüft [nicht verifiziert]. Empirische Tests der Homogenitätshypothese (aus Fachwissen: Schneider, Smith, Taylor & Fleenor 1998) wurden nicht gesucht [nicht verifiziert].
  • Die Koeffizienten von Arthur et al. (2006) konnten nicht verifiziert werden, die dafür geplante Suche fiel dem erschöpften Suchbudget zum Opfer. Aus Fachwissen [nicht verifiziert]: geschätzte wahre Validität etwa .15 für Arbeitsleistung, etwa .24 für Fluktuation und etwa .31 für Arbeitseinstellungen.
  • Quantitative Belege für Benachteiligung durch wertebasierte Passungsverfahren (Adverse Impact) wurden nicht gefunden.

C1. Anzahl der Skalenpunkte, Beschriftung, Mittelpunkt

Takeaway

Die Evidenz spricht für etwa vier bis sieben Antwortstufen. Unter sechs Stufen sinkt die psychometrische Präzision, über sechs bis sieben hinaus gibt es keinen belegten Gewinn. Vollständige verbale Beschriftung aller Stufen verbessert die Datenqualität. Die 6-stufige, vollständig beschriftete Skala ohne Mittelpunkt der PVQ-Instrumente liegt im gestützten Bereich.

Cited Findings

  • Simms et al. (2019): 1.358 Studierende bearbeiteten zufällig zugeteilt ein Persönlichkeitsinventar mit 2 bis 11 Antwortoptionen oder visueller Analogskala. Skalen mit 2 bis 5 Optionen zeigten geringere psychometrische Präzision. Jenseits von 6 Optionen zeigten sich keine psychometrischen Vorteile ("no psychometric advantages were revealed for any response scales beyond 6 options, including visual analogs", Wortlaut laut Suchauszug). Die Kriteriumsvalidität folgte diesem Muster nicht. [wissenschaftlich belegt | Suchauszug] Quelle: University at Buffalo, DOI 10.1037/pas0000648
  • Lozano et al. (2008), Simulationsstudie: Mit mehr Antwortalternativen steigen Reliabilität und Validität, "the optimum number of alternatives is between four and seven" (Wortlaut laut Suchauszug). [wissenschaftlich belegt | Suchauszug] Quelle: DOI 10.1027/1614-2241.4.2.73
  • Preston und Colman (2000) verglichen Reliabilität, Validität, Trennschärfe und Präferenzen der Befragten über Skalen mit unterschiedlich vielen Kategorien. [wissenschaftlich belegt | Suchauszug, nur Zielsetzung] Quelle: PDF-Kopie des Artikels
  • Krosnick und Presser (2010) fassen die Literatur zur optimalen Zahl von Skalenpunkten und zur Beschriftung zusammen. Nach Sekundärdarstellungen ist die Datenqualität besser, wenn alle Skalenpunkte verbal beschriftet sind. [wissenschaftlich belegt | Suchauszug, Sekundärdarstellung] Quelle: Krosnick & Presser 2010, Stanford
  • PVQ-40, PVQ-21, TwIVI und TIVI nutzen 6 Stufen, die SVS 9 Stufen von -1 bis 7. Beim TwIVI reichen die Stufen von 1 "not at all like me" bis 6 "very much like me". [wissenschaftlich belegt | abgerufen und Suchauszug] Quelle: persval Referenzhandbuch, Gosling Lab

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Simms, L. J., Zelazny, K., Williams, T. F., & Bernstein, L. (2019). Does the number of response options matter? Psychometric perspectives using personality questionnaire data. Psychological Assessment, 31(4), 557-566. https://doi.org/10.1037/pas0000648 (Suchauszug; Endseite aus Fachwissen)
  • Lozano, L. M., García-Cueto, E., & Muñiz, J. (2008). Effect of the number of response categories on the reliability and validity of rating scales. Methodology, 4(2), 73-79. https://doi.org/10.1027/1614-2241.4.2.73 (Suchauszug)
  • Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales: Reliability, validity, discriminating power, and respondent preferences. Acta Psychologica, 104, 1-15. https://www.rangevoting.org/optinumb.pdf (Suchauszug: Autoren, Zeitschrift, Band, Seiten; DOI nicht bestätigt)
  • Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. In P. V. Marsden & J. D. Wright (Eds.), Handbook of survey research (2nd ed.). Emerald. https://web.stanford.edu/dept/communication/faculty/krosnick/docs/2010/2010%20Handbook%20of%20Survey%20Research.pdf (Suchauszug: Existenz und Themen; Herausgeber und Verlag aus Fachwissen)

Inferences

  • Für eigene Items ist eine 6- oder 7-stufige, vollständig beschriftete Skala die am besten gestützte Wahl. Wer PVQ-Items lizenziert, sollte das Originalformat (6 Stufen, Ähnlichkeit zur beschriebenen Person) nicht verändern, schon wegen der Vergleichbarkeit mit vorhandener Evidenz. [plausibel, aber nicht validiert]
  • Eine gerade Stufenzahl erzwingt eine Tendenz und vermeidet eine als "neutral" missdeutbare Mitte. Ob das für Wertefragen besser ist, ist empirisch nicht geklärt. [offene Hypothese]

Gaps

  • Die konkreten Ergebnisse von Preston und Colman (2000) wurden nicht verifiziert. Aus Fachwissen [nicht verifiziert]: geringste Reliabilität bei 2 bis 4 Stufen, höchste bei etwa 7 bis 10, Befragte bevorzugten Skalen mit 10, 7 und 9 Stufen. Der Suchauszug nannte ohne klare Quelle, dass die Reliabilität über 10 Kategorien eher sinkt.
  • Die Empfehlungen von Krosnick und Presser im Einzelnen (aus Fachwissen: 7 Stufen für bipolare, 5 für unipolare Skalen) und die Evidenz zum Mittelpunkt wurden nicht verifiziert. Der Volltext liegt unter der genannten Stanford-URL.
  • Ein Preprint von 2025 ("Don't Let Your Likert Scales Grow Up To Be Visual Analog Scales", arXiv 2502.02846) erschien im Suchmaterial, wurde aber nicht gelesen.
  • Evidenz speziell für deutschsprachige Antwortlabels wurde nicht gesucht.

C2. Verstehen Menschen Skalen gleich? Messinvarianz, DIF, Antwortstile, Anchoring Vignettes, Stichprobengrößen

Takeaway

Vergleiche zwischen Personen und Gruppen setzen Messinvarianz voraus, für Mittelwertvergleiche skalare Invarianz. Für den PVQ-RR ist über Kulturen metrische, laut Sekundärquelle aber keine skalare Invarianz belegt. Invarianzprüfungen brauchen Stichproben, die einzelne Kundenorganisationen kaum liefern, sodass die Prüfung plattformweit oder in eigenen Validierungsstudien erfolgen muss.

Cited Findings

  • Grundlagen: Vandenberg und Lance (2000) begründen, dass Messinvarianz Voraussetzung für inhaltliche Gruppenvergleiche ist, und schlagen eine Abfolge von Tests vor (nach Sekundärdarstellung acht Schritte, die ersten fünf sind die Kerntests). [wissenschaftlich belegt | Suchauszug] Quelle: CiteDrive-Nachweis, DOI 10.1177/109442810031002
  • Praxis der Invarianzprüfung (126 Artikel, 269 Tests): Die meisten Tests umfassen konfigurale, metrische und skalare Schritte. Partielle Invarianz wird in etwa einem Drittel der Tests berichtet. Alternative Fit-Indizes sind das übliche Kriterium. Stichprobengröße, Zahl der Gruppen und Modellgröße hingen in den untersuchten Studien nicht mit dem erreichten Invarianzniveau zusammen. [wissenschaftlich belegt | Suchauszug] Quelle: Putnick & Bornstein 2016, PMC
  • Feste Grenzwerte für Änderungen in Fit-Indizes stammen von Cheung und Rensvold (2002), Chen (2007) und Meade, Johnson und Braddy (2008). Permutationstests erzeugen stattdessen eine empirische Verteilung unter der Nullhypothese, sodass man nicht auf feste Grenzwerte angewiesen ist. Partielle Invarianz ist vertretbar, solange Gleichheitsrestriktionen für mindestens zwei Indikatoren je Faktor gelten. [wissenschaftlich belegt | abgerufen, Softwaredokumentation] Quelle: semTools Referenzhandbuch v0.5-10
  • Alternative Fit-Indizes sind weniger stichprobenabhängig und empfindlicher für fehlende Invarianz als Chi-Quadrat-Tests. [wissenschaftlich belegt | Suchauszug, Sekundärdarstellung] Quelle: Center for Creative Leadership, Meade et al. 2008
  • Alignment-Methode: Sie schätzt gruppenspezifische Faktormittelwerte und Varianzen ohne exakte Invarianz, ausgehend vom konfiguralen Modell. Mehrgruppen-CFA sei bei vielen Gruppen wegen schlechter Passung des skalaren Modells unpraktisch. Verzerrungen nehmen mit stärkerer Nichtinvarianz, kleineren Gruppenstichproben und mehr Gruppen zu. [wissenschaftlich belegt | Suchauszug, Referenz zusätzlich abgerufen] Quelle: Mplus Web Note 18, sirt Referenzhandbuch
  • Weiterführende Methodenquellen zu Alignment und Invarianz bei vielen Gruppen: Marsh et al. (2018), Muthén und Asparouhov (2018), Pokropek, Davidov und Schmidt (2019), Fischer und Karl (2019), DeMars (2020) zu Alignment als Alternative zur Ankerbereinigung bei DIF. [wissenschaftlich belegt | abgerufen, nur Referenzen] Quelle: sirt Referenzhandbuch
  • PVQ-RR: konfigurale und metrische Invarianz für fast alle Werte in 49 Kulturgruppen, skalare Invarianz laut Sekundärquelle nicht gefunden (siehe A2). [wissenschaftlich belegt | Suchauszug] Quelle: Schwartz & Cieciuch 2022, Studie aus der Türkei
  • Stichprobengröße für Strukturgleichungsmodelle: Simulationen ergaben je nach Modell Anforderungen "from 30 to 460 cases". Gängige Faustregeln sind begrenzt brauchbar, mehr Indikatoren je Faktor senken den Bedarf. [wissenschaftlich belegt | Suchauszug] Quelle: Wolf et al. 2013, PMC
  • Anchoring Vignettes: Befragte bewerten kurze Beschreibungen hypothetischer Personen auf derselben Skala wie sich selbst. Da das tatsächliche Niveau der Vignetten für alle gleich ist, zeigt die Variation der Vignettenurteile fehlende Vergleichbarkeit an und erlaubt eine Korrektur. [wissenschaftlich belegt | Suchauszug] Quelle: King et al. 2004, Harvard DASH, DOI 10.1017/S000305540400108X
  • Antwortstile: Die MRAT-Zentrierung soll individuelle Unterschiede im Antwortstil korrigieren. Als Hintergrund nennt die Dokumentation Smith (2004) zu Zustimmungstendenz als Aspekt kultureller Kommunikationsstile und Van Rosmalen et al. (2010) zur Identifikation von Antwortstilen. [wissenschaftlich belegt | abgerufen, Softwaredokumentation und Referenzen] Quelle: persval Referenzhandbuch

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Vandenberg, R. J., & Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: Suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3(1), 4-70. https://doi.org/10.1177/109442810031002 (Suchauszug)
  • Putnick, D. L., & Bornstein, M. H. (2016). Measurement invariance conventions and reporting: The state of the art and future directions for psychological research. Developmental Review, 41, 71-90. https://doi.org/10.1016/j.dr.2016.06.004 (Suchauszug)
  • Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural Equation Modeling, 14(3), 464-504. https://doi.org/10.1080/10705510701301834 (abgerufen als Referenz im semTools-Handbuch)
  • Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233-255. https://doi.org/10.1207/S15328007SEM0902_5 (abgerufen als Referenz)
  • Meade, A. W., Johnson, E. C., & Braddy, P. W. (2008). Power and sensitivity of alternative fit indices in tests of measurement invariance. Journal of Applied Psychology, 93(3), 568-592. (abgerufen als Referenz; DOI nicht bestätigt)
  • Jorgensen, T. D., Kite, B. A., Chen, P.-Y., & Short, S. D. (2018). Permutation randomization methods for testing measurement equivalence and detecting differential item functioning in multiple-group confirmatory factor analysis. Psychological Methods, 23(4), 708-728. https://doi.org/10.1037/met0000152 (abgerufen als Referenz)
  • Asparouhov, T., & Muthén, B. (2014). Multiple-group factor analysis alignment. Structural Equation Modeling, 21(4). https://doi.org/10.1080/10705511.2014.919210 (abgerufen als Referenz im sirt-Handbuch; Seitenangabe dort 1-14, nach Fachwissen 495-508)
  • Marsh, H. W., Guo, J., Parker, P. D., Nagengast, B., Asparouhov, T., Muthén, B., & Dicke, T. (2018). What to do when scalar invariance fails: The extended alignment method for multi-group factor analysis comparison of latent means across many groups. Psychological Methods, 23(3), 524-545. https://doi.org/10.1037/met0000113 (abgerufen als Referenz)
  • Muthén, B., & Asparouhov, T. (2018). Recent methods for the study of measurement invariance with many groups: Alignment and random effects. Sociological Methods & Research, 47(4), 637-664. https://doi.org/10.1177/0049124117701488 (abgerufen als Referenz)
  • Pokropek, A., Davidov, E., & Schmidt, P. (2019). A Monte Carlo simulation study to assess the appropriateness of traditional and newer approaches to test for measurement invariance. Structural Equation Modeling, 26(5), 724-744. https://doi.org/10.1080/10705511.2018.1561293 (abgerufen als Referenz)
  • Fischer, R., & Karl, J. A. (2019). A primer to (cross-cultural) multi-group invariance testing possibilities in R. Frontiers in Psychology, 10, 1507. https://doi.org/10.3389/fpsyg.2019.01507 (abgerufen als Referenz)
  • DeMars, C. E. (2020). Alignment as an alternative to anchor purification in DIF analyses. Structural Equation Modeling, 27(1), 56-72. https://doi.org/10.1080/10705511.2019.1617151 (abgerufen als Referenz)
  • Wolf, E. J., Harrington, K. M., Clark, S. L., & Miller, M. W. (2013). Sample size requirements for structural equation models: An evaluation of power, bias, and solution propriety. Educational and Psychological Measurement. https://pmc.ncbi.nlm.nih.gov/articles/PMC4334479 (Suchauszug: Titel, Autoren, Kernbefund; Band, Seiten und DOI nicht bestätigt)
  • King, G., Murray, C. J. L., Salomon, J. A., & Tandon, A. (2004). Enhancing the validity and cross-cultural comparability of measurement in survey research. American Political Science Review, 98(1), 191-207. https://doi.org/10.1017/S000305540400108X (Suchauszug)
  • Smith, P. B. (2004). Acquiescent response bias as an aspect of cultural communication style. Journal of Cross-Cultural Psychology, 35(1), 50-61. https://doi.org/10.1177/0022022103260380 (abgerufen als Referenz im persval-Handbuch)
  • Van Rosmalen, J., Van Herk, H., & Groenen, P. J. F. (2010). Identifying response styles: A latent-class bilinear multinomial logit model. Journal of Marketing Research, 47(1), 157-172. https://doi.org/10.1509/jmkr.47.1.157 (abgerufen als Referenz)

Inferences

  • Vergleiche zwischen Personen innerhalb eines Teams setzen stillschweigend voraus, dass alle die Items und Antwortstufen gleich verstehen. Belegt ist das für die geplante Zielgruppe (deutschsprachige Beschäftigte, teils mit anderer Erstsprache) nicht. [offene Hypothese]
  • Teams mit 4 bis 12 Personen und Organisationen mit einigen Dutzend bis einigen Hundert Befragten reichen für Mehrgruppen-CFA je Kunde nicht aus. Invarianz über Geschlecht, Alter, Sprache und Hierarchie sollte plattformweit oder in einer eigenen Validierungsstichprobe geprüft werden, bei kleinen Gruppen mit Permutationsverfahren oder Alignment. [plausibel, aber nicht validiert]
  • Zentrierung korrigiert nur einen gleichmäßigen Verschiebungsstil (zum Beispiel Zustimmungstendenz), nicht Extremantwortstil und nicht itemspezifische Verständnisunterschiede (DIF). [plausibel, aber nicht validiert]
  • Anchoring Vignettes sind für Werte aufwendig, weil sie je Dimension mehrere Vignetten brauchen. Ihr Nutzen für Werteprofile in Organisationen ist nicht belegt. [offene Hypothese]

Gaps

  • Die Zahlenwerte der festen Grenzwerte wurden nur über eine Sekundärzusammenfassung im Suchmaterial gesehen (Änderung im CFI höchstens .010, im RMSEA höchstens .015, im SRMR höchstens .030 für metrische Invarianz). Für skalare Invarianz nennen Darstellungen unterschiedliche SRMR-Werte, das Original von Chen (2007) ist zu prüfen. Der oft genannte strengere CFI-Wert von .002 wurde nicht bestätigt.
  • Eine Faustregel von mindestens 200 Personen je Gruppe wurde nur als Praxisangabe ohne eindeutig zuordenbare Quelle gesehen. Ein weiterer Suchauszug nannte erhöhte Fehlerraten fester Grenzwerte bei kleinen Stichproben, ebenfalls ohne eindeutige Quelle.
  • Zu Antwortstilen (Extremantwortstil, Mittelkategorie) wurde keine Übersichtsarbeit verifiziert. Aus Fachwissen [nicht verifiziert]: Van Vaerenbergh und Thomas (2013), International Journal of Public Opinion Research.
  • DIF-Analysen für deutsche PVQ-Items nach Geschlecht, Alter oder Bildung wurden nicht gefunden.

C3. Reliabilität und Stabilität individueller Profile: Alpha und Omega, Standardmessfehler, Retest, Differenzwerte, Schwellen für Individual- und Gruppenebene

Takeaway

Alpha allein gilt als unzureichend, empfohlen werden modellbasierte Koeffizienten wie Omega und mindestens zwei Kennwerte. Für Entscheidungen über Einzelpersonen werden in der Literatur deutlich höhere Reliabilitäten verlangt als für Forschung oder Gruppenbeschreibung. Kurze Werteskalen mit Retestwerten um .65 bis .77 erreichen das Niveau für folgenreiche Einzelentscheidungen nach diesen Maßstäben nicht.

Cited Findings

  • Alpha gegenüber Omega: "Cronbach's α (1951) underestimates the reliability of a test and over estimates the first factor saturation." Revelle und Condon (2019) empfehlen: "Researchers are encouraged to report at least two coefficients (e.g., omega_h and omega_t) [...] They are discouraged from reporting just alpha unless they can justify the assumptions implicit in using it (i.e., tau equivalence and unidimensionality)." [wissenschaftlich belegt | abgerufen, Zitat in Softwaredokumentation] Quelle: psych Referenzhandbuch v2.6.9
  • McNeish (2018) fasst die Schwächen von Alpha zusammen und stellt Alternativen vor: Omega total, Revelles Omega total, greatest lower bound und Koeffizient H. Eine Erwiderung hält seine Darstellung für zu vereinfacht. [wissenschaftlich belegt | Suchauszug] Quelle: QxMD-Nachweis, DOI 10.1037/met0000144
  • Schwellen nach Nunnally (Sekundärdarstellung, bezogen auf die 2. Auflage 1978): .70 für frühe Entwicklungsstadien, .80 für Grundlagenforschung, .90 als Minimum und .95 als wünschenswert für wichtige Entscheidungen über einzelne Personen. [wissenschaftlich belegt | Suchauszug, schwache Sekundärquelle] Quelle: Übersichtstabelle koji.so
  • EFPA-Testbeurteilungsmodell: Version 4.2.6 vom 13.07.2013, von der EFPA-Generalversammlung im Juli 2013 verabschiedet, mit eigenem Abschnitt zur Reliabilität (interne Konsistenz, Retest). Version 5.0 wurde im August 2025 als größere Überarbeitung veröffentlicht und spricht von "reliability/precision". Für interne Konsistenz sind Belege aus lokalen Gruppen vorzuziehen. [dokumentiert | Suchauszug] Quelle: EFPA Review Model 4.2.6, EFPA Test Review Model 2025, Evers et al. 2013, Psicothema
  • DIN 33430: Kennwerte wie die Reliabilität sind nötig, um das Vertrauensintervall zu berechnen, das bei der Interpretation von Verfahrensergebnissen zu beachten ist. Die Qualität eines Verfahrens lässt sich nur anhand empirisch gewonnener Kennwerte beurteilen. [dokumentiert | Suchauszug] Quelle: DTK DIN SCREEN Checkliste
  • Empirische Stabilität von Werten: Ein-Jahres-Retest .65 bis .69 für vier Werte höherer Ordnung (GESIS Panel), Vier-Jahres-Rangstabilität etwa .69 und .77 für zehn Werte. [wissenschaftlich belegt | Suchauszug] Quelle: Lechner et al. 2024, Vecchione et al. 2016
  • PVQ-RR: 15 von 19 Werten in der großen Mehrheit der Gruppen reliabel gemessen, Humility deutlich schwächer (siehe A2). [wissenschaftlich belegt | Suchauszug] Quelle: Schwartz & Cieciuch 2022
  • Reliabilität von Gruppenmittelwerten: ICC(2) ergibt sich aus ICC(1) und der mittleren Gruppengröße. [wissenschaftlich belegt | abgerufen, Softwaredokumentation] Quelle: multilevel Referenzhandbuch
  • Profilreliabilität ist ein eigenes Thema: Die Literatur unterscheidet Reliabilität zwischen Personen von Reliabilität innerhalb von Personen (Subscore-Profile), und es gibt Reliabilitätsmaße für Profile auf Basis von Cronbach und Glesers D-Quadrat. [wissenschaftlich belegt | abgerufen als Referenz, sowie Suchauszug] Quelle: profileR Referenzhandbuch, Psychometrika, Measures of reliability for profiles and test batteries

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Revelle, W., & Condon, D. M. (2019). Reliability from alpha to omega: A tutorial. Psychological Assessment, 31(12), 1395-1411. https://doi.org/10.1037/pas0000754 (abgerufen als Referenz und Zitat im psych-Handbuch)
  • Revelle, W. (2026). psych: Procedures for psychological, psychometric, and personality research (R-Paket, Version 2.6.9). https://cran.r-project.org/web/packages/psych/psych.pdf (abgerufen)
  • McNeish, D. (2018). Thanks coefficient alpha, we'll take it from here. Psychological Methods, 23(3), 412-433. https://doi.org/10.1037/met0000144 (Suchauszug)
  • Revelle, W., & Zinbarg, R. E. (2009). Coefficients alpha, beta, omega and the glb: Comments on Sijtsma. Psychometrika, 74(1), 145-154. (abgerufen als Referenz im psych-Handbuch)
  • EFPA Board of Assessment (2013). EFPA review model for the description and evaluation of psychological and educational tests: Test review form and notes for reviewers, Version 4.2.6. https://www.efpa.eu/sites/default/files/2023-06/110c_EFPA_BOA_TEST_REVIEW_MODEL_version426.pdf (Suchauszug: Existenz, Datum, Aufbau; genauer Dokumenttitel nicht bestätigt)
  • EFPA (2025). Model for the review, description and evaluation of psychological and educational tests, Version 5.0. https://www.efpa.eu/wp-content/uploads/2025/08/efpa_test_review_model_v2025_5-1.pdf (Suchauszug: Existenz, Datum)
  • Evers, A., Muñiz, J., Hagemeister, C., Høstmælingen, A., Lindley, P., Sjöberg, A., & Bartram, D. (2013). Assessing the quality of tests: Revision of the EFPA review model. Psicothema, 25(3), 283-291. https://www.psicothema.com/pdf/4112.pdf (Suchauszug: Titel, Zeitschrift, Jahr, Erstautor; Koautoren, Band und Seiten aus Fachwissen)
  • Barrett, P. (2018). The EFPA test-review model: When good intentions meet a methodological thought disorder. Behavioral Sciences, 8(1), 5. https://doi.org/10.3390/bs8010005 (Suchauszug: Titel, Zeitschrift, DOI)
  • Bulut, O. (2013). Between-person and within-person subscore reliability: Comparison of unidimensional and multidimensional IRT models (Dissertation). University of Minnesota. (abgerufen als Referenz im profileR-Handbuch)

Inferences

  • Rechenbeispiel mit den Standardformeln der klassischen Testtheorie (eigene Berechnung, Formeln nicht in dieser Sitzung an einer Quelle geprüft): Bei Reliabilität .70 und Standardabweichung 1 beträgt der Standardmessfehler etwa 0,55 und das 95-Prozent-Intervall etwa plus minus 1,07. Bei .80 sind es 0,45 und plus minus 0,88, bei .90 sind es 0,32 und plus minus 0,62. [plausibel, aber nicht validiert]
  • Zwei Personen müssen sich bei Reliabilität .70 um mehr als etwa 1,5 Standardabweichungen unterscheiden, damit der Unterschied auf dem 95-Prozent-Niveau über dem Messfehler liegt (Standardfehler der Differenz gleich Wurzel aus 2 minus beiden Reliabilitäten, eigene Berechnung). Kleine Unterschiede zwischen Person und Team sind daher nicht interpretierbar. [plausibel, aber nicht validiert]
  • Differenzwerte sind unzuverlässiger als ihre Bestandteile. Mit der Standardformel ergibt sich bei zwei Werten mit Reliabilität .70 und Korrelation .40 eine Reliabilität der Differenz von .50 (eigene Berechnung). Das betrifft "Contribution" und "Evolution", die auf Differenzen zu einem Zielprofil beruhen. [plausibel, aber nicht validiert]
  • Teammittelwerte sind messfehlerärmer als Einzelwerte, weil sich Messfehler über Personen ausmitteln. Die Unsicherheit eines Teamprofils kommt bei kleinen Teams vor allem aus der Zusammensetzung selbst: Eine Person mehr oder weniger verschiebt das Profil spürbar. Gruppenbeschreibungen sind deshalb vertretbarer als Individualdiagnosen, sollten aber Teamgröße und Streuung ausweisen. [plausibel, aber nicht validiert]
  • Zentrierte Werte sind ipsativ. Interne Konsistenz ist dafür laut EFPA verzerrt, Reliabilitätsangaben sollten auf Rohwerten und auf Retestdaten beruhen. [plausibel, aber nicht validiert]
  • Gemessen an den referierten Schwellen für Entscheidungen über Einzelpersonen (.90 und höher) sind kurze Werteskalen für folgenreiche Einzelentscheidungen ungeeignet. Für Reflexion, Dialog und Gruppenbeschreibung ist die Messqualität vertretbar, wenn Unsicherheit sichtbar gemacht wird. [plausibel, aber nicht validiert]

Gaps

  • Die Bewertungsstufen des EFPA-Modells wurden nicht am Original geprüft. Eine Sekundärquelle im Suchmaterial schreibt Evers et al. (2013) für Alpha zu: über .90 exzellent, .80 bis .90 gut, .70 bis .79 akzeptabel, unter .70 schwach. Aus Fachwissen [nicht verifiziert] für Retest: unter .60 unzureichend, .60 bis .69 ausreichend, .70 bis .79 gut, ab .80 exzellent. Ob Version 5.0 von 2025 diese Stufen geändert hat, ist offen.
  • Die Schwellen von Nunnally und Bernstein (1994, 3. Auflage) wurden nicht im Wortlaut geprüft.
  • Konkrete Anforderungen der DIN 33430 an Reliabilitätshöhe und an die Aktualität von Normen (aus Fachwissen: Überprüfung der Normwerte spätestens alle acht Jahre) wurden nicht bestätigt [nicht verifiziert].
  • Eine Quelle zur Reliabilität von Differenzwerten wurde nicht verifiziert. Aus Fachwissen [nicht verifiziert]: Edwards (2001), "Ten difference score myths", Organizational Research Methods.
  • Reliabilitätskennwerte für deutsche PVQ-RR-Daten und für individuelle Werteprofile (Profilreliabilität) wurden nicht gefunden.

C4. Fehlende Antworten, neutrale Positionen und inkonsistentes Antworten

Takeaway

Für unachtsames Antworten gibt es etablierte Indizes (Longstring, Even-Odd-Konsistenz, psychometrische Synonyme und Antonyme, Mahalanobis-Distanz, intraindividuelle Antwortvariabilität, Antwortzeit) und eine aktuelle Übersicht mit gestuften Empfehlungen (Ward & Meade 2023). Der Ersatz fehlender Items durch den Personenmittelwert kann Skalenwerte verzerren. Bei wenigen Items je Wertdimension wiegen beide Probleme schwer.

Cited Findings

  • Unachtsames Antworten ("careless or insufficient effort responding") verzerrt Analysen und kann Scheinkorrelationen erzeugen. Verfügbare Indizes: Longstring (längste Folge identischer Antworten), Even-Odd-Konsistenz, psychometrische Synonyme und Antonyme, Mahalanobis-Distanz, intraindividuelle Antwortvariabilität (IRV). Übersicht bei Curran (2016). [wissenschaftlich belegt | abgerufen, Softwaredokumentation] Quelle: careless Referenzhandbuch v1.2.2
  • IRV ist die "standard deviation of responses across a set of consecutive item responses for an individual" (Dunn et al. 2018). Niedrige Werte deuten auf gleichförmiges, hohe Werte auf zufälliges Antworten. [wissenschaftlich belegt | abgerufen] Quelle: careless Referenzhandbuch
  • Meade und Craig (2012) verglichen spezielle Prüfitems, Konsistenzindizes, multivariate Ausreißeranalyse und Antwortzeit mit latenter Profilanalyse und Faktormischmodellen. Konsistenzindizes eignen sich nach Sekundärdarstellung eher für gleichförmige Muster, Ausreißerindizes eher für Zufallsmuster. Prüfitems sollten sparsam eingesetzt werden. [wissenschaftlich belegt | Suchauszug, teils Sekundärdarstellung] Quelle: DOI 10.1037/a0028085
  • Curran (2016) ordnet ungültige Daten nach Johnson (2005) in drei Klassen (sprachliche Überforderung oder Missverständnis, Falschdarstellung, unachtsames Antworten) und behandelt Antwortzeit über die Idee einer Mindestzeit für gültiges Bearbeiten. [wissenschaftlich belegt | Suchauszug] Quelle: DOI 10.1016/j.jesp.2015.07.006
  • Ward und Meade (2023) fassen zusammen, wie unachtsames Antworten verhindert, erkannt, berichtet und bereinigt wird, mit Empfehlungen für unterschiedliche Stufen der Prüfung. Eine spätere Studie zitiert die Übersicht dafür, dass Warnhinweise besser wirken als positive Anreize. [wissenschaftlich belegt | Suchauszug] Quelle: SSRN-Nachweis, DOI 10.1146/annurev-psych-040422-045007
  • Fehlende Items: Proration (Skalenmittel aus den beantworteten Items) entspricht dem Ersetzen fehlender Werte durch den Personenmittelwert der beantworteten Items und kann Skalenwerte verzerren, wenn sich die Itemmittelwerte unterscheiden. [wissenschaftlich belegt | Suchauszug] Quelle: Artikel bei PMC
  • Neutrale Position: Die PVQ-Instrumente haben 6 Stufen und damit keine neutrale Mitte. [wissenschaftlich belegt | abgerufen] Quelle: persval Referenzhandbuch

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

  • Yentes, R., & Wilhelm, F. (2023). careless: Procedures for computing indices of careless responding (R-Paket, Version 1.2.2). https://cran.r-project.org/web/packages/careless/careless.pdf (abgerufen)
  • Meade, A. W., & Craig, S. B. (2012). Identifying careless responses in survey data. Psychological Methods, 17(3), 437-455. https://doi.org/10.1037/a0028085 (abgerufen als Referenz, Inhalt per Suchauszug)
  • Curran, P. G. (2016). Methods for the detection of carelessly invalid responses in survey data. Journal of Experimental Social Psychology, 66, 4-19. https://doi.org/10.1016/j.jesp.2015.07.006 (abgerufen: DOI in der Paketbeschreibung; Titel per Suchauszug; Band und Seiten aus Fachwissen)
  • Ward, M. K., & Meade, A. W. (2023). Dealing with careless responding in survey data: Prevention, identification, and recommended best practices. Annual Review of Psychology, 74, 577-596. https://doi.org/10.1146/annurev-psych-040422-045007 (Suchauszug)
  • Johnson, J. A. (2005). Ascertaining the validity of individual protocols from web-based personality inventories. Journal of Research in Personality, 39, 103-129. https://doi.org/10.1016/j.jrp.2004.09.009 (abgerufen als Referenz)
  • Dunn, A. M., Heggestad, E. D., Shanock, L. R., & Theilgard, N. (2018). Intra-individual response variability as an indicator of insufficient effort responding. Journal of Business and Psychology. (abgerufen als Referenz, Titel im Handbuch abgeschnitten)
  • Artikel zu Proration und fehlenden Itemwerten. https://pmc.ncbi.nlm.nih.gov/articles/PMC4701045 (Suchauszug: Kernaussage; Autoren und Titel nicht bestätigt, nach Fachwissen vermutlich Mazza, Enders & Ruehlman 2015)

Inferences

  • Bei 17 bis 57 Items sind Longstring, IRV und Bearbeitungszeit je Item praktikabel. Even-Odd-Konsistenz und Synonympaare sind bei 2 bis 4 Items je Skala wenig aussagekräftig. [plausibel, aber nicht validiert]
  • Auffällige Protokolle sollten nicht stillschweigend gelöscht, sondern der Person zurückgemeldet und zur Wiederholung angeboten werden, weil im Teamprofil jede Person zählt. Ausschlussregeln müssen vorab festgelegt und dokumentiert sein. [plausibel, aber nicht validiert]
  • Fehlende Items sollten bei so kurzen Skalen eher durch Pflichtbeantwortung mit ausdrücklicher Option "möchte ich nicht beantworten" und durch eine Mindestzahl gültiger Items je Dimension geregelt werden als durch Mittelwertersatz. Ohne gültigen Wert sollte die Dimension für die Person als "nicht bestimmt" erscheinen. [plausibel, aber nicht validiert]
  • Eine erzwungene Tendenz ohne Mittelkategorie kann bei echter Indifferenz zufällige Antworten erzeugen. Ob das Werteprofile verzerrt, ist ungeprüft. [offene Hypothese]

Gaps

  • Die Prävalenz unachtsamen Antwortens wurde nicht mit eindeutiger Quelle verifiziert. Ein Suchauszug nannte Raten von niedrigen einstelligen Prozentwerten bis 30 oder 40 Prozent mit einem Median um 10 Prozent, ein anderer 2 bis 50 Prozent. Aus Fachwissen [nicht verifiziert]: Meade und Craig schätzen 10 bis 12 Prozent in einer studentischen Stichprobe.
  • Konkrete Grenzwerte (zum Beispiel Mindestzeit je Item) aus Curran (2016) und die gestuften Empfehlungen von Ward und Meade (2023) wurden nicht am Volltext geprüft.
  • Schwartz' eigene Ausschlussregeln für PVQ-Daten wurden nicht verifiziert (siehe A4).
  • Zu Missing-Data-Standards wurde keine Übersichtsarbeit verifiziert. Eine Regel "bei mehr als 10 Prozent fehlenden Items kein Skalenwert" fand sich nur als Konvention einer einzelnen Arbeitsgruppe (https://www.psyctc.org/psyctc/?p=5400).
  • Evidenz zur Wirkung eines Skalenmittelpunkts auf Wertemessungen wurde nicht gefunden.

C5. Standards für Verfahren in personalbezogenen Entscheidungen und Anforderungen an ein wertebasiertes Modell

Takeaway

DIN 33430:2016-07, ISO 10667:2020, die Standards von AERA, APA und NCME (2014), das EFPA-Modell (2013, neu 2025) und die SIOP Principles (2018) verlangen für Verfahren in Personalentscheidungen Anforderungsbezug, empirisch belegte Reliabilität und Validität sowie Fairness. Für Passungsmaße ist die Kriteriumsvalidität bezüglich Leistung schwach belegt. Ein wertebasiertes Passungsmodell erfüllt diese Anforderungen ohne eigene Validierungsstudien nicht.

Cited Findings

  • DIN 33430:2016-07, "Anforderungen an berufsbezogene Eignungsdiagnostik": regelt Planung von Eignungsbeurteilungen, Auswahl, Zusammenstellung, Durchführung und Auswertung von Verfahren, Interpretation der Ergebnisse und Urteilsbildung sowie die Qualifikation der Beteiligten. Die Norm ruht auf den Säulen Personen, Verfahren und Prozesse. Verfahren sollen wissenschaftlich fundiert und empirisch geprüft sein und genau die Merkmale erfassen, die für eine Position relevant sind. Erstfassung 2002 auf Initiative von BDP und DGPs, Revision 2016. Medizinische Diagnostik und Gefährdungsanalysen sind nicht Gegenstand. [dokumentiert | Suchauszug] Quelle: DIN Media Themenseite, Springer-Kapitel
  • DIN 33430: Die Norm enthält verfahrensunabhängige und verfahrensspezifische Anforderungen sowie Anhänge zu Handhabungshinweisen und zu Verfahrenshinweisen mit messtheoretischen Angaben. Ohne Informationen zu einem Verfahren können auch Fachleute es nicht regelgerecht anwenden oder bewerten. [dokumentiert | Suchauszug] Quelle: DTK DIN SCREEN Checkliste
  • ISO 10667-1:2020 (2. Ausgabe, November 2020), Anforderungen an den Auftraggeber, Teil 2 für Dienstleister: gilt für die Beurteilung von Einzelnen, Gruppen und Organisationen zu arbeitsbezogenen Zwecken. Ausdrücklich genannt sind Karriereentscheidungen (zum Beispiel Rekrutierung, Coaching), Gruppenentscheidungen ("training initiatives, team building") und organisationale Entscheidungen. Informative Anhänge behandeln Rechte der Teilnehmenden, technische Dokumentation, Validität, Reliabilität, Fairness und Berichte. Die ISO-Seite führt die Norm als zu überarbeiten. [dokumentiert | Suchauszug] Quelle: ISO 10667-1:2020
  • Standards for Educational and Psychological Testing (AERA, APA, NCME 2014): seit März 2021 frei zugänglich (PDF und E-Book, Englisch und Spanisch). Sie behandeln Testentwicklung und Testnutzung in Bildung, Psychologie und Beschäftigung, die Rolle von Tests am Arbeitsplatz wurde in der Revision ausführlicher dargestellt. [dokumentiert | Suchauszug] Quelle: testingstandards.net, AERA Mitteilung vom 01.03.2021
  • SIOP Principles for the Validation and Use of Personnel Selection Procedures, 5. Auflage (August 2018), erschienen als Supplement zu Industrial and Organizational Psychology, 11(S1), 1-97, im August 2018 als APA-Policy angenommen. Das Dokument versteht sich als "aspirational", nicht als verbindlich oder abschließend, ist auf die Standards von 2014 abgestimmt und behandelt unter anderem Planung und Machbarkeit kriteriumsbezogener und inhaltsbezogener Validierungsstudien. [dokumentiert | Suchauszug] Quelle: Cambridge Core, RePEc-Nachweis
  • EFPA-Modell: beschreibt Tests in drei Teilen und bewertet Testmaterial, Normen, Reliabilität und Validität quantitativ und narrativ. Es gibt eine methodische Kritik (Barrett 2018). [dokumentiert | Suchauszug] Quelle: Evers et al. 2013, PubMed, Barrett 2018
  • Passungsmaße in Auswahlentscheidungen unterliegen denselben psychometrischen und rechtlichen Standards wie andere Auswahlverfahren. Für die Vorhersage von Arbeitsleistung und Fluktuation schloss die untere Glaubwürdigkeitsgrenze null ein. [wissenschaftlich belegt | Suchauszug] Quelle: Arthur et al. 2006, Abstract-Nachweis

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

Inferences

Was vor einem Einsatz für folgenreiche Personalentscheidungen gezeigt sein müsste (Ableitung aus Geltungsbereich und Aufbau der genannten Standards, einzelne Klauseln nicht im Wortlaut geprüft, alle Punkte [plausibel, aber nicht validiert]):

  • Anforderungsbezug: eine dokumentierte Anforderungsanalyse, aus der hervorgeht, warum bestimmte Werte oder ein bestimmtes Zielprofil für die Tätigkeit oder das Team relevant sind. Ein frei gesetztes Zielprofil genügt dem nicht.
  • Reliabilität und Messgenauigkeit für die deutschsprachige Zielgruppe mit Vertrauensintervallen für jeden berichteten Einzelwert und für Differenzen.
  • Konstruktvalidität: Struktur der Dimensionen, Messinvarianz über relevante Gruppen (Geschlecht, Alter, Sprache), keine auffälligen DIF-Items.
  • Kriteriumsvalidität: nachgewiesener Zusammenhang der drei Perspektiven mit definierten Kriterien (zum Beispiel Zusammenhalt, Fluktuation, Teamleistung) in ausreichend großen Feldstichproben, als Kongruenzeffekt geprüft mit polynomialer Regression statt mit Ähnlichkeitsindizes.
  • Kreuzvalidierung jeder Gewichtung und jedes Zielprofils an unabhängigen Daten.
  • Fairness: Analyse von Subgruppenunterschieden und Benachteiligungsrisiken, differenzielle Vorhersage, Dokumentation der Folgen für Diversität.
  • Verfälschbarkeit: Selbstberichtete Werte sind in Bewerbungssituationen vermutlich steuerbar. Belege zur Stabilität unter Anreiz fehlen.
  • Prozessqualität: qualifizierte Anwender, Transparenz und Rückmeldung gegenüber den Betroffenen, Datenschutz, regelmäßige Überprüfung.

Folgerung: Solange diese Belege fehlen, ist nur ein Einsatz für Reflexion, Dialog und beschreibende Teamentwicklung vertretbar, mit ausdrücklichem Ausschluss der Nutzung als Entscheidungskriterium für Einstellung, Versetzung oder Beförderung. [plausibel, aber nicht validiert]

Gaps

  • Die einzelnen Anforderungen von DIN 33430, ISO 10667, den Standards und den SIOP Principles (zum Beispiel zu Kreuzvalidierung, Fairness und Bias, Kapitel zu Arbeitsplatztests) wurden nicht im Wortlaut geprüft. DIN und ISO sind kostenpflichtig.
  • Die Angabe, DIN 33430 verlange eine Überprüfung der Normwerte spätestens alle acht Jahre, ließ sich in zwei Suchen nicht bestätigen [nicht verifiziert].
  • Aktueller Revisionsstand von ISO 10667 und Änderungen des EFPA-Modells 2025 gegenüber 2013 wurden nicht geprüft.
  • Rechtliche Anforderungen (AGG, DSGVO, Mitbestimmung, EU-KI-Verordnung) lagen außerhalb dieses Auftrags und wurden nicht recherchiert.
  • Studien zur Verfälschbarkeit von Werteselbstberichten in Auswahlsituationen wurden nicht gesucht.

C6. Zuordnung individuell erhobener Konstrukte zu gemeinsamen Dimensionen: menschliche Kodierung und automatische Klassifikation mit Sprachmodellen

Takeaway

Die automatische Zuordnung von Texten zu Schwartz-Werten gelingt je nach Wert sehr unterschiedlich: In einem großen Vergleich lagen die besten Systeme bei einzelnen Kategorien bei F1 0,87, bei Stimulation, Hedonism, Face und Humility aber höchstens bei 0,39. Sprachmodelle erreichen bei Klassifikationsaufgaben oft brauchbare, aber aufgabenabhängige Übereinstimmung mit Menschen, und es gibt kein Standardverfahren, das ihren Einsatz ohne menschlich kodierte Stichprobe rechtfertigt. Für kurze, bipolare, deutschsprachige Repertory-Grid-Konstrukte wurde keine Evidenz gefunden.

Cited Findings

  • ValueEval (SemEval-2023 Task 4): 39 Teams, über 9.000 Argumente, 20 Wertekategorien. Die Systeme erreichten "F1-scores up to 0.87 (nature) and over 0.70 for three more of 20 universal value categories. However, many challenges remain, as evidenced by the low peak F1-score of 0.39 for stimulation, hedonism, face, and humility." [wissenschaftlich belegt | abgerufen, Abstract in den Metadaten der ACL Anthology] Quelle: Kiesel et al. 2023
  • Datensatz dazu: 9.324 Argumente aus sechs Quellen, je Argument von drei Crowdworkern für 54 Werte annotiert. Ein Ensemble aus Transformer-Modellen war am besten, ein feinabgestimmtes Sprachmodell (Llama-2-7B) erreichte vergleichbare Ergebnisse. [wissenschaftlich belegt | abgerufen] Quelle: Mirzakhmedova et al. 2024
  • Sprachmodelle ohne Training (zero-shot) auf 25 Benchmarks der Computational Social Science mit 13 Modellen: Bei Klassifikationsaufgaben "LLMs fail to outperform the best fine-tuned models but still achieve fair levels of agreement with humans". Empfohlen wird der Einsatz als zusätzliche Annotatoren in menschlichen Teams. [wissenschaftlich belegt | abgerufen] Quelle: Ziems et al. 2024
  • Es gibt "no standard or rigorous procedure to determine whether LLMs can replace human annotators". Ein vorgeschlagener statistischer Test (Alternative Annotator Test) zeigt über zehn Datensätze, sechs Modelle und vier Prompt-Techniken: Sprachmodelle können Menschen manchmal ersetzen, geschlossene Modelle schnitten besser ab als die geprüften offenen, und Prompt-Techniken liefern unterschiedlich gute Ergebnisse. [wissenschaftlich belegt | abgerufen] Quelle: Calderon et al. 2025
  • Ankereffekt durch Modellvorschläge: In einem präregistrierten Experiment (350 Annotierende, 7.000 Annotationen) machten Vorschläge eines Sprachmodells die Annotierenden nicht schneller, erhöhten aber ihre Zuversicht. Die Annotierenden übernahmen die Vorschläge stark, was die Labelverteilung signifikant veränderte und die gemessene Modellleistung künstlich erhöhte. [wissenschaftlich belegt | abgerufen] Quelle: Schroeder et al. 2025
  • Induktives Kodieren: Sechs offene Sprachmodelle im Vergleich mit Fachleuten. Menschen kodierten komplexe Sätze gut und taten sich mit einfachen schwer, die Modelle zeigten das umgekehrte Muster. [wissenschaftlich belegt | abgerufen] Quelle: Parfenova et al. 2025
  • Thematische Analyse mit Mensch und Sprachmodell: In zwei Fallstudien erreichte ein kollaboratives Vorgehen eine Kodierqualität ähnlich der menschlicher Kodierer bei geringerem Aufwand. [wissenschaftlich belegt | abgerufen] Quelle: Dai et al. 2023
  • Grenzen: GPT-3.5 lieferte bei einer sensiblen Annotationsaufgabe aus offenen Umfrageantworten schlechte Leistung und nicht akzeptable Qualitätsprobleme. Bei demografisch gefärbten Prompts zeigten sich deutliche Einflüsse von Geschlecht, Ethnie und Alter auf die Labels. Nur größere Modelle folgten Annotationsrichtlinien einigermaßen robust. [wissenschaftlich belegt | abgerufen] Quelle: Felkner et al. 2024, Schäfer et al. 2025, Fonseca & Cohen 2024
  • Statistisch abgesicherte Kombination: "Confidence-driven inference" verbindet Modell-Labels und Konfidenzangaben mit gezielt ausgewählten menschlichen Annotationen, liefert gültige Konfidenzintervalle und senkte den Bedarf an menschlichen Annotationen in drei Anwendungen um jeweils über 25 Prozent. [wissenschaftlich belegt | abgerufen] Quelle: Gligorić et al. 2025
  • Uneinigkeit menschlicher Annotatoren ist bei moralischen Grundlagen und Werten ein konstitutives Merkmal der Aufgabe. Textkomplexität und Polarität hängen mit dieser Variation zusammen. [wissenschaftlich belegt | abgerufen] Quelle: Falk & Lapesa 2025
  • Standards der Übereinstimmung (Softwaredokumentation mit Literaturverweisen): Krippendorffs Alpha ab .800 gilt als zuverlässig, zwischen .667 und .800 nur für vorläufige Schlüsse, darunter unzureichend (Krippendorff 2018, Abschnitt 12.4). Kappa nach Landis und Koch (1977): unter 0 schlecht, 0 bis .20 gering, .21 bis .40 mäßig, .41 bis .60 moderat, .61 bis .80 substanziell, .81 bis 1 fast perfekt, wobei die Autoren diese Stufen selbst als willkürlich bezeichnen (S. 165). Prozentuale Übereinstimmung: ab .90 hoch, .80 bis .90 meist akzeptabel, .70 bis .80 nur explorativ. Empfohlene Reliabilitätsstichprobe 10 bis 20 Prozent des Korpus, selten unter 50 Einheiten (Neuendorf 2017). [wissenschaftlich belegt | abgerufen, Sekundärquelle Softwaredokumentation] Quelle: acR Referenzhandbuch v0.6.1
  • Dieselbe Dokumentation hält fest, dass keine aktuelle methodische Referenz automatische Kodierung ohne menschlich kodierte Teilstichprobe und dokumentierte Übereinstimmung akzeptiert, und nennt als Belege für die Leistungsfähigkeit von Sprachmodellen Gilardi, Alizadeh und Kubli (2023) sowie Törnberg (2023). [wissenschaftlich belegt | abgerufen, Sekundärquelle] Quelle: acR Referenzhandbuch
  • Werkzeuge für KI-gestütztes qualitatives Kodieren sehen Prüfschritte ausdrücklich vor: Interrater-Reliabilität, Validierung gegen Goldstandards, Replikation über Modelle und Einstellungen, Prüfpfad. Bei maschineller Übersetzung warnt die Dokumentation, dass ein Anbieter "can return a fluent but invented translation without reporting an error". [dokumentiert | abgerufen] Quelle: quallmer README
  • Menschliche Goldstandards sind selbst fehlerbehaftet: Song et al. (2020) untersuchen, wie unvollkommene menschliche Annotationen als Goldstandard die Qualität der Validierung automatischer Inhaltsanalyse beeinflussen. [wissenschaftlich belegt | abgerufen, nur Referenz und Titel] Quelle: oolong Referenzhandbuch
  • Repertory Grids: Für die qualitative Bündelung von Konstrukten gibt es das Verfahren "Interpretive Clustering" (Burr, King & Heckmann 2020), das Cliquen verwandter Konstrukte über übereinstimmende Bewertungen findet. Für Studien mit mehreren Grids und Inhaltsanalyse gibt es ein Simulationswerkzeug zur Stichprobengröße für Kategoriensättigung, mit Verweis auf Green (2004) und Jankowicz (2004). [wissenschaftlich belegt | abgerufen, Softwaredokumentation] Quelle: OpenRepGrid.ic Referenzhandbuch, gridsampler Referenzhandbuch
  • Für die Reliabilität je Kategorie eines Kodierschemas (auch bei KI-Kodierung) gibt es das Iota-Konzept (Berding et al. 2022). [wissenschaftlich belegt | abgerufen, Softwaredokumentation] Quelle: iotarelr Referenzhandbuch

Quellen (Vollzitat, DOI oder dauerhafte URL, Verifikation)

Alle Einträge der ACL Anthology wurden über die offiziellen Metadaten (Titel, Autoren, Seiten, DOI, Abstract) abgerufen.

  • Kiesel, J., Alshomary, M., Mirzakhmedova, N., Heinrich, M., Handke, N., Wachsmuth, H., & Stein, B. (2023). SemEval-2023 Task 4: ValueEval: Identification of human values behind arguments. Proceedings of SemEval-2023, 2287-2303. https://doi.org/10.18653/v1/2023.semeval-1.313
  • Mirzakhmedova, N., Kiesel, J., Alshomary, M., Heinrich, M., Handke, N., Cai, X., Barriere, V., Dastgheib, D., Ghahroodi, O., Sadraei Javaheri, M. A., Asgari, E., Kawaletz, L., Wachsmuth, H., & Stein, B. (2024). The Touché23-ValueEval dataset for identifying human values behind arguments. Proceedings of LREC-COLING 2024, 16121-16134. https://aclanthology.org/2024.lrec-main.1402/
  • Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can large language models transform computational social science? Computational Linguistics, 50(1), 237-291. https://doi.org/10.1162/coli_a_00502 (Band und Heft aus Fachwissen)
  • Calderon, N., Reichart, R., & Dror, R. (2025). The alternative annotator test for LLM-as-a-judge: How to statistically justify replacing human annotators with LLMs. Proceedings of ACL 2025, 16051-16081. https://doi.org/10.18653/v1/2025.acl-long.782
  • Schroeder, H., Roy, D., & Kabbara, J. (2025). Just put a human in the loop? Investigating LLM-assisted annotation for subjective tasks. Findings of ACL 2025, 25771-25795. https://doi.org/10.18653/v1/2025.findings-acl.1323
  • Parfenova, A., Marfurt, A., Pfeffer, J., & Denzler, A. (2025). Text annotation via inductive coding: Comparing human experts to LLMs in qualitative data analysis. Findings of NAACL 2025, 6471-6484. https://doi.org/10.18653/v1/2025.findings-naacl.361
  • Dai, S.-C., Xiong, A., & Ku, L.-W. (2023). LLM-in-the-loop: Leveraging large language model for thematic analysis. Findings of EMNLP 2023, 9993-10001. https://doi.org/10.18653/v1/2023.findings-emnlp.669
  • Felkner, V., Thompson, J., & May, J. (2024). GPT is not an annotator: The necessity of human annotation in fairness benchmark construction. Proceedings of ACL 2024, 14104-14115. https://doi.org/10.18653/v1/2024.acl-long.760
  • Schäfer, J., Combs, A., Bagdon, C., Li, J., Probol, N., Greschner, L., Papay, S., Menchaca Resendiz, Y., Velutharambath, A., Wuehrl, A., Weber, S., & Klinger, R. (2025). Which demographics do LLMs default to during annotation? Proceedings of ACL 2025, 17331-17348. https://doi.org/10.18653/v1/2025.acl-long.848
  • Fonseca, M., & Cohen, S. B. (2024). Can large language models follow concept annotation guidelines? A case study on scientific and financial domains. Findings of ACL 2024, 8027-8042. https://doi.org/10.18653/v1/2024.findings-acl.478
  • Gligorić, K., Zrnic, T., Lee, C., Candès, E., & Jurafsky, D. (2025). Can unconfident LLM annotations be used for confident conclusions? Proceedings of NAACL 2025, 3514-3533. https://doi.org/10.18653/v1/2025.naacl-long.179
  • Falk, N., & Lapesa, G. (2025). Mining the uncertainty patterns of humans and models in the annotation of moral foundations and human values. Proceedings of ACL 2025, 22898-22921. https://doi.org/10.18653/v1/2025.acl-long.1116
  • Borenstein, N., Arora, A., Kaffee, L.-A., & Augenstein, I. (2025). Investigating human values in online communities. Proceedings of NAACL 2025, 1607-1627. https://doi.org/10.18653/v1/2025.naacl-long.77 (Klassifikatoren für Relevanz und Polarität von Schwartz-Werten, mit menschlichen Annotationen evaluiert)
  • Tan, Z., Li, D., Wang, S., Beigi, A., Jiang, B., Bhattacharjee, A., Karami, M., Li, J., Cheng, L., & Liu, H. (2024). Large language models for data annotation and synthesis: A survey. Proceedings of EMNLP 2024, 930-957. https://doi.org/10.18653/v1/2024.emnlp-main.54
  • acR: Content analysis in R (R-Paket, Version 0.6.1, Handbuch auf Portugiesisch). https://cran.r-project.org/web/packages/acR/acR.pdf (abgerufen). Dort zitiert: Krippendorff, K. (2018). Content analysis: An introduction to its methodology (4th ed.). SAGE. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. Gilardi, F., Alizadeh, M., & Kubli, M. (2023). ChatGPT outperforms crowd workers for text-annotation tasks. PNAS, 120(30). Törnberg, P. (2023). ChatGPT-4 outperforms experts and crowd workers in annotating political Twitter messages with zero-shot learning (Publikationsort laut Handbuch PLOS ONE, nicht bestätigt). Alizadeh, M. et al. (2023). Open-source LLMs for text annotation: A practical guide for model setting and fine-tuning. arXiv 2307.02179.
  • Gwet, K. L. irrCAC (R-Paket, Version 1.4). https://cran.r-project.org/web/packages/irrCAC/irrCAC.pdf (abgerufen; enthält die Landis-Koch-Skala als Datensatz mit Quellenangabe Biometrics, 33, 159-174)
  • quallmer (R-Paket für KI-gestütztes qualitatives Kodieren). https://github.com/quallmer/quallmer (README abgerufen)
  • Song et al. (2020). In validations we trust? The impact of imperfect human annotations as a gold standard on the quality of validation of automated content analysis. Political Communication. https://doi.org/10.1080/10584609.2020.1723752 (abgerufen als Referenz im oolong-Handbuch)
  • Burr, V., King, N., & Heckmann, M. (2020). The qualitative analysis of repertory grid data: Interpretive clustering. Qualitative Research in Psychology. https://doi.org/10.1080/14780887.2020.1794088 (abgerufen als Referenz im OpenRepGrid.ic-Handbuch)
  • Green, B. (2004). Personal construct psychology and content analysis. Personal Construct Theory & Practice, 1(3), 82-91. (abgerufen als Referenz im gridsampler-Handbuch)
  • Jankowicz, D. (2004). The easy guide to repertory grids. Wiley. (abgerufen als Referenz im gridsampler-Handbuch)
  • Berding, F., et al. (2022). Frontiers in Education. https://doi.org/10.3389/feduc.2022.818365 (abgerufen als DOI in der Beschreibung des iotarelr-Pakets; Titel nicht bestätigt)

Inferences

  • Repertory-Grid-Konstrukte sind kürzer (wenige Wörter je Pol), bipolar, idiosynkratisch und nur mit ihren Elementen verständlich. Sie liefern weniger Kontext als die Argumenttexte in ValueEval. Eine automatische Zuordnung zu Wertdimensionen dürfte daher eher schlechter gelingen als dort, und gerade die dort schwachen Kategorien (Stimulation, Hedonism, Face, Humility) wären unzuverlässig. [offene Hypothese]
  • Viele persönliche Konstrukte bilden keine Werte ab, sondern Fähigkeiten, Arbeitsstile oder Beziehungen. Ein Zuordnungsschema braucht deshalb eine Kategorie "nicht zuordenbar" und darf keine Zuordnung erzwingen. [plausibel, aber nicht validiert]
  • Die Zuordnung sollte als Vorschlag mit Bestätigung durch die Person selbst gestaltet sein, weil sie die Bedeutung ihres Konstrukts am besten kennt. Wegen des belegten Ankereffekts (Schroeder et al. 2025) ist die Bestätigung eines Modellvorschlags aber keine unabhängige Validierung. Besser ist, die Person zuerst selbst zuordnen zu lassen und den Modellvorschlag erst danach zu zeigen. [plausibel, aber nicht validiert]
  • Vor einem produktiven Einsatz ist eine eigene Validierungsstudie nötig: ein Kodierleitfaden, mindestens zwei geschulte menschliche Kodierer, eine Zufallsstichprobe deutscher Konstrukte (nach der referierten Faustregel 10 bis 20 Prozent, mindestens 50 Einheiten, bei seltenen Kategorien mehr), Kennwerte je Kategorie (Krippendorffs Alpha, F1) mit Konfidenzintervallen, Vergleich des Modells mit dem menschlichen Konsens. [plausibel, aber nicht validiert]
  • Zu unzuverlässig für die Verwendung in personenbezogenen Kennzahlen ist die automatische Zuordnung überall dort, wo die Übereinstimmung unter Alpha .667 liegt, wo Kategorien selten oder implizit sind, bei maschinell übersetzten Konstrukten und bei jeder Nutzung, in der eine Fehlzuordnung das Profil einer einzelnen Person verändert. Zugeordnete Konstrukte sollten deshalb getrennt von den standardisierten Wertemessungen bleiben und nicht in diese eingerechnet werden. [plausibel, aber nicht validiert]
  • Modellversionen ändern sich. Zuordnungen sind nur reproduzierbar, wenn Modell, Version, Prompt und Datum gespeichert werden. [plausibel, aber nicht validiert]

Gaps

  • Die acht geplanten Suchen zu diesem Thema liefen wegen des erschöpften Suchbudgets nicht. Nicht verifiziert sind deshalb unter anderem die Kernzahlen von Gilardi et al. (2023), Arbeiten zur Validierungspflicht (aus Fachwissen: Pangakis, Wolken & Fasching 2023, "Automated annotation with generative AI requires validation"), zu Risiken für Schlussfolgerungen (aus Fachwissen: Baumann et al. 2025, "Large language model hacking") und zur Reproduzierbarkeit (aus Fachwissen: Reiss 2023; Ollion et al. 2024) [alle nicht verifiziert].
  • Die Schwellen für Krippendorffs Alpha und die Stufen von Landis und Koch sind nur über Softwaredokumentation bestätigt, nicht an den Originalen.
  • Zur Interrater-Reliabilität menschlicher Inhaltsanalyse von Repertory-Grid-Konstrukten wurde nichts verifiziert. Aus Fachwissen [nicht verifiziert]: Feixas, Geldschläger und Neimeyer (2002), "Content analysis of personal constructs", Journal of Constructivist Psychology, mit einem Kategoriensystem für persönliche Konstrukte, sowie die Reliabilitätsprüfung bei Jankowicz (2004).
  • Es wurde keine Studie gefunden, die persönliche Konstrukte auf Schwartz-Werte abbildet, weder mit menschlicher noch mit automatischer Kodierung, und keine Evidenz für deutschsprachige Kurztexte.
  • Die Ergebnisse der Folgeaufgabe zur Werteerkennung bei CLEF 2024 (Touché) wurden nicht verifiziert.