Feb 9, 2023
The Validity of Machine Learning Models for the Measurement of Personality Traits
- 15:00 bis 16:30
- Seminar
- Max Planck Research Group (Biomedical Sciences)
- Uljana Feest
In den letzten 15 Jahren hat die Nutzung von Big Data und maschinellem Lernen in einigen Bereichen der Persönlichkeitspsychologie an Bedeutung gewonnen (Rauthmann 2020): Während die traditionelle Persönlichkeitsforschung weitgehend auf Selbst- und Fremdeinschätzungen beruht, verspricht der neue Bereich des "Personality Computing" (Vinciarelli & Mohammadi 2014), unauffälliger zu sein und Daten aus dem Alltagsverhalten der Probanden zu liefern, wie z. B. die Nutzung von Mobiltelefonen und "Likes" in sozialen Medien, die von Algorithmen des maschinellen Lernens verarbeitet werden, um Vorhersagen über Persönlichkeitsmerkmale und Verhaltensweisen zu treffen. Einige Kommentatoren haben diese Methode als neues psychometrisches Instrument gepriesen, das mit altmodischen, auf Fragebögen basierenden Persönlichkeitstests konkurrieren kann (und sie vielleicht sogar ersetzen wird) (Boyd et al. 2020) und den Vorteil hat, dass es natürlich vorkommende Verhaltensweisen nutzt (Furr 2009).
Wenn wir das Persönlichkeits-Computing als ein psychometrisches Messinstrument betrachten, stellt sich die Frage, wie es sich in Bezug auf die Standardkriterien der Testevaluation verhält, wie z.B. die Validität (Harari et al 2020; Phan & Rauthmann 2021; Bleidorn & Hopwood 2020). In meinem Vortrag werde ich einige aktuelle Diskussionen über die Konstruktvalidität von PC-Modellen aufgreifen. Zunächst werde ich den Begriff der Konstruktvalidität als eine Eigenschaft sowohl von Tests als auch von Konstrukten erläutern. Wenn zum Beispiel ein Test behauptet, das angebliche Persönlichkeitsmerkmal Introversion zu messen, hat er Konstruktvalidität, wenn er tatsächlich Introversion misst, was wiederum bedeutet, dass das Konstrukt (=Konzept) Introversion einen legitimen Bezugspunkt hat. Innerhalb der Psychologie ist es jedoch höchst umstritten, welche Beweisstandards erfüllt sein müssen, damit ein Test Konstruktvalidität besitzt. Zwei gegensätzliche Seiten konzentrieren sich entweder auf korrelationale oder experimentelle Evidenz (Borsboom et al. 2004). Die Befürworter des ersteren Ansatzes suchen nach Korrelationen zwischen verschiedenen Messungen desselben Sachverhalts, während die Befürworter des zweiten Ansatzes fordern, dass die durch den Test erzeugten Daten tatsächlich durch das untersuchte Phänomen verursacht werden. (Feest 2020)
Ich werde argumentieren, dass die Ergebnisse von PC-Modellen zwar mit den Ergebnissen traditioneller Persönlichkeitsmessungen korreliert zu sein scheinen, die genauen Ziele dieser traditionellen Persönlichkeitsmessungen jedoch umstritten bleiben. Darüber hinaus werden Big Data typischerweise "aus einer Vielzahl von Quellen mobilisiert" (Leonelli 2020), was bedeutet, dass die materiellen Umstände ihrer Produktion in den Hintergrund treten und die Daten dekontextualisiert werden. Das wiederum bedeutet, dass ihre Qualität als Beweis für die fraglichen Phänomene (und damit die Gültigkeit der PC-Modelle, die sie verwenden) nicht ohne weiteres festgestellt werden kann (Feest 2022). Ich komme zu dem Schluss, dass all dies zwar die potenzielle heuristische Fruchtbarkeit von PC-Modellen nicht in Abrede stellt, aber stark darauf hindeutet, dass diese Modelle durch theoretische und experimentelle Arbeiten ergänzt werden müssen, die (a) die relevanten Konstrukte artikulieren und entwickeln und (b) die Eignung der Daten als Beweismittel belegen sollten.
Biographie
- Lara Keuck
- Steeves Demazeux
Max Planck Institute for the History of Science, Boltzmannstraße 22, 14195 Berlin, Deutschland