Veranstaltung

Feb 9, 2023
The Validity of Machine Learning Models for the Measurement of Personality Traits

In den letzten 15 Jahren hat die Nutzung von Big Data und maschinellem Lernen in einigen Bereichen der Persönlichkeitspsychologie an Bedeutung gewonnen (Rauthmann 2020): Während die traditionelle Persönlichkeitsforschung weitgehend auf Selbst- und Fremdeinschätzungen beruht, verspricht der neue Bereich des "Personality Computing" (Vinciarelli & Mohammadi 2014), unauffälliger zu sein und Daten aus dem Alltagsverhalten der Probanden zu liefern, wie z. B. die Nutzung von Mobiltelefonen und "Likes" in sozialen Medien, die von Algorithmen des maschinellen Lernens verarbeitet werden, um Vorhersagen über Persönlichkeitsmerkmale und Verhaltensweisen zu treffen. Einige Kommentatoren haben diese Methode als neues psychometrisches Instrument gepriesen, das mit altmodischen, auf Fragebögen basierenden Persönlichkeitstests konkurrieren kann (und sie vielleicht sogar ersetzen wird) (Boyd et al. 2020) und den Vorteil hat, dass es natürlich vorkommende Verhaltensweisen nutzt (Furr 2009).
Wenn wir das Persönlichkeits-Computing als ein psychometrisches Messinstrument betrachten, stellt sich die Frage, wie es sich in Bezug auf die Standardkriterien der Testevaluation verhält, wie z.B. die Validität (Harari et al 2020; Phan & Rauthmann 2021; Bleidorn & Hopwood 2020). In meinem Vortrag werde ich einige aktuelle Diskussionen über die Konstruktvalidität von PC-Modellen aufgreifen. Zunächst werde ich den Begriff der Konstruktvalidität als eine Eigenschaft sowohl von Tests als auch von Konstrukten erläutern. Wenn zum Beispiel ein Test behauptet, das angebliche Persönlichkeitsmerkmal Introversion zu messen, hat er Konstruktvalidität, wenn er tatsächlich Introversion misst, was wiederum bedeutet, dass das Konstrukt (=Konzept) Introversion einen legitimen Bezugspunkt hat. Innerhalb der Psychologie ist es jedoch höchst umstritten, welche Beweisstandards erfüllt sein müssen, damit ein Test Konstruktvalidität besitzt. Zwei gegensätzliche Seiten konzentrieren sich entweder auf korrelationale oder experimentelle Evidenz (Borsboom et al. 2004). Die Befürworter des ersteren Ansatzes suchen nach Korrelationen zwischen verschiedenen Messungen desselben Sachverhalts, während die Befürworter des zweiten Ansatzes fordern, dass die durch den Test erzeugten Daten tatsächlich durch das untersuchte Phänomen verursacht werden. (Feest 2020)
Ich werde argumentieren, dass die Ergebnisse von PC-Modellen zwar mit den Ergebnissen traditioneller Persönlichkeitsmessungen korreliert zu sein scheinen, die genauen Ziele dieser traditionellen Persönlichkeitsmessungen jedoch umstritten bleiben. Darüber hinaus werden Big Data typischerweise "aus einer Vielzahl von Quellen mobilisiert" (Leonelli 2020), was bedeutet, dass die materiellen Umstände ihrer Produktion in den Hintergrund treten und die Daten dekontextualisiert werden. Das wiederum bedeutet, dass ihre Qualität als Beweis für die fraglichen Phänomene (und damit die Gültigkeit der PC-Modelle, die sie verwenden) nicht ohne weiteres festgestellt werden kann (Feest 2022). Ich komme zu dem Schluss, dass all dies zwar die potenzielle heuristische Fruchtbarkeit von PC-Modellen nicht in Abrede stellt, aber stark darauf hindeutet, dass diese Modelle durch theoretische und experimentelle Arbeiten ergänzt werden müssen, die (a) die relevanten Konstrukte artikulieren und entwickeln und (b) die Eignung der Daten als Beweismittel belegen sollten.

Biographie

Adresse

Max Planck Institute for the History of Science, Boltzmannstraße 22, 14195 Berlin, Deutschland

Raum
Zoom/Online Meeting Platform
2023-02-09T15:00:00SAVE IN I-CAL 2023-02-09 15:00:00 2023-02-09 16:30:00 The Validity of Machine Learning Models for the Measurement of Personality Traits In den letzten 15 Jahren hat die Nutzung von Big Data und maschinellem Lernen in einigen Bereichen der Persönlichkeitspsychologie an Bedeutung gewonnen (Rauthmann 2020): Während die traditionelle Persönlichkeitsforschung weitgehend auf Selbst- und Fremdeinschätzungen beruht, verspricht der neue Bereich des "Personality Computing" (Vinciarelli & Mohammadi 2014), unauffälliger zu sein und Daten aus dem Alltagsverhalten der Probanden zu liefern, wie z. B. die Nutzung von Mobiltelefonen und "Likes" in sozialen Medien, die von Algorithmen des maschinellen Lernens verarbeitet werden, um Vorhersagen über Persönlichkeitsmerkmale und Verhaltensweisen zu treffen. Einige Kommentatoren haben diese Methode als neues psychometrisches Instrument gepriesen, das mit altmodischen, auf Fragebögen basierenden Persönlichkeitstests konkurrieren kann (und sie vielleicht sogar ersetzen wird) (Boyd et al. 2020) und den Vorteil hat, dass es natürlich vorkommende Verhaltensweisen nutzt (Furr 2009). Wenn wir das Persönlichkeits-Computing als ein psychometrisches Messinstrument betrachten, stellt sich die Frage, wie es sich in Bezug auf die Standardkriterien der Testevaluation verhält, wie z.B. die Validität (Harari et al 2020; Phan & Rauthmann 2021; Bleidorn & Hopwood 2020). In meinem Vortrag werde ich einige aktuelle Diskussionen über die Konstruktvalidität von PC-Modellen aufgreifen. Zunächst werde ich den Begriff der Konstruktvalidität als eine Eigenschaft sowohl von Tests als auch von Konstrukten erläutern. Wenn zum Beispiel ein Test behauptet, das angebliche Persönlichkeitsmerkmal Introversion zu messen, hat er Konstruktvalidität, wenn er tatsächlich Introversion misst, was wiederum bedeutet, dass das Konstrukt (=Konzept) Introversion einen legitimen Bezugspunkt hat. Innerhalb der Psychologie ist es jedoch höchst umstritten, welche Beweisstandards erfüllt sein müssen, damit ein Test Konstruktvalidität besitzt. Zwei gegensätzliche Seiten konzentrieren sich entweder auf korrelationale oder experimentelle Evidenz (Borsboom et al. 2004). Die Befürworter des ersteren Ansatzes suchen nach Korrelationen zwischen verschiedenen Messungen desselben Sachverhalts, während die Befürworter des zweiten Ansatzes fordern, dass die durch den Test erzeugten Daten tatsächlich durch das untersuchte Phänomen verursacht werden. (Feest 2020) Ich werde argumentieren, dass die Ergebnisse von PC-Modellen zwar mit den Ergebnissen traditioneller Persönlichkeitsmessungen korreliert zu sein scheinen, die genauen Ziele dieser traditionellen Persönlichkeitsmessungen jedoch umstritten bleiben. Darüber hinaus werden Big Data typischerweise "aus einer Vielzahl von Quellen mobilisiert" (Leonelli 2020), was bedeutet, dass die materiellen Umstände ihrer Produktion in den Hintergrund treten und die Daten dekontextualisiert werden. Das wiederum bedeutet, dass ihre Qualität als Beweis für die fraglichen Phänomene (und damit die Gültigkeit der PC-Modelle, die sie verwenden) nicht ohne weiteres festgestellt werden kann (Feest 2022). Ich komme zu dem Schluss, dass all dies zwar die potenzielle heuristische Fruchtbarkeit von PC-Modellen nicht in Abrede stellt, aber stark darauf hindeutet, dass diese Modelle durch theoretische und experimentelle Arbeiten ergänzt werden müssen, die (a) die relevanten Konstrukte artikulieren und entwickeln und (b) die Eignung der Daten als Beweismittel belegen sollten. Biographie Uljana Feest Uljana Feest studierte Psychologie, Philosophie sowie Wissenschaftsgeschichte und -philosophie (HPS) in Frankfurt, Bristol und Pittsburgh. Nach dem Abschluss ihres Psychologiestudiums an der Goethe-Universität in Frankfurt (1994) arbeitete sie einige Jahre als wissenschaftliche Mitarbeiterin in einem interdisziplinären Projekt am Institut für Sozial-Oekologische Forschung in Frankfurt, bevor sie ein Studium der Wissenschaftstheorie aufnahm. Von 1997 bis 2003 war sie Doktorandin am Institut für Wissenschaftsgeschichte und -philosophie der Universität Pittsburgh, wo sie im August 2003 ihre Dissertation mit dem Titel Operationism, Experimentation, and Concept Formation abschloss. Von 2003 bis 2006 war Uljana Feest wissenschaftliche Mitarbeiterin am Max-Planck-Institut für Wissenschaftsgeschichte (Berlin) und anschließend von 2006 bis 2012 als Assistenzprofessorin an der Technischen Universität (TU) Berlin tätig. Sie war Gastwissenschaftlerin an der University of Pittsburg, der University of Michigan und am Max-Planck-Institut für Bildungsforschung (Berlin). Seit März 2014 ist sie Professorin für Philosophie an der Leibniz Universität Hannover, wo sie den Lehrstuhl für Philosophie der Sozialwissenschaften und Sozialphilosophie innehat. In ihrer Forschung beschäftigt sich Uljana Feest mit der Verschränkung von methodischen und konzeptionellen Fragen in den Untersuchungspraktiken experimenteller Wissenschaftlerinnen und Wissenschaftler, wobei sie sich insbesondere auf psychologische Experimente konzentriert. Im Großen und Ganzen bewegt sich ihre Forschung an der Schnittstelle zwischen der Philosophie des Experiments, der Philosophie der Psychologie, der Geschichte der Philosophie und Wissenschaft des 19. und 20. Jahrhunderts und einigen Aspekten der Philosophie des Geistes. Max Planck Institute for the History of Science, Boltzmannstraße 22, 14195 Berlin, Germany Zoom/Online Meeting Platform Lara KeuckSteeves Demazeux Lara KeuckSteeves Demazeux Europe/Berlin public