„Analysing the right things“ „Analysing things right“ Das Verfahren muss die richtigen Das Verfahren muss die Informationen Informationen erfassen. richtig erfassen. htig erfassen. Es soll (nur) solche Daten auswerten, die nachweislich etwas mit den Kriterien für den späteren Berufserfolg zu tun haben. Das Verfahren sollte zudem nachweisen, dass es den Berufserfolg von Personen mindestens so gut vorhersagen kann wie bestehende Verfahren, die dasselbe beanspruchen. Wissenschaftlicher Fachbegriff: Kriteriumsvalidität (Prognostische Validität) Es soll die Daten, deren Auswertung es verspricht, auch angemessen erfassen. Das Verfahren sollte zudem nachweisen, dass es die versprochene Information mindestens so gut erfassen kann wie bestehende Verfahren, die dasselbe beanspruchen. Wissenschaftlicher Fachbegriff: Konstruktvalidität einem neuen Trend oder einer guten Marke- tingmaschinerie. Die kritische Beurteilung der Aussagekraft setzt die Bereitschaft voraus, Da- ten zu generieren, auszuwerten, zu prüfen und differenziert zu interpretieren. Leider steht dieser Anspruch aber dem vorherr- schenden Selbstverständnis von Personalverant- wortlichen stark entgegen. Nach wie vor setzt man in der Personaldiagnostik weitestgehend auf das Bauchgefühl, um die Qualität von Verfahren und damit auch die Eignung von Personen zu beurteilen. Das zeigt sich in der starken Verbrei- tung unstrukturierter Interviews (von Bernstorff & Nachtwei, 2017), fragwürdiger Typentests (Freudenstein, Strauch, Mussel & Ziegler, 2019) und teurer, aber wenig aussagekräftiger Assessment Center (Kanning, 2016). Das Resultat sind Fehlentscheidungen, deren Kosten zum Bei- spiel bei Führungspositionen jeweils zwischen 200.000 und 600.000 Euro betragen (von Bernstorff, 2018). Viele Anbieter neuer HR-Technologien tun nun ironischerweise nichts anderes: „Bewährte“ Vorgehensweisen werden automatisiert und intuitive Ideen davon, was erfolgreiche Kandidaten ausmacht, durch Algorithmen erfasst. Der einzige Unterschied: Das Verfahren kommt jetzt nicht mehr als schnöder Test oder verstaubte Case Study daher, sondern in einem vorzeigbaren KI-Gewand. Letzteres dürfte es Anwendern im Personalbereich aber nur noch schwerer machen, zu verstehen, was das Verfahren tut und was nicht. Fehler, die „ohne KI“ gemacht wurden, werden „mit KI“ schlicht reproduziert. Perso- nalverantwortliche (ohne Datenexpertise) befinden sich somit in ei- nem Dilemma: Bei zunehmender Verbreitung von KI-Technologien fehlen die Kenntnisse, um taugliche von untauglichen Verfahren zu unterscheiden, welche nun wichtiger sind denn je. Solange sich in der Personaldiagnostik ungeprüfte Gefühle und Ideen davon, wer auf einer Position die oder der Erfolgreichste sein wird, hartnäckig halten, haben Anbieter neuer technischer Lösungen – völ- lig unabhängig von deren Qualität – leichtes Spiel. ▪ Ausgewählte Literatur von Bernstorff, C. (2018). Wenn HR die Falschen sucht. HR Performance Special 4/2018, 40-41. von Bernstorff, C. & Nachtwei, J. (2017). „Assessment Center zur Identifizierung der Führungspersönlichkeiten – Möglichkeiten und Grenzen.“ In C. von Au (2017), Leadership und angewandte Psychologie. Berlin: Springer. Bühner, M. (2011). Einführung in die Test- und Fragebogenkonstruktion (2. Aufl.). Mün- chen: Pearson. Demary, V. & Goecke, H. (2019). Künstliche Intelligenz. IW-Trends 4/2019. Fichter, L. & von Bernstorff, C. (2020). Kaltes Wasser oder Warmschwimmen? Welche Rolle Berufs- und Führungserfahrung bei erfolgreichen Gründungen spielt. StartupValley Magazine (online). Freudenstein, J.-P., Strauch, C., Mussel, P., & Ziegler, M. (2019). Four personality types may be neither robust nor exhaustive. Nature Human Behaviour, 3(10), 1045-1046. Frank, F. & Kanning, U. P. (2014). Lücken im Lebenslauf – Ein valides Kriterium der Perso- nalauswahl? Zeitschrift für Arbeits- und Organisationspsychologie, 58, 155-162. ahl? Zeitschrift für Arbeits- und Organisationspsychologie, 58, 155-162. Kanning, U. P. (2020). Chancen und Risiken der Digitalisierung in der Personaldiagnostik. Personalpsychologische Schriften (im Druck). Nachtwei, J., Uedelhoven, S., von Bernstorff, C. & Liebenow, D. (2017). Evidenz statt Voodoo. Personalmagazin 12/2017, 34-37. Varelmann, L. & Kanning, U. P. (2018). Personalauswahl: Praktiker überschätzen Validität von Auswahlverfahren. Wirtschaftspsychologie aktuell, 1, 43-47. HR Performance 1/2020 ▶ Recruiting 9 Anforderungen, die aussagekräftige diagnostische Verfahren erfüllen müssen. (Zur Vertiefung siehe z.B. Bühner (2011)). Ob ein Verfahren diese Anforderungen erfüllt, das heißt beruflich relevante Informationen zutreffend erfasst, ist keine Frage der per- sönlichen Überzeugung eines Anbieters, sondern von nachgewiese- nen statistischen Zusammenhängen. Dazu seien hier zwei Beispiele vereinfacht dargestellt: (1.) Wenn umfangreiche Studien mit etablierten Testverfahren wiederholt nahelegen, dass hohe Leistungsmotivation bei Managern mit mehr Jobwechseln einhergeht, geringe Team- orientierung zu mehr Vertriebserfolg oder hohe Belastbar- keit zu höherer Berufszufriedenheit führt (von Bernstorff & Nachtwei, 2017, Nachtwei, Uedelhoven, von Bernstorff & Liebenow, 2018), dann sind solche Zusammenhänge ein wahr- scheinlicher Garant dafür, dass es sich bei diesen Persönlich- keitsmerkmalen um erfolgsrelevante Kompetenzen („right things“) handelt, die ein Verfahren auch erfassen sollte. Wenn in weiteren Studien deutlich würde (!), dass sich die Persönlichkeitsmerkmale ebenso zutreffend oder noch angemessener anhand von intelligenten Sprachanalysen oder Gesichtserkennung ablesen lassen wie durch fundierte Test- verfahren, so wären Personalverantwortliche gut beraten, auf diese neue Technologie umzuschwenken (sofern diese einen mindestens vergleichbaren Zeit- und Kostenaufwand mit sich brächte). (2.) Oder: Wenn in Studien wiederholt deutlich wird, dass die Dauer der Berufserfahrung für die berufliche Zielerreichung keine Relevanz hat (z. B. Fichter & von Bernstorff, 2020, Kanning, 2016) und Lücken im CV ebenso wenig etwas über die Persönlichkeit aussagen wie Tippfehler (Varelmann & Kanning, 2018, Frank & Kanning, 2014), dann lässt sich bei solchen Informationen kaum von „the right things“ sprechen. Verfahren oder Vorgehensweisen, bei denen diese Informati- onen dennoch (und womöglich auch zutreffend) erfasst und fälschlicherweise für beruflich relevant gehalten werden, sind nicht zu empfehlen. Die Aussagekraft eines Verfahrens – ob Testverfahren oder Techno- logie – hängt also von sehr viel mehr Faktoren ab als lediglich von