Inhaltsverzeichnis
Editorial zum Themenheft
25 Jahre nach Schmidt und Hunter (1998): Aktuelle Forschungslage zur Validität eignungsdiagnostischer Verfahren
Stefan Höft
Inwiefern vermitteln metaanalytische Übersichten einen zutreffenden Eindruck der Kriteriumsvaliditäten von Personalauswahlverfahren?
Anmerkungen zu möglichen Risiken und Nebenwirkungen
Klaus G. Melchers
Was schmeckt besser, Äpfel oder Birnen?
Welche Vergleiche in der Eignungsdiagnostik Sinn machen
Martin Kleinmann
Kriteriumsvalidierung von Personalauswahlverfahren als Arena sozialer Normen
Klaus Moser & George Gunnesch-Luca
Warum und wann weniger mehr ist: Die Implikationen von Sackett et al. (2022) für die Entscheidungsfindung in der Personalauswahl
Marvin Neumann, A. Susan, M. Niessen & Rob R. Meijer
Science-Practice Gap – Welchen Nutzen können Metaanalysen für die Praxis der Personalauswahl haben, und welche Informationen sollten sie hierfür liefern?
Uwe P. Kanning
Wissenschafts-Praxis-Gap in der Eignungsdiagnostik: Die Validität von Personalauswahlverfahren aus Sicht von HR-Fachpersonen im Vergleich zu metaanalytischen Erkenntnissen
Benedikt Hell, Katja Päßler & Miriam Nido
Implikationen der Ergebnisse von Schmidt und Hunter (1998) für die Praxis der Managementdiagnostik
Dieter Hasselmann
Intelligenz als stabiler Prädiktor von Ausbildungserfolg und als Strukturierungsmerkmal beruflicher Anforderungen
Hella Klemmert, Nicolas Sander, Erik Sengewald & Dorothea Klinck
Assessment Center auf dem Prüfstand – Das AC-Qualitätslabel von Swiss Assessment
Hubert Annen
Mit welchen Strukturierungselementen sich die Validität von Interviews steigern lässt
Susanne Schulte & Maren Hiltmann
25 Jahren nach Schmidt und Hunter (1998):
Wo stehen wir heute in der beruflichen Eignungsdiagnostik?
Editorial zum Themenheft
Herausgeber: Prof. Dr. Stefan Höft (HdBA Mannheim) &
Prof. Dr. Klaus G. Melchers (Universität Ulm)
25 Jahre nach Schmidt und Hunter (1998): Aktuelle Forschungslage zur Validität eignungsdiagnostischer Verfahren
Stefan Höft
Zusammenfassung
Nach einer kurzen Einführung zu metaanalytischen Grundprinzipien werden die wesentlichen Aussagen der bekannten Übersichts zur kriteriumsbezogenen Validität von eignungsdiagnostischen Verfahren von Schmidt und Hunter (1998) zusammengefasst. Sehr deutlich wurde von den Autoren auch in anderen Publikationen die hohe Validität von kognitiven Fähigkeitstests betont. Im Anschluss werden die Kritikpunkte
von Sackett, Zhang, Berry und Lievens (2022) zur Studie von Schmidt und Hunter dargestellt. Im Mittelpunkt steht dabei die aus Sicht von Sackett et al. zu großzügig angewandte Korrektur von Varianzeinschränkungen im Prädiktor. Quintessenz ist die Präsentation einer aktualisierten Validitätsübersicht, die auf angepassten Reanalysen und neuen Befunden basiert. Hier zeigt sich eine deutlich homogenere
Validitätslage mit einer Mehrheit der Koeffizienten zwischen .20 und .40 über alle Verfahrensklassen hinweg. Kognitive Fähigkeitstests rangieren nur noch im Mittelfeld, während strukturierte Einstellungsgespräche die höchsten Werte aufweisen. Im Fazit werden die Konsequenzen der Aktualisierung für Forschung und Praxis kurz reflektiert.
Schlüsselwörter: kriteriumsbezogene Validität, eignungsdiagnostische Verfahren, Metaanalyse Korrektur von Varianzeinschränkungen, Personalauswahl
25 years after Schmidt and Hunter (1998): Current research findings concerning the validity of personnel selection instruments
Abstract
After a brief introduction to basic meta-analytic principles, the main statements of the well-known review by Schmidt and Hunter (1998) on the criterion-related validity of personnel selection instruments are summarized. The high validity of cognitive ability tests was also very clearly emphasized by the authors in other publications at that time. In the following, the current criticisms of Sackett, Zhang, Berry, and
Lievens (2022) regarding this study are presented. The focus is on the correction for variance restrictions in the predictor, which Sackett et al. consider too generously applied. The quintessence is the presentation of an updated validity overview based on adjusted reanalyses and new findings. Here, a considerably more homogeneous validity situation is shown with a majority of the coefficients between .20 and .40 across all types of selection procedure. Cognitive ability tests rank only in the midfield, while structured job interviews show the highest values. The conclusion briefly reflects on the consequences of the update for research and practice.
Keywords: criterion-related validity, aptitude testing, meta-analysis, corrections of restriction of variance, personnel selection
Corresponding Author:
Prof. Dr. Stefan Höft
Hochschule der Bundesagentur für Arbeit (HdBA)
Seckenheimer Landstr. 16
68163 Mannheim
stefan.hoeft@hdba.de
Inwiefern vermitteln metaanalytische Übersichten einen zutreffenden Eindruck der Kriteriumsvaliditäten von Personalauswahlverfahren?
Anmerkungen zu möglichen Risiken und Nebenwirkungen
Klaus G. Melchers
Zusammenfassung
Der Artikel von Schmidt und Hunter (1998) bietet einen Überblick und Vergleich der Kriteriumsvalidität verschiedenster Personalauswahlverfahren. Für ihren Artikel haben Schmidt und Hunter jeweils metaanalytisch ermittelte Validitäten ausgewählt, bei denen Korrekturen für Varianzeinschränkung im Auswahlverfahren und Unreliabilität des Kriteriums (d. h. der Messung der Arbeitsleistung) vorgenommen wurden. Hiermit wollten Schmidt und Hunter einen umfassenden Vergleich der wahren Validität der verschiedenen Auswahlverfahren ermöglichen. Trotzdem gibt es eine Reihe von Aspekten, die die Interpretation dieses Vergleichs erschweren bzw. die zu falschen Schlussfolgerungen führen: Erstens die Qualität und Datengrundlage der Metaanalysen, die für diesen Vergleich herangezogen wurden, zweitens die fehlenden Informationen zu unkorrigierten metaanalytischen Validitäten der verschiedenen Auswahlverfahren, drittens unterschiedliche Vorgehensweisen und Annahmen im Rahmen der durchgeführten Korrekturen in den verwendeten Metaanalysen, viertens das gewählte Kriterium, das durch die verschiedenen Auswahlverfahren vorhergesagt werden soll, und fünftens das Problem von nicht berücksichtigte Auswahlverfahren in dieser Übersicht. Im Rahmen dieses Beitrags werden die verschiedenen Aspekte und ihre Bedeutung jeweils genauer erläutert, und es wird dargestellt, inwiefern sich Schlussfolgerungen bzgl. der Validität von Auswahlverfahren ändern können, wenn andere Annahmen und Vorgehensweisen als bei Schmidt und Hunter (1998) gewählt werden.
Schlüsselwörter: Personalauswahl, Metaanalyse, Kriteriumsvalidität, Überblicksartikel
To which degree do meta-analytic summaries provide a correct impression of the criterion-related validities of personnel selection procedures?
Comments on potential risks and side effects
Abstract
Schmidt and Hunter’s (1998) article provides an overview and comparison of the criterion-related validities of different personnel selection procedures. For their article, Schmidt and Hunter chose meta-analytic validities that were corrected for range restriction in the predictor and unreliability of the criterion (i.e., the job performance measure). By doing so, Schmidt and Hunter wanted to allow for a comprehensive
comparison of the true validities of the different selection procedures. Nevertheless, there are several aspects that impair the interpretation of this comparison or that might lead to inappropriate conclusions: First, the quality and the data base of the meta-analyses that were used for this comparison, second, missing information about uncorrected validities of the different selection procedures, third, differences concerning the procedures and assumptions for the meta-analytic corrections, fourth, the choice of the predicted criterion, and fifth, the omission of several selection procedures in the comparison. In the present article, the different aspects and their relevance will be explained in detail, and it will be described, to which degree conclusions concerning the validity of selection procedures might change when other assumptions are made than by Schmidt and Hunter or when other methodological procedures are used.
Keywords: Personnel selection, meta-analysis, criterion-related validity, review
Corresponding Author:
Klaus Melchers
Institut für Psychologie und Pädagogik
Universität Ulm
Albert-Einstein-Allee 47
89069 Ulm
klaus.melchers@uni-ulm.de
Was schmeckt besser, Äpfel oder Birnen?
Welche Vergleiche in der Eignungsdiagnostik Sinn machen
Martin Kleinmann
Zusammenfassung
Schmidt und Hunter (1998b) postulieren, dass Intelligenztests die validesten Auswahlverfahren und andere häufig verwendete Verfahren deutlich weniger valide seien. Diese zentrale Aussage ihrer metaanalytischen Zusammenfassung ist aus heutiger Sicht so nicht mehr haltbar. Für viele der betrachteten Verfahren liegen zwischenzeitlich neuere Metaanalysen mit anderen Ergebnissen vor. Einen aktualisierten Vergleich dieser Verfahren liefert eine metaanalytische Überblicksarbeit von Sackett, Zhang, Berry und Lievens (2022). Zusätzlich gibt es andere Forschungsansätze, um einen methodisch adäquateren Vergleich zwischen unterschiedlichen eignungsdiagnostischen Verfahren vorzunehmen. Im Folgenden wird hierzu die Vorhersagekraft von Intelligenztests im Vergleich zu Assessment Centern und strukturierten Interviews näher betrachtet, da die beiden letztgenannte Verfahren besonders häufig im deutschen Sprachraum eingesetzt werden. Nach neuestem Forschungsstand werden Intelligenztests nicht mehr als die validesten Verfahren betrachtet, Assessment Center scheinen valider als Intelligenztests zu sein, und insbesondere strukturierte Interviews sind für die Praxis zu empfehlen.
Schlüsselwörter: Intelligenztests, strukturierte Interviews, Assessment Center, Metaanalysen, eignungsdiagnostischer Verfahrensvergleich
What tastes better, apples or oranges? Some comments on which comparisons make sense in selection and assessment
Abstract
Schmidt and Hunter (1998b) postulate that intelligence tests are the most valid selection procedure and that other frequently used procedures are markedly less valid. This central statement of their meta-analytic summary is no longer tenable from today's point of view. In the meantime, newer meta-analyses with different results are available for many of the procedures considered. A recent comparison of these procedures
is provided in a meta-analytic review by Sackett, Zhang, Berry, and Lievens (2022). Additionally, there are other research approaches to make an even more methodologically adequate comparison between different diagnostic procedures. The predictive power of intelligence tests compared to assessment centers and structured interviews will be discussed in more detail, since the latter two procedures are used particularly frequently in German-speaking countries. According to the latest research, intelligence tests are no longer considered the most valid procedures, assessment centers seem to be more valid than intelligence tests, and structured interviews in particular are recommended for practical use.
Keywords: Intelligence tests, structured interviews, assessment centers, meta-analyses, comparison of selection procedures
Corresponding Author:
Martin Kleinmann
Psychologisches Institut
Universität Zürich
m.kleinmann@psychologie.uzh.ch
Kriteriumsvalidierung von Personalauswahlverfahren als Arena sozialer Normen
Klaus Moser & George Gunnesch-Luca
Zusammenfassung
Mit der Einführung der metaanalytischen Methode der Validitätsgeneralisierung wurde es ermöglicht, eine Reihe verbindlicher Befunde in Forschung und Praxis der Personalauswahl zu deklarieren, insbes. Aussagen zur Qualität unterschiedlicher Personalauswahlverfahren, zur Sinnhaftigkeit deren Kombination oder zur begrenzten Notwendigkeit, spezielle Umstände der jeweiligen Auswahlsituation berücksichtigen
zu müssen. Begleitend dazu haben sich methodische Normen für Validierungsstudien zu Personalauswahlverfahren etabliert. Dabei handelt es sich allerdings nur um begrenzte soziale Normen, also von einem überschaubaren Kreis von Personen geteilte Überzeugungen, die Abweichungen sanktionieren oder zumindest i.S. von Konventionen missbilligen. Zu solchen Normen gehört, dass die individuelle Leistung das beste Validierungskriterium sei, dass die beste Urteilsquelle zu deren Erfassung hierfür Vorgesetzte seien, dass Leistung eigentlich mehrdimensional zu erfassen sei, dass die anforderungsanalytische Fundierung von Personalauswahlverfahren nach wie vor eine zentrale Rolle spiele und dass die Kriteriumsvalidität durch die üblichen Validierungsstudien unterschätzt werde und daher deutlich korrigiert werden müsse. Wir diskutieren das Ausmaß, in dem es sich hierbei vor allem um soziale Normen handelt und entwickeln eine Reihe von Fragestellungen, die zeigen, dass das Gebiet der Personalauswahl ein sowohl methodisch als auch theoretisch anspruchsvolles Forschungsgebiet ist.
Schlüsselwörter: Kriteriumsvalidität, Validitätsgeneralisierung, Leistungskriterien, Arbeits- und Anforderungsanalyse, Varianzeinschränkung, Situationsstärke
Criterion related validation of personnel selection procedures as an arena of social norms
Abstract
With the introduction of the meta-analytical method of validity generalization, it has become possible to declare a number of authoritative findings in research and practice of personnel selection, especially statements on the quality of different personnel selection procedures, the appropriateness of their combination, or the limited need to consider special circumstances of the respective selection situation. Methodological norms for validation studies of personnel selection procedures have also been established. However, these are only limited social norms, i.e., beliefs shared by a manageable circle of people that sanction deviations or at least disapprove deviations. Such norms include the individual’s job performance being the best validation criterion, that supervisors are the best source of judgment for its assessment, that performance should actually be measured multidimensionally, or that the job analysis-based foundation of personnel selection procedures continues to play a central role and that criterion validity is underestimated by the usual validation studies and therefore needs considerable corrections. We discuss the extent to which these are primarily social norms and develop a series of questions that show that the field of personnel selection is a both methodologically and theoretically demanding research area.
Keywords: Criterion validity, validity generalization, performance criteria, job analysis, variance restriction, situation strength
Corresponding Author:
Klaus Moser
Lange Gasse 20
90403, Nürnberg
klaus.moser@fau.de
Warum und wann weniger mehr ist: Die Implikationen von Sackett et al. (2022) für die Entscheidungsfindung in der Personalauswahl
Marvin Neumann, A. Susan. M. Niessen & Rob R. Meijer
Zusammenfassung
Ein Ziel vieler Organisationen ist die valide Vorhersage von Arbeitsleistung. „Welche Auswahlmethoden können Arbeitsleistung valide vorhersagen“ ist daher eine zentrale Frage, die sich Forscher und Praktiker häufig stellen, und die in den Publikationen von Schmidt und Hunter (1998) und Sackett et al. (2022) besprochen wird. In den allermeisten Personalauswahlprozessen werden mehrere Auswahlmethoden
eingesetzt, häufig mit der Absicht, die prädiktive Validität gegenüber dem Einsatz einer einzelnen Auswahlmethode zu steigern. Daher besprechen Schmidt und Hunter (1998) auch, inwiefern Auswahlmethoden inkrementelle Validität gegenüber dem Einsatz von allgemeinen Intelligenztests allein aufweisen, wenn Informationen aus Auswahlmethoden mechanisch (oder statistisch) mittels optimaler Regressionsgewichte
kombiniert werden. In der Praxis werden Informationen jedoch selten mittels optimaler Regressionsgewichte kombiniert. Daher besprechen wir in diesem Artikel, wie alternative Gewichtungen die Validität des Gesamtverfahrens beeinflussen können und warum mehr Informationen nicht immer zu besseren Leistungsvorhersagen führen. Am häufigsten werden Informationen in der Praxis gar nicht mechanisch, sondern viel mehr holistisch (oder klinisch) „im Kopf“ kombiniert, was zu schlechteren Vorhersagen führt. Daher geben wir Handlungsempfehlungen für die Praxis, wie Informationen mechanisch kombiniert werden können, um valide Leistungsvorhersagen zu treffen, ohne die Akzeptanz von Entscheidungsträgerinnen und -trägern und anderen Stakeholdern zu verlieren.
Schlüsselwörter: Entscheidungsfindung, Testnutzung, holistische und mechanische Kombination, Personalauswahl, Algorithmus Aversion
Why and when less is more: The implications of Sackett et al. (2022) for decision making in personnel selection
Abstract
When hiring employees, a main goal of many organizations is to make valid predictions of future job performance. “What are valid selection methods for predicting future job performance” is therefore a central question for scientists and practitioners. This question is answered in depth by Schmidt and Hunter (1998) and Sackett et al. (2022). In most selection procedures, multiple selection methods are used, often with the intention to increase predictive validity compared to using a single selection method. Therefore, Schmidt and Hunter (1998) also discussed to what extent selection methods show incremental validity over and above the use of general mental ability, when information from selection methods is combined mechanically using optimal regression weights. However, in practice, information is rarely combined using optimal regression weights. Therefore, we discuss how different weighting schemes affect the overall validity of a selection procedure, and why more information does not always result in better predictions. However, in practice, information is rarely combined mechanically at all, but is most often combined holistically ‘in the mind’, resulting in less valid predictions than mechanical combination. Therefore, we provide practical recommendations on how to combine information mechanically, such that valid job performance predictions are made without losing the acceptance of decision makers and other stakeholders.
Keywords: Decision making, test use, holistic and mechanical combination, personnel selection, algorithm aversion
Corresponding Author:
Marvin Neumann
Department of Experimental and Applied
Psychology
Faculty of Behavioural and
Movement Sciences
Vrije Universiteit Amsterdam
m.neumann@vu.nl
Science-Practice Gap – Welchen Nutzen können Metaanalysen für die Praxis der Personalauswahl haben, und welche Informationen sollten sie hierfür liefern?
Uwe P. Kanning
Zusammenfassung
Metaanalysen geben insbesondere in stark untersuchten Feldern wie der Personalauswahl einen wichtigen Überblick für die Forschung und können dabei gleichzeitig Orientierung zur Gestaltung von Personalauswahlverfahren in der Praxis liefern. Befragungen von Praktikerinnen und Praktikern, die sich mit dem Alltag der Personalauswahl in Deutschland beschäftigen, belegen allerdings eine große Diskrepanz
zwischen den Empfehlungen der Forschung und der üblichen Gestaltung von Personalauswahlverfahren. Vor diesem Hintergrund werden mögliche Gründe diskutiert und Aufgaben für die zukünftige Forschung skizziert.
Schlüsselwörter: Personalauswahl, Metaanalyse, Forschungs-Praxis-Diskrepanz
Science-Practice Gap – What use can meta-analyses have for the practice of personnel selection, and what information should they provide for this?
Abstract
Meta-analyses provide an important overview for research, especially in heavily studied fields such as personnel selection, and can at the same time provide orientation for the design of personnel selection processes in practice. However, surveys of practitioners who deal with everyday personnel selection in Germany show a large discrepancy between the recommendations of research and the usual design of
personnel selection processes. Against this background, possible reasons are discussed and tasks for future research are outlined.
Keywords: personnel selection, meta-analysis, science-practice gap
Corresponding Author:
Prof. Dr. Uwe P. Kanning
Hochschule Osnabrück
Professur für Wirtschaftspsychologie
u.kanning@hs-osnabrueck.de
Wissenschafts-Praxis-Gap in der Eignungsdiagnostik: Die Validität von Personalauswahlverfahren aus Sicht von HR-Fachpersonen im Vergleich zu metaanalytischen Erkenntnissen
Benedikt Hell, Katja Päßler & Miriam Nido
Zusammenfassung
Die Metaanalyse von Schmidt und Hunter (1998) hat bis heute einen großen Einfluss auf das Forschungs- und Anwendungsfeld Eignungsdiagnostik und es ist zu erwarten, dass die Metaanalyse von Sackett, Zhang, Berry und Lievens (2022) einen ähnlichen Impact entfalten wird. Unklar ist, wie sehr diese metaanalytischen Erkenntnisse in der Praxis wahrgenommen werden. Dieser Beitrag untersucht, ob die Validitätseinschätzungen von HR-Fachpersonen mit den metaanalytischen Ergebnissen von Schmidt und Hunter (1998) sowie der neu erschienenen Studie von Sackett, Zhang, Berry und Lievens (2022) übereinstimmen und wie etwaige Abweichungen erklärt werden können. Die Ergebnisse zeigen, dass die Validität von Assessment Centern und von Referenzen im Vergleich zur metaanalytischen Befundlage
überschätzt und die Aussagekraft von kognitiven Fähigkeitstests unterschätzt wird. Insgesamt haben die HR-Fachpersonen aber ein überwiegend realistisches Bild von der Aussagekraft der Auswahlverfahren. Die ermittelten abweichenden Einschätzungen durch die HR-Fachpersonen werden ergründet und es werden Schlussfolgerungen für die weitere Forschung sowie die Dissemination von praxisorientierten Forschungsergebnissen abgeleitet.
Schlüsselwörter: Wissenschafts-Praxis-Gap, Validität, Eignungsdiagnostik, Metaanalyse, Anwendersicht
Science-practitioner gap in in personnel selection: The validity of personnel selection procedures from the perspective of HR professionals compared to meta-analytical findings
Abstract
The meta-analysis by Schmidt and Hunter (1998) has had a major impact on the research and application field of aptitude diagnostics to date, and it is expected that the meta-analysis by Sackett, Zhang, Berry, and Lievens (2022) will have a similar impact. What is unclear is the extent to which these meta-analytic findings are perceived in practice. This study therefore examines the extent to which validity assessments by HR professionals align with the meta-analytic findings of Schmidt and Hunter (1998) and the newly published study by Sackett, Zhang, Berry, and Lievens (2022) and how discrepancies can be explained. The results show that compared to the existing meta-analytical findings the validity of assessment centers and of credentials is overestimated, while the validity of cognitive ability tests is underestimated. Overall, however, HR professionals have a predominantly realistic picture of the validity of the selection procedures. The identified divergent assessments by HR professionals are explored and conclusions for further research and dissemination of the research results are derived.
Keywords: science-practice gap, validity, personnel selection, meta-analysis, user perspective
Corresponding Author:
Prof. Dr. Benedikt Hell
Fachhochschule Nordwestschweiz
Hochschule für Angewandte Psychologie
Institut Mensch in komplexen Systemen
(MikS)
Postadresse: Riggenbachstrasse 16
CH-4600 Olten
benedikt.hell@fhnw.ch
Implikationen der Ergebnisse von Schmidt und Hunter (1998) für die Praxis der Managementdiagnostik
Dieter Hasselmann
Zusammenfassung
Die Überblicksstudie metaanalytischer Befunde von Schmidt und Hunter (1998) stellt einen vielbeachteten Meilenstein der Bewertung von Validität und Nützlichkeit der gebräuchlichen eignungsdiagnostischen Instrumente dar. Erörtert wird, welche Implikationen die Ergebnisse für das Feld der Managementdiagnostik hatten (bzw. haben) und haben sollten. Dabei werden insbesondere zwei Aspekte näher betrachtet. Zum einem die Frage, wieweit Intelligenztests, die sich in der Studie als besonders valide erwiesen, (auch) für die Managementdiagnostik als unverzichtbare Kernmethode anzusehen sind. Zum anderen wird diskutiert, ob trotz der nur moderaten Validitätskennwerte von Assessment Centern eine multimethodale Verfahrensgestaltung für Zwecke der Managementdiagnostik angestrebt werden sollte. Als Ergebnis der Betrachtungen wird der methodische Entwicklungsimpuls der Ergebnisse der Metaanalyse von Schmidt und Hunter für die Praxis der Managementdiagnostik relativiert. Für die Aussagefähigkeit eignungsdiagnostischer Verfahren, auch in der Managementdiagnostik, werden vielmehr die Gestaltung des (kompletten) eignungsdiagnostischen Prozesses sowie die zahlreichen damit verbundenen Ausgestaltungs- und Durchführungsfragen als entscheidend herausgestellt.
Schlüsselwörter: Managementdiagnostik, Metaanalyse, Intelligenztests, Assessment Center, Multimethodale Verfahren
Implications of the study by Schmidt and Hunter 1998 for the practice of management diagnostics
Abstract
Schmidt and Hunter's (1998) review study of meta-analytic findings represents a widely acclaimed milestone in the assessment of validity and usefulness of commonly used aptitude diagnostic instruments. Discussed are what implications the findings had (or have) and should have for the field of management diagnostics. In particular, two aspects are examined in more detail. First, the question of how far intelligence tests, which proved to be particularly valid in the study, should also be regarded as an indispensable core method for management diagnostics. On the other hand, it is discussed whether, in spite of the only moderate validity characteristics, a multi-method procedures procedure design should be aimed at for the purpose of management diagnostics. As a result of the considerations, the methodological development impulse of the results of the meta-analysis of Schmidt and Hunter for the practice of management diagnostics is relativized. For the meaningfulness of aptitude diagnostic procedures, also in management diagnostics, the design of the (complete) aptitude diagnostic process as well as the numerous associated design and implementation questions are emphasized as crucial.
Keywords: Management diagnostics, meta-analysis, intelligence tests, assessment center, multi-method procedures
Corresponding Author:
Dr. Dieter Hasselmann
hsp consulting –
Institut für Managementdiagnostik
dr.hasselmann@hsp-consulting.de
Intelligenz als stabiler Prädiktor von Ausbildungserfolg und als Strukturierungsmerkmal beruflicher Anforderungen
Hella Klemmert, Nicolas Sander, Erik Sengewald & Dorothea Klinck
Zusammenfassung
Die führende Rolle von kognitiven Fähigkeitstests als beste jobunspezifische Prädiktoren von Ausbildungserfolg bestätigt sich in einer aktuellen Längsschnittstudie der Bundesagentur für Arbeit. Ca. 150 000 Personen, die als Jugendliche am Berufswahltest teilgenommen hatten, wurden ca. 8 Jahre später zu ihrem beruflichen Werdegang befragt, insbesondere zu ihrer Berufsausbildung und der Abschlussnote.
Die Teilnahmequote lag bei 23.3 % (N = 35 006). Mehrebenenanalysen unter Berücksichtigung der Gruppierung nach Berufen zeigen, dass die im Berufswahltest erfassten kognitiven Fähigkeiten der Jugendlichen mehr Varianz der Abschlussnoten erklären als die weiteren biographischen und personenbezogenen Merkmale zusammen. Unter diesen sind Gewissenhaftigkeit und schulischer Bildungsgang besonders bedeutsam. Berufe lassen sich zudem anhand der Intelligenzverteilung von Berufsinhaber*innen deutlich hinsichtlich ihres Anforderungsniveaus unterscheiden und erlauben damit berufsspezifische Erfolgsprognosen in der Individualdiagnostik. Diesem Aspekt wird in der Forschung wenig Aufmerksamkeit entgegengebracht. Die Differenzierbarkeit der Berufe anhand ihres intellektuellen Niveaus unterstreicht die Bedeutung von kognitiven Fähigkeiten für die Prognose von beruflichem Erfolg.
Schlüsselwörter: Berufseignungsdiagnostik, Prognose von Ausbildungserfolg, kognitive Anforderungsniveaus von Ausbildungsberufen, Intelligenz
Intelligence as a stable predictor of training success and as a structuring characteristic of occupational demands
Abstract
The leading role of cognitive ability tests as the best job-unspecific predictors of training success is confirmed in a recent longitudinal study by the German Federal Employment Agency. Approximately 150,000 individuals who participated in the vocational aptitude test (Berufswahltest, BWT) as adolescents were interviewed approximately eight years later about their career paths, especially their vocational training and final grades. The participation rate was 23.3% (N = 35,006). Multilevel analyses accounting for grouping by profession show that cognitive abilities, as measured with the BWT, explain more variance in final grades than the other biographical and personal characteristics combined. Among these, conscientiousness and attained level of school education are particularly significant. Furthermore, professions can be clearly differentiated according to the intelligence distribution of their incumbents, allowing for valid predictions of job-specific success in individual counseling settings. This aspect receives little attention in research. The differentiation of professions based on their intellectual level emphasizes the importance of cognitive abilities for the prediction of career success.
Keywords: occupational aptitude assessment, prediction of vocational training success, required cognitive levels of different occupations, intelligence
Corresponding Author:
Hella Klemmert
Fachbereich Psychologische Forschung und
Entwicklung, Berufspsychologischer Service,
Bundesagentur für Arbeit, Nürnberg
Hella.Klemmert@arbeitsagentur.de
Assessment Center auf dem Prüfstand – Das AC-Qualitätslabel von Swiss Assessment
Hubert Annen
Zusammenfassung
Gemäß seinen Statuten setzt sich der Verein Swiss Assessment dafür ein, dass sich die als Assessment Center (AC) bezeichneten Selektions- und Personalentwicklungsverfahren an den wissenschaftlich anerkannten Qualitätsstandards der AC-Technik orientieren. Folglich verpflichten sich dessen Mitglieder in einer Selbstdeklaration zur sorgfältigen Durchführung, Entwicklung und Evaluierung von ACs. Um dem
Vereinszweck nach innen und außen Verbindlichkeit und Nachdruck zu verleihen, entwickelte Swiss Assessment ein Zertifizierungsverfahren, das im Jahr 2012 in Kraft trat. Im Rahmen einer Dokumentenanalyse und eines Audits wird hier der Tatbeweis erbracht, dass man sich an den Standards orientiert. Die Zertifizierungsverfahren mit internen oder externen Anbietern von AC-Dienstleistungen führen spezifische Aspekte zu Tage, die für vorliegende Thematik relevant sind. Qualitätskriterien wie AC-Konstruktion, Beurteilendenschulung, Beurteilungsprozess, Infrastruktur und Kundenzufriedenheit stellen normalerweise keine allzu großen Herausforderungen dar. Ein beträchtlicher Zusatzaufwand muss indes bei der Evaluation geleistet werden. Die Feststellung der prädiktiven Validität ist offenbar kein Standardverhalten. Ebenfalls beträchtliche Hürden gilt es bei der Anwendung psychologischer Testverfahren zu überwinden. Hier sind immer noch Instrumente im Umlauf, die den wissenschaftlichen Anforderungen nicht genügen. Swiss Assessment leistet mit dem AC-Qualitätslabel einen greifbaren Beitrag dazu, dass Personalselektion und Potenzialfeststellung im Rahmen der Personalentwicklung nicht dem Zufall überlassen werden. Zertifizierte AC-Anbieter stärken damit ihre (Markt-)Position, und Bezügern von ACDienstleistungen wird generell die Sicherheit gegeben, ein Verfahren zu nutzen, das den Qualitätsstandards entspricht.
Schlüsselwörter: Assessment Center; Qualitätsstandards; Qualitätssicherung; Zertifizierungsverfahren; Qualitätslabel
Assessment Center put to test – The Swiss Assessment AC quality label
Abstract
Following its statutes, the association Swiss Assessment is committed to ensuring that the selection and personnel development procedures known as assessment centres (ACs) are oriented toward the scientifically recognised quality standards of the AC method. Consequently, its members commit themselves to carefully implementing, developing, and evaluating ACs. To lend binding force and emphasis to the association's purpose both internally and externally, Swiss Assessment developed a certification procedure that came into force in 2012. Within the framework of a document analysis and an audit, the provider of AC services proves that the standards are being followed. The certification procedures with internal or external AC providers bring specific aspects relevant to this topic to light. Quality criteria such as AC design, assessor training, assessment process, infrastructure, and customer satisfaction are usually not too challenging. However, a considerable additional effort has to be made in the evaluation. Establishing predictive validity is not standard behaviour. There are also significant hurdles to overcome in psychological testing procedures. Here, instruments are still used that do not meet scientific requirements. With the AC quality label, Swiss Assessment makes a tangible contribution to ensuring that personnel selection and assessment of potential are not left to chance in personnel development. Certified AC providers thus strengthen their (market) position, and customers of AC services are generally assured that they are using a procedure that meets the quality standards.
Keywords: Assessment Center; Quality standards; quality management; certification procedure; quality label
Corresponding Author:
Hubert Annen
Militärakademie an der ETH Zürich,
Birmensdorf
annenh@ethz.ch
Mit welchen Strukturierungselementen sich die Validität von Interviews steigern lässt
Susanne Schulte & Maren Hiltmann
Zusammenfassung
Die Validität von strukturierten Interviews fällt in der metaanalytischen Überblicksarbeit von Sackett et al. (2022) im Vergleich mit anderen Auswahlmethoden am höchsten aus. Daraus ergibt sich die Frage, worin sich strukturierte Interviews von anderen Interviews unterscheiden. Worauf bezieht sich Strukturierung? Ziel dieses Artikels ist es, die verschiedenen Strukturierungselemente und damit Optimierungsansätze
für die Validität von Interviewverfahren praxisbezogen aufzuzeigen sowie Nutzen und Grenzen der Strukturierung von Interviews zu erörtern.
Schlüsselwörter: Interview, Qualität, Validität, Strukturierung, Standardisierung, Personalauswahl
Which elements of structure can be used to strengthen the validity of interviews
Abstract
In the meta-analytic review by Sackett et al. (2022), the validity of structured interviews is the highest compared to other selection methods. This raises the question of how these interviews differ from other interviews. What does structure refer to? The aim of the present article is to present the various elements of structure and thus optimisation approaches for the validity of interview procedures for applied settings,
and to discuss the benefits and limitations of structuring interviews.
Keywords: Interview, quality, validity, structure, standardisation, personnel selection
Corresponding Author:
Susanne Schulte
Hochschule für Polizei und öffentliche
Verwaltung (HSPV)
susanne.schulte@hspv.nrw.de
Wirtschaftspsychologie
25. Jahrgang · Heft 2 · 2023
Pabst, 2023
ISSN 1615-7729
