SAP SuccessFactors Learning: Was es bei der Trainingsevaluation leistet und wo die Lücke liegt
Welche Ebenen der Trainingsevaluation SAP SuccessFactors Learning abdeckt, warum der Transfer trotzdem oft unbeantwortet bleibt und wie Sie ihn neben Ihrem LMS messen.
SAP SuccessFactors Learning ist in vielen Unternehmen das Lernmanagementsystem (LMS) der Personalentwicklung. Es plant Kurse, weist Pflichtschulungen zu, dokumentiert Abschlüsse und Zertifikate.
Trainingsevaluation in SAP SuccessFactors Learning
SAP orientiert die Evaluation in SuccessFactors Learning am Vier-Ebenen-Modell von Kirkpatrick (Kirkpatrick, 1959). Laut der SAP Learning Academy werden Ebene 1 und Ebene 3 über Surveys unterstützt, Ebene 2 über Tests (SAP, o. J.). Von den Surveys gibt es zwei Typen: das Course Feedback zur Zufriedenheit mit dem Kurs und die Follow-up Survey, die nach einer festgelegten Frist automatisch zugewiesen wird. Ebene 4 nennt SAP dort nicht.
Nach dem Training
- Ebene 4ErgebnisseNicht als unterstützt genanntWas bringt das Training der Organisation?
- Ebene 3VerhaltenHier entscheidet sich der NutzenWenden die Teilnehmenden das Gelernte an? In SuccessFactors über eine Follow-up Survey nach einer festgelegten Frist.
Im Training
- Ebene 2LernenWas haben die Teilnehmenden dazugelernt? In SuccessFactors über Tests.
- Ebene 1ReaktionHier messen die meistenWie fanden die Teilnehmenden das Training? In SuccessFactors über das Course Feedback.
Die Werkzeuge sind also vorhanden. Wie aussagekräftig die Evaluation wird, hängt davon ab, welche Fragen Sie stellen und wann. Die Ebenen im Einzelnen erklärt der Beitrag Das Kirkpatrick-Modell: Trainingsevaluation in vier Ebenen. Was Tests auf Ebene 2 zeigen und wo sie enden, lesen Sie im Beitrag Lernerfolgskontrolle in der Weiterbildung.
Wo die Lücke liegt
Ein LMS ist dafür gebaut, Lernen zu organisieren. Die Messung des Transfers ist darin ein Baukasten, keine fertige Kennzahl. In der Praxis zeigen sich drei Lücken:
- Die Fragen legen Sie selbst fest. Die Surveys in SuccessFactors stellen Sie selbst zusammen. Häufig landen darin die Fragen des klassischen Feedbackbogens: Wie zufrieden waren Sie mit Trainer, Inhalt und Organisation? Zwei Metaanalysen zeigen, dass die Zufriedenheit nicht mit dem späteren Verhalten am Arbeitsplatz zusammenhängt (Alliger & Janak, 1989; Alliger et al., 1997). Eine Kennzahl, die Kurse, Formate und Anbieter vergleichbar macht, müssen Sie erst selbst entwickeln.
- Ebene 3 kommt spät. Eine Follow-up Survey misst nach Wochen oder Monaten. Bis dahin ist der Kurs oft schon mehrfach gelaufen, und die Ergebnisse helfen dem nächsten Durchgang kaum noch.
- Externe Trainings bleiben außen vor. Viele Trainings führen externe Trainerinnen, Trainer und Bildungsträger durch. Sie haben in der Regel keinen Zugang zum LMS ihrer Auftraggeber und können ihre Wirksamkeit dort weder messen noch belegen.
Das Ergebnis kennen viele Personalentwicklungen: Das LMS weiß genau, wer welchen Kurs abgeschlossen hat. Ob der Kurs etwas bewirkt hat, steht nicht darin.
SuccessFactors Learning und PMScore zusammen einsetzen
PMScore ersetzt kein LMS. Kurse, Zuweisungen und Zertifikate bleiben in SuccessFactors. PMScore ergänzt die Kennzahl, die dort fehlt: den Transferwirksamkeitsscore (TES). Zum Kursabschluss beantworten die Teilnehmenden anonym eine kurze Erhebung, per Link oder QR-Code, ohne Konto und ohne Zugang zum LMS. Sie fragt nicht nach der Zufriedenheit, sondern nach dem, was für den Transfer zählt:
Kompetenzzuwachs
Wie viel haben die Teilnehmenden dazugelernt?
Anwendungsfähigkeit
Trauen sie sich zu, das Gelernte in ihrer eigenen Arbeit einzusetzen?
Transferabsicht
Haben sie konkret vor, es umzusetzen?
Zusammen ergeben sie den TES von 0 bis 100. Die Werte im Beispiel oben sind erfunden. Weil jede Erhebung denselben TES liefert, vergleichen Sie Kurse, Formate und Anbieter direkt miteinander, auch Trainings externer Anbieter, die nie im LMS auftauchen. Wo der Wert sinkt, fragt PMScore nach dem Grund. Das Ergebnis liegt am Kursende vor, nicht erst Monate später.
Der TES beruht auf der Selbsteinschätzung der Teilnehmenden. Er ersetzt keine Beobachtung am Arbeitsplatz, macht Transferwirksamkeit aber in jedem Kurs mit wenig Aufwand messbar. Eine Follow-up Survey in SuccessFactors bleibt eine sinnvolle Ergänzung für Trainings mit hohem Budget. Wie Sie beides in Ihr Berichtswesen einbauen, zeigt der Beitrag Bildungscontrolling: Weiterbildung steuern mit Kennzahlen, die Transfer zeigen.
Was Sie mitnehmen können
- Nutzen Sie SuccessFactors Learning für das, wofür es gebaut ist: Kurse verwalten, zuweisen und dokumentieren.
- Prüfen Sie, welche Fragen Ihre Surveys heute stellen. Fragen nach der Zufriedenheit sagen wenig über den Transfer.
- Ergänzen Sie eine Kennzahl für Transferwirksamkeit, die am Kursende vorliegt, in jedem Kurs gleich ist und auch externe Trainings erfasst.
Sie denken ohnehin über einen Wechsel nach? Einen Überblick gibt der Beitrag Alternativen zu SAP SuccessFactors Learning. Was ein LMS grundsätzlich leisten kann, zeigt der Beitrag Lernmanagementsystem (LMS): Was es kann und warum es den Lernerfolg nicht beweist.
Den TES neben SuccessFactors einsetzen?
Schreiben Sie uns, welche Trainings Sie heute in SuccessFactors oder einem anderen LMS verwalten. Wir zeigen Ihnen in einem kurzen Gespräch, wie der TES daneben läuft und was Sie daraus berichten können.
Quellen
- Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick's levels of training criteria: Thirty years later. Personnel Psychology, 42(2), 331-342.
- Alliger, G. M., Tannenbaum, S. I., Bennett, W., Jr., Traver, H., & Shotland, A. (1997). A meta-analysis of the relations among training criteria. Personnel Psychology, 50(2), 341-358.
- Kirkpatrick, D. L. (1959). Techniques for evaluating training programs. Journal of the American Society of Training Directors, 13(11), 3-9.
- SAP (o. J.). Introducing Training Surveys. SAP SuccessFactors Learning Academy. learning.sap.com
SAP und SAP SuccessFactors sind Marken der SAP SE. Dieser Beitrag ist unabhängig und nicht mit SAP verbunden.