Learning Analytics in der Personalentwicklung: Welche Kennzahlen zeigen, ob Lernen wirkt?
Was Learning Analytics ist, welche Daten Lernplattformen heute liefern und warum Abschlussquoten und Lernzeiten noch keine Aussage über die Wirkung von Weiterbildung erlauben.
Lernplattformen sammeln heute mehr Daten als je zuvor: wer sich anmeldet, wie lange ein Modul dauert, wer abbricht, wer den Test besteht. Dashboards machen daraus Diagramme und Quoten. Learning Analytics verspricht, aus diesen Daten bessere Entscheidungen für die Weiterbildung abzuleiten.
In der Personalentwicklung stellt sich dabei eine einfache Frage: Zeigen die Kennzahlen, ob die Trainings wirken? Dieser Beitrag erklärt, was Learning Analytics ist, welche Daten es gibt und welche Kennzahl in den meisten Dashboards fehlt.
Was ist Learning Analytics?
Eine verbreitete Definition stammt von der ersten internationalen Konferenz zu Learning Analytics 2011: Learning Analytics ist die Messung, Sammlung, Analyse und Berichterstattung von Daten über Lernende und ihre Kontexte, um das Lernen und die Umgebungen, in denen es stattfindet, zu verstehen und zu verbessern (Siemens & Long, 2011).
Entstanden ist das Feld vor allem an Hochschulen und Schulen. In Unternehmen landet es meist als Berichtsfunktion des Lernmanagementsystems (LMS) in der Personalentwicklung. Der entscheidende Teil der Definition ist das Ziel: Lernen verstehen und verbessern. Daten zu sammeln ist nur der erste Schritt.
Welche Daten Learning Analytics in Unternehmen nutzt
Die meisten Daten entstehen dort, wo gelernt wird, also im LMS oder in der Lernplattform:
- Aktivität: Anmeldungen, Aufrufe, Lernzeit pro Modul, Abbrüche
- Fortschritt: Abschlussquoten, Zertifikate, erledigte Pflichtschulungen
- Leistung: Testergebnisse, Anzahl der Versuche
- Reaktion: Zufriedenheit aus dem Feedbackbogen
Diese Daten sind nützlich. Sie zeigen, ob Inhalte genutzt werden, wo Lernende hängen bleiben und ob Pflichtschulungen erledigt sind. Sie haben aber eine Gemeinsamkeit: Sie beschreiben, was im Training passiert. Über das, was danach am Arbeitsplatz passiert, sagen sie nichts. Auch die Zufriedenheit hilft dabei kaum weiter, denn sie hängt nicht mit dem späteren Verhalten am Arbeitsplatz zusammen (Alliger & Janak, 1989; Alliger et al., 1997).
Die fehlende Kennzahl: Transferwirksamkeit
Weiterbildung wird finanziert, damit Menschen das Gelernte anwenden. Eine Learning-Analytics-Lösung für die Personalentwicklung braucht deshalb mindestens eine Kennzahl, die näher am Transfer liegt als Lernzeit und Abschlussquote. What gets measured gets done, sagt ein bekannter Grundsatz: Steht im Dashboard nur die Abschlussquote, wird auf Abschlüsse optimiert. Was ein bestandener Test dabei zeigt und was nicht, beschreibt der Beitrag Lernerfolgskontrolle in der Weiterbildung.
Gute Analytics beantworten dabei nicht nur die Frage nach dem Wie viel, sondern auch nach dem Warum. So sieht das für einen einzelnen Kurs aus:
Wie viel?
Warum?
Anwendungsfähigkeit
Ansatzpunkt
Praxisfälle aus dem Arbeitsumfeld einbauen
Fast die Hälfte vermisst Beispiele, die zur eigenen Arbeit passen.
Die Werte sind erfunden. Sie zeigen den Unterschied zu klassischen Dashboards: Aus einer Zahl wird ein Ansatzpunkt. Der Kurs vermittelt viel Wissen, die Teilnehmenden trauen sich die Anwendung aber deutlich weniger zu, und der häufigste Grund ist klar benannt.
Learning Analytics mit dem Transferwirksamkeitsscore
PMScore liefert genau diese Ebene. Zum Kursabschluss beantworten die Teilnehmenden anonym eine kurze Erhebung zu Kompetenzzuwachs, Anwendungsfähigkeit und Transferabsicht. Daraus entsteht der Transferwirksamkeitsscore (TES) von 0 bis 100. Wo jemand nicht klar zustimmt, fragt PMScore nach dem Grund.
Weil jede Erhebung denselben TES liefert, lassen sich die Ergebnisse über viele Kurse hinweg auswerten: nach Format, Trainerin oder Trainer, Thema oder Version eines Trainings. In Analysen bündelt PMScore auch die Gründe über viele Erhebungen. So entstehen Muster, die ein einzelner Feedbackbogen nie zeigt.
Der TES beruht auf der Selbsteinschätzung der Teilnehmenden und ersetzt keine Beobachtung am Arbeitsplatz. Neben den Daten Ihres LMS ist er die Kennzahl, die zeigt, ob Lernen auf dem Weg zur Anwendung ist. Wie Sie solche Kennzahlen in Ihr Berichtswesen einbauen, lesen Sie im Beitrag Bildungscontrolling: Weiterbildung steuern mit Kennzahlen, die Transfer zeigen.
Was Sie mitnehmen können
- Nutzen Sie die Daten Ihres LMS für das, was sie zeigen: Nutzung, Fortschritt und Pflichtschulungen.
- Ergänzen Sie Ihr Dashboard um eine Kennzahl für Transferwirksamkeit, in jedem Kurs mit denselben Fragen.
- Erfassen Sie neben dem Wie viel auch das Warum. Erst die Gründe machen aus Analytics eine Entscheidungsgrundlage.
Ihr Dashboard um den Transfer ergänzen?
Schreiben Sie uns, welche Kennzahlen Sie heute berichten. Wir zeigen Ihnen in einem kurzen Gespräch, wie der TES Ihre Learning Analytics um die Wirkung ergänzt.
Quellen
- Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick's levels of training criteria: Thirty years later. Personnel Psychology, 42(2), 331-342.
- Alliger, G. M., Tannenbaum, S. I., Bennett, W., Jr., Traver, H., & Shotland, A. (1997). A meta-analysis of the relations among training criteria. Personnel Psychology, 50(2), 341-358.
- Siemens, G., & Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE Review, 46(5), 30-40.