Die Aufzeichnung analysieren: Was Ihnen die Daten zur Nutzung durch Studierende über die Verwendung Ihrer Inhalte verraten

Die meisten Lehrenden kommen zum ersten Mal in einem etwas unangenehmen Kontext mit Videoanalysen in Berührung. Ein Mitarbeiter der IT-Abteilung oder des Lehrzentrums zeigt ihnen ein Dashboard, auf dem jede Menge Zahlen zu sehen sind, und die unausgesprochene Frage lautet: "Schauen die Studierenden überhaupt zu?"

Das ist eine berechtigte Frage, aber keine besonders interessante. Außerdem setzt sie den falschen Ton, denn sie verwandelt eine reichhaltige Quelle für Erkenntnisse in etwas, das sich wie eine Kontrollmaßnahme anfühlt.

Es gibt einen sinnvolleren Ansatz. Ihre Aufzeichnungen werden nicht nur angesehen, sondern auch genutzt. Die Schüler schauen sie sich am Abend vor einer Prüfung noch einmal an, gehen eine Demonstration ein zweites Mal durch, bevor sie es selbst versuchen, und greifen Wochen nach der Unterrichtseinheit noch einmal darauf zurück, weil sie ein Thema aus einem späteren Abschnitt dazu veranlasst hat. Die Aufrufdaten sind ein Nachweis dieses Lernens und bieten einen der wenigen Einblicke in das, was geschieht, nachdem die Schüler den Raum verlassen haben.

So gelesen ist es keine reine Nachverfolgungsübung mehr, sondern gleicht eher einem Gespräch.

Beginnen Sie mit einer Frage, nicht mit einem Dashboard

Der schnellste Weg, aus Analysen nichts herauszuholen, besteht darin, die Berichtsansicht zu öffnen und sich darin umzuschauen. Es gibt immer etwas zu sehen, aber fast nichts davon ist für sich genommen von Bedeutung.

Bringen Sie stattdessen eine Frage mit, die Sie bereits haben. Die meisten Dozenten haben zu jedem Zeitpunkt des Semesters zwei oder drei davon parat:

• Nutzen die Studierenden die Vorbereitungsunterlagen vor der Sitzung oder erst danach?
• Hat sich jemand noch einmal die Aufnahme angesehen, die ich zum schwierigeren Thema in Woche fünf gemacht habe?
• Wird das zusätzliche Material, das ich letztes Jahr produziert habe, noch verwendet?

Die Betrachtung der Daten liefert gute Antworten auf Fragen wie diese. Auf die Frage "Wie läuft das Modul?" gibt sie jedoch nur sehr unzureichende Antworten. Beginnen Sie mit einer engen Eingrenzung, dann werden die Zahlen verständlich.

Was Mediasite Ihnen tatsächlich zeigt

Es ist hilfreich, vor der Auswertung der Daten deren Struktur zu kennen und zu wissen, wie man überhaupt an diese Daten gelangt.

Die Mediasite-Berichterstellung ist konfigurierbar, was wichtiger ist, als es zunächst klingt. Anstatt Ihnen alle Informationen auf einmal zu präsentieren, kann ein Bericht genau auf den Bereich zugeschnitten werden, für den Sie verantwortlich sind. Ein Dozent, der den Kurs „Wirtschaftslehre 101“ unterrichtet, kann einen Nutzerstatistikbericht einrichten lassen, der seinen Kursordner und -kanal abdeckt und auf die fünfzig Studierenden dieses Jahrgangs beschränkt ist. Alles, was er sieht, ist dann für ihn relevant – und nichts anderes.

In diesem Bericht wird auf der obersten Ebene die Klasse als Ganzes in Diagrammen und Heatmaps dargestellt. Bei Bedarf können Sie dann auf einen einzelnen Schüler klicken. Meistens wird dies jedoch nicht erforderlich sein, und es gibt gute Gründe, auf der aggregierten Ebene zu bleiben, worauf weiter unten noch näher eingegangen wird.

Falls Sie noch nie einen solchen Bericht für Ihr eigenes Modul gesehen haben, sollten Sie als Erstes Ihren Mediasite-Administrator oder Ihr Lehrzentrum darum bitten. Es handelt sich um eine einmalige Einrichtung, die alles, was im Folgenden beschrieben wird, erheblich vereinfacht.

In Bezug auf den Umfang des Berichts umfasst dieser folgende Punkte:

Aufrufe. Wie oft der Inhalt aufgerufen wurde.

Zeit. Gesamtdauer der Wiedergabe, angegeben in Stunden, Minuten und Sekunden.

Berichterstattung. Der Prozentsatz des angesehenen Videos. Auf der obersten Ebene eines Berichts spiegelt dies die Gesamtzahlen Ihrer Zuschauer wider, und Sie können die Daten eines einzelnen Schülers aufrufen, um dessen Werte einzusehen.

Reichweite. Das Datum, an dem die Sendung zum ersten Mal angesehen wurde, und das Datum, an dem sie zuletzt angesehen wurde.

Trends anzeigen. Eine Heatmap, die zeigt, welche Abschnitte des Videos am häufigsten angesehen wurden.

Aktivität datieren. Eine Grafik, aus der hervorgeht, an welchen Tagen die meisten Aufrufe verzeichnet wurden.

Plattformen. Die zum Anschauen verwendeten Geräte und Browser, wie beispielsweise Mac, Windows oder Chrome.

Sieben einfache Maßnahmen. Ihr Wert liegt fast ausschließlich darin, wie man sie im Zusammenhang betrachtet.

Trends im Blick: Worauf legen die Studierenden ihren Schwerpunkt?

Die Heatmap ist die interessanteste der Reihe und lässt sich am leichtesten falsch interpretieren.

Wenn ein bestimmter Abschnitt einer Aufzeichnung deutlich häufiger angesehen wird als der Rest, neigt man instinktiv dazu, dies als Problem zu betrachten – als Zeichen dafür, dass sich die Studierenden nicht mit dem gesamten Stoff auseinandersetzen. In der Praxis ist dies jedoch meist ein Zeichen dafür, dass die Studierenden den wichtigsten Teil richtig erkannt haben und entsprechend Zeit darin investieren. Genau das ist es, was Sie von ihnen erwarten.

Die sinnvollen Folgefragen lauten nicht "Was habe ich dort falsch gemacht?" oder "Warum haben sie diese Abschnitte des Videos übersprungen?", sondern etwas Einfacheres wie: "Lässt sich dieser Abschnitt leicht bearbeiten?"

Manchmal ist das ganz offensichtlich der Fall, und das intensive Betrachten spiegelt lediglich eine anspruchsvolle Idee wider, die mehr als einen Durchgang erfordert. Manche Konzepte sind nun einmal so, und Wiederholung ist genau die richtige Herangehensweise für sie.

Manchmal geht es stattdessen um etwas Praktisches. Stoff, der auf dem Bildschirm sehr dicht wirkt, ein Diagramm, auf das bereits verwiesen wurde, bevor es erscheint, oder ein Abschnitt, in dem Sie aufgrund der knappen Zeit schnell viel Stoff abgearbeitet haben. Nichts davon ist ein Versagen im Unterricht. Es handelt sich um ganz normale Kompromisse bei Live-Vorträgen, und Videos gehören zu den wenigen Medien, durch die man sie überhaupt überhaupt bemerkt.

Wenn ein Abschnitt den Schülern viel Arbeit bereitet, ist eine kurze, ergänzende Aufzeichnung von zwei oder drei Minuten oft die bestmögliche Nutzung Ihrer Zeit. Das kostet kaum etwas und geht genau auf den Stoff ein, von dem die Schüler Ihnen bereits gesagt haben, dass er ihnen wichtig ist. Dies ist auch eine hervorragende Gelegenheit, Mediasite Capture zu nutzen, um schnell Videos in Ihrem Browser oder auf Ihrem Handy für diese kurzen Übersichtsvideos aufzunehmen.

Ein praktischer Hinweis: Achten Sie auf Muster, die sich über mehrere Jahrgänge hinweg wiederholen. Eine Heatmap eines einzelnen Semesters kann bereits durch eine Handvoll Studierender geprägt sein. Wenn sich dasselbe Muster zwei Jahre in Folge zeigt, sagt das etwas Aussagekräftigeres aus.

Umfang und Bandbreite: Wie Schüler und Studenten wirklich lernen

Abdeckung und Reichweite sind eher unscheinbare Kennzahlen, die es jedoch wert sind, etwas genauer betrachtet zu werden.

Eine geringe Abdeckung innerhalb einer Gruppe ist nicht automatisch ein Problem. Häufig kommen Lernende zu einer Aufzeichnung, um nach einer bestimmten Information zu suchen, finden diese und verlassen die Seite wieder. Das ist effizientes Verhalten und ein Zeichen dafür, dass Ihre Inhalte gut navigierbar sind, insbesondere bei längeren Sitzungen. Die Abdeckung wird erst dann interessant, wenn Sie erwartet haben, dass eine Aufzeichnung von Anfang bis Ende angesehen wird – beispielsweise bei einer kurzen Einführung – dies aber durchweg nicht der Fall ist.

Da die Darstellungen je nach Stelle im Bericht unterschiedlich zu interpretieren sind, sollten Sie sich im Klaren darüber sein, welche Frage Sie stellen. Die Zahlen auf Klassenebene geben Aufschluss darüber, wie ein bestimmter Inhalt insgesamt genutzt wird. Eine individuelle Zahl gibt Aufschluss über das Lernverhalten eines einzelnen Schülers – das ist eine andere Frage mit anderen Implikationen, die in der Regel eher in einem Gespräch mit dem Schüler als in einer Tabelle behandelt werden sollte.

Die Reichweite sagt mehr aus, als es auf den ersten Blick scheint. Ein großer zeitlicher Abstand zwischen dem ersten und dem letzten Aufrufdatum deutet darauf hin, dass ein Inhalt eine lange Lebensdauer hat. Er wurde bei seiner Veröffentlichung angesehen und viel später erneut, meist während der Prüfungsvorbereitung oder wenn ein verwandtes Thema die Studierenden wieder darauf aufmerksam machte. Inhalte mit einem großen Zeitraum sind Ihr am besten wiederverwendbares Material, und es lohnt sich zu wissen, welche Aufzeichnungen in diese Kategorie fallen, bevor Sie entscheiden, was Sie über den Sommer aktualisieren möchten.

Aktivität „Datum“: Der Rhythmus deines Moduls

Das Aktivitätsdiagramm nach Datum zeigt, wann die Aufrufe stattfinden, und das Muster lässt sich in der Regel gut mit den Spitzenzeiten Ihres Moduls in Einklang bringen.

Häufungen vor Prüfungen sind völlig zu erwarten. Bemerkenswert ist jedoch, wo diese Häufungen im Verhältnis zu Ihren Absichten liegen. Wenn Materialien, die dazu dienen, Studierende auf ein Seminar vorzubereiten, größtenteils am Abend danach angesehen werden, ist das eine nützliche Erkenntnis – und in der Regel eher eine Frage der Zeitplanung oder der Wegweisung als der Motivation. Eine frühere Veröffentlichung oder ein deutlicherer Hinweis in den wöchentlichen Mitteilungen reicht oft schon aus, um das Muster von selbst zu verändern.

Plattformen: Eine kleine Kennzahl mit praktischen Auswirkungen

Plattformdaten werden selten genauer unter die Lupe genommen, haben aber einen sehr praktischen Nutzen. Wenn ein nennenswerter Teil der Aufrufe auf kleineren Bildschirmen erfolgt, hat das Auswirkungen darauf, wie Sie Ihre Folien gestalten.

Detaillierte Tabellen, kleine Anmerkungen und komplexe Diagramme wirken auf einem Smartphone ganz anders als auf einem Projektor. Zu wissen, wo Ihre Inhalte angesehen werden, ist eine kostengünstige Möglichkeit, deren Nutzung zu vereinfachen, und davon profitieren alle Studierenden – nicht nur einige wenige.

Was die Daten Ihnen nicht verraten

Nur wenn man ehrlich mit den Grenzen umgeht, ist der Rest glaubwürdig.

Anhand der Zugriffsdaten lässt sich feststellen, dass jemand bei einer Unterrichtseinheit dabei war. Sie geben jedoch keinen Aufschluss darüber, ob die Person den Stoff verstanden hat. Nicht erfasst werden dabei beispielsweise Schüler, die sich die Einheit gemeinsam mit einem Freund auf einem Bildschirm angesehen haben, die das Transkript gelesen haben, anstatt sich das Video anzusehen, oder die die Wiedergabe unterbrochen haben, weil es an der Tür geklingelt hat.

Da Sie bis auf die Ebene einzelner Schüler herunterzoomen können, sollten Sie sorgfältig abwägen, wann Sie dies tun. Die Ansicht auf Klassenebene beantwortet fast alle Fragen, die Sie wahrscheinlich zu Ihren Inhalten haben, und hier sollten Sie den Großteil Ihrer Zeit verbringen. Einzeldaten haben durchaus ihre Berechtigung, in der Regel dann, wenn Sie bereits einen bestimmten Schüler fördern und dieser weiß, warum Sie sich die Daten ansehen – sie sind jedoch kein Allzweckwerkzeug.

All dies als Verbesserung der Lehrinhalte und nicht als Anwesenheitskontrolle darzustellen, ist sowohl zutreffender als auch wesentlich besser für das Vertrauen, auf das Sie im Unterricht angewiesen sind. Ihre Einrichtung verfügt über Leitlinien zur Verwendung von Schülerdaten, und es lohnt sich, diese vor Beginn zu lesen und nicht erst danach.

Betrachten Sie dies als eine von mehreren Informationen, neben den Fragen, die Sie nach dem Unterricht erhalten, den Themen, die in den Sprechstunden zur Sprache kommen, und den Ergebnissen der Leistungsüberprüfungen.

Mach es zu einer Gewohnheit, nicht zu einem Projekt

Die Lehrkräfte, die am meisten davon profitieren, führen nicht einmal im Jahr eine gründliche Analyse durch. Sie widmen diesem Thema zweimal pro Semester jeweils fünfzehn Minuten.

Ein praktikabler Arbeitsrhythmus sieht folgendermaßen aus: Bitten Sie vor Semesterbeginn um einen Bericht, der sich auf Ihren Kursordner und Ihre Kohorte bezieht, damit die Daten bereits für Sie bereitstehen und Sie sie nicht erst selbst zusammenstellen müssen. Sehen Sie sich etwa in der vierten Woche die Aufruftrends für die zwei oder drei Aufzeichnungen an, die Inhalte behandeln, die den Studierenden traditionell Schwierigkeiten bereiten, und beobachten Sie einfach, worauf die Aufmerksamkeit gerichtet ist. Werfen Sie etwa in der neunten Woche einen Blick auf die Abdeckung und die Aktivitäten im gesamten Modul. Notieren Sie sich am Ende des Semesters die zwei Änderungen, die es sich lohnt, beim nächsten Mal vorzunehmen, solange der Kontext noch frisch ist.

Das sind weniger als eine Stunde pro Semester, und dieser Aufwand summiert sich. Mit jedem Durchgang werden Ihre Inhalte für die Studierenden ein wenig leichter zu bearbeiten – ein Ziel, das weitaus leichter zu erreichen ist, als alles auf einmal zu verbessern.

Die Aufzeichnungen werden bereits erstellt. Die Daten liegen bereits vor. Es kostet kaum etwas, mit der Auswertung zu beginnen. Der Einstieg in Mediasite Analytics war noch nie so einfach. Wenn Sie Fragen zu den Möglichkeiten haben, wenden Sie sich gerne an unsere Solutions Engineers oder über unseren Mediasite-Community.