De herhaling analyseren: wat de kijkgegevens van studenten je vertellen over hoe je inhoud wordt gebruikt

De meeste docenten maken voor het eerst kennis met videoanalyse in een ietwat ongemakkelijke situatie. Iemand van de IT-afdeling of het onderwijscentrum laat een dashboard zien, er staan heel veel cijfers op, en de impliciete vraag is: “Kijken de studenten wel?”

Dat is een terechte vraag, maar niet erg interessant. Bovendien zet het de verkeerde toon, omdat het een rijke bron van inzichten verandert in iets dat aanvoelt als een controle-oefening.

Er is een nuttigere manier om hiermee aan de slag te gaan. Je opnames worden niet alleen bekeken, maar ook daadwerkelijk gebruikt. Studenten kijken ze de avond voor een toets nog eens terug, nemen een demonstratie een tweede keer door voordat ze het zelf proberen, en duiken weken na afloop weer in een sessie omdat iets in een later onderwerp hen ernaar terugbracht. De kijkcijfers vormen een weergave van dat studiegedrag en zijn een van de weinige manieren om inzicht te krijgen in wat er gebeurt nadat studenten het lokaal hebben verlaten.

Als je het op die manier leest, is het geen oefening in het volgen van de tekst meer, maar lijkt het meer op een gesprek.

Begin met een vraag, niet met een dashboard

De snelste manier om niets uit analytics te halen, is door de rapportageweergave te openen en er zomaar wat doorheen te bladeren. Er is altijd wel iets te zien, maar bijna niets daarvan zegt op zichzelf veel.

Neem in plaats daarvan een vraag mee die je al hebt. De meeste docenten hebben er tijdens een semester altijd wel twee of drie bij zich:

• Gebruiken de studenten het voorbereidingsmateriaal vóór de sessie of daarna?
• Heeft iemand nog eens gekeken naar de opname die ik heb gemaakt voor het wat lastigere onderwerp van week vijf?
• Wordt het extra materiaal dat ik vorig jaar heb geproduceerd nog steeds gebruikt?

Het bekijken van gegevens geeft een goed antwoord op dit soort vragen. Het geeft echter een zeer slecht antwoord op de vraag “hoe gaat het met de module?”. Begin klein, dan worden de cijfers overzichtelijker.

Wat Mediasite je eigenlijk laat zien

Het is handig om te weten hoe de gegevens eruitzien voordat je ze interpreteert, en hoe je er überhaupt aan komt.

De rapportage van Mediasite is aanpasbaar, en dat is belangrijker dan het klinkt. In plaats van je alles in één keer te geven, kan een rapport precies worden afgestemd op datgene waarvoor jij verantwoordelijk bent. Een docent die Economie 101 geeft, kan een gebruikersstatistiekenrapport instellen dat betrekking heeft op zijn cursusmap en -kanaal, beperkt tot de vijftig studenten van die jaargang. Alles wat hij of zij te zien krijgt, is dan relevant voor hem of haar, en verder niets.

In dat rapport wordt op het hoogste niveau de klas als geheel weergegeven in grafieken en heatmaps. Je kunt vervolgens, indien nodig, doorklikken naar een individuele leerling. Meestal is dat echter niet nodig, en er zijn goede redenen om op het geaggregeerde niveau te blijven; hierop wordt verderop ingegaan.

Als je nog nooit zo’n rapport voor je eigen module hebt gezien, is dat het eerste wat je aan je Mediasite-beheerder of onderwijscentrum moet vragen. Het is een eenmalige instelling, en het maakt alles wat hieronder volgt aanzienlijk eenvoudiger.

Wat de inhoud betreft die onder het rapport valt, behandelt het rapport het volgende:

Weergaven. Hoe vaak de inhoud is geopend.

Tijd. Totale kijktijd, weergegeven in uren, minuten en seconden.

Dekking. Het percentage van de video dat is bekeken. Op het hoogste niveau van een rapport geeft dit een overzicht van al je kijkers samen, en je kunt inzoomen op een individuele leerling om diens gegevens te bekijken.

Bereik. De datum waarop de film voor het eerst werd bekeken en de datum waarop hij voor het laatst werd bekeken.

Trends bekijken. Een heatmap die laat zien welke delen van de video het meest zijn bekeken.

Datum activiteit. Een grafiek die laat zien op welke data het aantal weergaven het hoogst was.

Platforms. De apparaten en browsers die worden gebruikt om te kijken, zoals Mac, Windows of Chrome.

Zeven eenvoudige maatregelen. De waarde zit bijna volledig in de manier waarop je ze in hun onderlinge samenhang bekijkt.

Trends in het studiegedrag: waar studenten hun energie in steken

De heatmap is de interessantste van het geheel, en de gemakkelijkste om verkeerd te interpreteren.

Wanneer een bepaald deel van een opname merkbaar vaker wordt bekeken dan de rest, is de neiging groot om dit als een probleem te zien, alsof de studenten zich niet met de volledige stof bezighouden. In de praktijk is het meestal een teken dat de studenten het belangrijkste deel correct hebben herkend en daar dan ook tijd aan besteden. Dat is precies wat je wilt dat ze doen.

De nuttige vervolgvragen zijn niet “Wat heb ik daar verkeerd gedaan?” of “Waarom hebben ze die delen van de video overgeslagen?”, maar iets eenvoudigers, zoals: “Is dat deel makkelijk om mee te werken?”

Soms is dat duidelijk het geval, en het veelvuldig bekijken weerspiegelt dan gewoon een veeleisend idee dat meer dan één keer bekeken moet worden. Sommige concepten zijn nu eenmaal zo, en herhaling is dan precies de juiste aanpak.

Soms gaat het juist om iets praktischs. Materiaal dat op het scherm erg compact overkomt, een diagram waarnaar wordt verwezen voordat het in beeld komt, of een stuk waarin je snel veel stof hebt behandeld omdat de tijd krap was. Dit zijn geen mislukkingen in het lesgeven. Het zijn de gebruikelijke compromissen van een live-presentatie, en video is een van de weinige manieren waarop je ze überhaupt kunt opmerken.

Als een hoofdstuk veel werk voor studenten met zich meebrengt, is een korte aanvullende opname van twee of drie minuten vaak de beste manier om je tijd te besteden. Het kost bijna niets en richt zich precies op de stof waarvan studenten je al hebben laten weten dat ze die belangrijk vinden. Het is ook een uitstekend moment om Mediasite Capture te gebruiken om snel video's op te nemen in je browser of op je mobiele telefoon voor deze korte overzichtsvideo's.

Een praktische opmerking: let op patronen die zich in verschillende cohorten herhalen. Een heatmap van één semester kan al door een handvol studenten worden beïnvloed. Als hetzelfde patroon twee jaar op rij terugkomt, zegt dat iets meer over de werkelijke situatie.

Dekking en bereik: hoe studenten werkelijk studeren

Dekking en bereik zijn stille maatstaven die de moeite waard zijn om even bij stil te staan.

Een lage dekking binnen een groep is niet per se een probleem. Studenten komen vaak naar een opname op zoek naar één specifiek onderdeel, vinden dat en gaan weer weg. Dat is efficiënt gedrag en een teken dat je inhoud overzichtelijk is, vooral bij langere sessies. De dekking wordt pas interessant wanneer je verwachtte dat een opname van begin tot eind zou worden bekeken, zoals bij een korte inleiding, en dat gebeurt consequent niet.

Omdat de gegevens anders worden geïnterpreteerd naargelang waar je je in het rapport bevindt, is het de moeite waard om voor jezelf duidelijk te maken welke vraag je precies stelt. Het cijfer op klasseniveau geeft aan hoe een bepaald stuk inhoud in het algemeen wordt gebruikt. Een individueel cijfer geeft inzicht in het studiepatroon van één student; dat is een andere vraag met andere implicaties, en een vraag die meestal thuishoort in een gesprek met die student in plaats van in een spreadsheet.

De reikwijdte zegt meer dan je op het eerste gezicht zou denken. Een groot tijdsverschil tussen de eerste en de laatste kijkdatum geeft aan dat een stukje inhoud een lange levensduur heeft. Het werd bekeken toen het werd uitgebracht, en veel later nogmaals, meestal tijdens de herhaling of wanneer een gerelateerd onderwerp de studenten er weer op attent maakte. Inhoud met een groot bereik is je meest herbruikbare materiaal, en het is de moeite waard om te weten welke opnames in die categorie vallen voordat je beslist wat je tijdens de zomer gaat bijwerken.

Datum activiteit: het ritme van je module

De grafiek met activiteitsgegevens laat zien wanneer er wordt bekeken, en het patroon komt doorgaans goed overeen met de piekmomenten van je module.

Het is volkomen normaal dat er clusters ontstaan vóór de toetsen. Wat de moeite waard is om op te merken, is waar die clusters zich bevinden ten opzichte van je bedoelingen. Als materiaal dat bedoeld is om studenten voor te bereiden op een seminar, vooral de avond erna wordt bekeken, is dat nuttig om te weten, en meestal is dat een kwestie van planning of begeleiding in plaats van een motivatiekwestie. Door het materiaal eerder beschikbaar te stellen of er explicieter naar te verwijzen in de wekelijkse communicatie, verandert het patroon vaak vanzelf.

Platforms: een kleine maatstaf met praktische gevolgen

Er wordt zelden aandacht besteed aan platformgegevens, maar ze hebben wel een heel praktisch nut. Als een aanzienlijk deel van het kijkverkeer via kleinere schermen verloopt, heeft dat gevolgen voor de manier waarop je dia’s opstelt.

Gedetailleerde tabellen, kleine aantekeningen en gedetailleerde diagrammen komen op een telefoon heel anders over dan op een projector. Als je weet waar je lesmateriaal wordt bekeken, kun je het op een eenvoudige manier gebruiksvriendelijker maken, en daar hebben alle studenten baat bij, niet slechts een paar.

Wat de gegevens je niet vertellen

Juist omdat we eerlijk zijn over de beperkingen, is de rest geloofwaardig.

Uit de kijkcijfers kun je opmaken dat iemand een bepaald deel heeft bekeken. Je kunt er echter niet uit afleiden of die persoon het ook heeft begrepen. Het geeft geen beeld van de student die samen met een vriend op één scherm heeft gekeken, of die het transcript heeft gelezen in plaats van te kijken, of die heeft gepauzeerd omdat de deurbel ging.

Omdat je tot op het niveau van een individuele leerling kunt inzoomen, is het de moeite waard om goed na te denken over wanneer je dat doet. Het overzicht op klasseniveau geeft antwoord op bijna alle vragen die je waarschijnlijk hebt over je lesmateriaal, en daar zou je het grootste deel van je tijd aan moeten besteden. Gegevens op individueel niveau hebben zeker hun nut, meestal wanneer je al een specifieke leerling begeleidt en deze weet waarom je de gegevens bekijkt, maar het is geen instrument voor algemeen gebruik.

Dit alles te beschouwen als een verbetering van de lesinhoud in plaats van als controle op de aanwezigheid is niet alleen nauwkeuriger, maar ook veel beter voor het vertrouwen waarop je in de klas steunt. Je instelling heeft richtlijnen opgesteld over het gebruik van studentengegevens, en het is de moeite waard om die te lezen voordat je begint, in plaats van erna.

Beschouw het als één van de vele inputbronnen, naast de vragen die je na de les krijgt, wat er tijdens spreekuren ter sprake komt en hoe de toetsen uitvallen.

Maak er een gewoonte van, geen project

De docenten die hier het meeste profijt van hebben, voeren niet één keer per jaar een grondige analyse uit. Ze besteden er twee keer per semester een kwartier aan.

Een werkbaar ritme ziet er als volgt uit. Vraag vóór aanvang van het semester om een rapport dat is toegespitst op je cursusmap en je groep, zodat de gegevens al voor je klaarstaan in plaats van dat je ze zelf moet gaan verzamelen. Bekijk rond week vier de kijkcijfers van de twee of drie opnames over stof die studenten doorgaans moeilijk vinden, en kijk gewoon waar de aandacht naar uitgaat. Bekijk rond week negen in het kort de dekking en de activiteit per datum binnen de module. Schrijf aan het einde van het semester, terwijl de context nog vers in het geheugen ligt, de twee veranderingen op die de volgende keer de moeite waard zijn om door te voeren.

Dat is minder dan een uur per semester, en het effect stapelt zich op. Elke herziening maakt je lesmateriaal voor studenten weer een beetje toegankelijker, wat een veel haalbaarder doel is dan alles in één keer te verbeteren.

De opnames worden al gemaakt. De gegevens zijn al beschikbaar. Het kost nauwelijks iets om ernaar te gaan luisteren. Aan de slag gaan met Mediasite Analytics was nog nooit zo eenvoudig. Als u vragen heeft over de mogelijkheden, aarzel dan niet om contact op te nemen met onze Solutions Engineers of via onze Mediasite-gemeenschap.