De herhaling analyseren: wat de kijkcijfers van studenten je vertellen over hoe je inhoud wordt gebruikt

De meeste docenten maken voor het eerst kennis met videoanalyse in een ietwat ongemakkelijke situatie. Iemand van de IT-afdeling of het onderwijscentrum laat een dashboard zien, er staan heel veel cijfers op, en de impliciete vraag is: "Kijken de studenten wel?"

Dat is een terechte vraag, maar niet erg interessant. Bovendien zet het de verkeerde toon, omdat het een rijke bron van inzichten verandert in iets dat aanvoelt als een controle-oefening.

Er is een nuttigere manier om ermee aan de slag te gaan. Je opnames worden niet alleen bekeken, ze worden ook daadwerkelijk gebruikt. Studenten bekijken ze de avond voor een toets nog eens, werken een demonstratie een tweede keer door voordat ze het zelf proberen, en duiken weken na afloop weer in een sessie omdat iets in een later onderwerp hen ernaar terugbracht. De kijkcijfers vormen een weergave van dat studiegedrag en zijn een van de weinige manieren waarop je inzicht krijgt in wat er gebeurt nadat studenten de zaal hebben verlaten.

Als je het op die manier leest, is het geen oefening in het volgen van de tekst meer, maar lijkt het meer op een gesprek.

Begin met een vraag, niet met een dashboard

De snelste manier om niets uit analytics te halen, is door het rapportscherm te openen en er zomaar doorheen te bladeren. Er is altijd wel iets te zien, maar bijna niets daarvan zegt op zichzelf veel.

Neem in plaats daarvan een vraag mee die je al hebt. De meeste docenten hebben er tijdens een semester altijd wel twee of drie bij zich:

• Gebruiken de studenten het materiaal ter voorbereiding op het seminar vóór de sessie, of erna?
• Heeft iemand nog eens gekeken naar de opname die ik heb gemaakt voor het wat lastigere onderwerp van week vijf?
• Wordt het extra materiaal dat ik vorig jaar heb geproduceerd nog steeds gebruikt?

Het bekijken van gegevens geeft een goed antwoord op dit soort vragen. Het geeft echter een zeer slecht antwoord op de vraag "Hoe gaat het met de module?". Begin met een beperkte blik, dan worden de cijfers begrijpelijk.

Wat Mediasite je eigenlijk laat zien

Het is handig om te weten hoe de gegevens eruitzien voordat je ze interpreteert, en hoe je er überhaupt aan komt.

De rapportage van Mediasite is aanpasbaar, wat belangrijker is dan het klinkt. In plaats van je alles in één keer te geven, kan een rapport precies worden afgestemd op datgene waarvoor jij verantwoordelijk bent. Een docent die Economie 101 geeft, kan een gebruikersstatistiekenrapport laten opstellen dat betrekking heeft op zijn of haar cursusmap en kanaal, beperkt tot de vijftig studenten van die jaargang. Alles wat hij of zij ziet, is dan relevant voor hem of haar, en verder niets.

In dat rapport wordt op het hoogste niveau de klas als geheel weergegeven in grafieken en heatmaps. Je kunt vervolgens, indien nodig, doorklikken naar de gegevens van een individuele leerling. Meestal is dat echter niet nodig, en er zijn goede redenen om op het geaggregeerde niveau te blijven; hierop wordt verderop ingegaan.

Als je nog nooit zo’n rapport voor je eigen module hebt gezien, is dat het eerste wat je aan je Mediasite-beheerder of onderwijscentrum moet vragen. Het is een eenmalige instelling, en het maakt alles hieronder aanzienlijk eenvoudiger.

Wat de inhoud betreft die onder het rapport valt, behandelt het rapport het volgende:

Weergaven. Hoe vaak de inhoud is geopend.

Tijd. Totale kijktijd, weergegeven in uren, minuten en seconden.

Dekking. Het percentage van de video dat is bekeken. Op het hoogste niveau van een rapport geeft dit een overzicht van al je kijkers samen, en je kunt inzoomen op een individuele leerling om diens gegevens te bekijken.

Bereik. De datum waarop de film voor het eerst werd bekeken en de datum waarop hij voor het laatst werd bekeken.

Trends bekijken. Een heatmap die laat zien welke delen van de video het meest zijn bekeken.

Datum activiteit. Een grafiek die laat zien op welke data het aantal weergaven het hoogst was.

Platforms. De apparaten en browsers die worden gebruikt om te kijken, zoals Mac, Windows of Chrome.

Zeven eenvoudige maatregelen. De waarde zit bijna volledig in de manier waarop je ze in hun onderlinge samenhang bekijkt.

Trends in het studiegedrag: waar studenten hun energie in steken

De heatmap is de interessantste van de reeks, en de meest misleidende.

Wanneer een bepaald deel van een opname duidelijk vaker wordt bekeken dan de rest, is de neiging groot om dit als een probleem te zien, alsof de studenten zich niet met de volledige stof bezighouden. In de praktijk is het meestal een teken dat de studenten het belangrijkste deel correct hebben geïdentificeerd en daar dan ook tijd aan besteden. Dat is precies wat je wilt dat ze doen.

De nuttige vervolgvragen zijn niet "wat heb ik daar verkeerd gedaan?" of "waarom hebben ze die delen van de video overgeslagen?", maar iets eenvoudigers, zoals: "is dat deel makkelijk om mee te werken?"

Soms is dat duidelijk het geval, en het veelvuldig bekijken weerspiegelt dan gewoon een veeleisend idee dat meer dan één keer bekeken moet worden. Sommige concepten zijn nu eenmaal zo, en herhaling is dan precies de juiste aanpak.

Soms wijst het juist op iets praktischs. Materiaal dat op het scherm erg compact overkomt, een diagram waarnaar al wordt verwezen voordat het in beeld komt, of een stuk waarin je snel veel stof hebt behandeld omdat de tijd drong. Dit zijn geen mislukkingen in het lesgeven. Het zijn de gebruikelijke compromissen van live-onderwijs, en video is een van de weinige manieren waarop je ze überhaupt kunt opmerken.

Als een hoofdstuk veel werk voor studenten met zich meebrengt, is een korte aanvullende opname van twee of drie minuten vaak de beste manier om je tijd te besteden. Het kost nauwelijks iets en het richt zich precies op de stof waarvan studenten je al hebben laten weten dat ze die belangrijk vinden. Het is ook een uitstekend moment om Mediasite Capture te gebruiken, zodat je snel video's kunt opnemen in je browser of op je mobiele telefoon voor deze korte overzichtsvideo's.

Een praktische tip: let op patronen die zich in verschillende jaargangen herhalen. Een heatmap van één semester kan al door een handvol studenten worden beïnvloed. Als hetzelfde patroon twee jaar op rij terugkomt, zegt dat iets meer.

Dekking en bereik: hoe studenten echt studeren

Dekking en bereik zijn stille maatstaven die wat aandacht verdienen.

Een lage dekking binnen een groep is niet automatisch een probleem. Studenten komen vaak naar een opname op zoek naar één specifiek onderdeel, vinden dat en vertrekken weer. Dat is efficiënt gedrag en een teken dat je inhoud overzichtelijk is, met name bij langere sessies. De dekking wordt pas echt interessant wanneer je verwachtte dat een opname van begin tot eind zou worden bekeken, zoals bij een korte inleiding, en dat consequent niet gebeurt.

Omdat de gegevens anders worden geïnterpreteerd naargelang waar je je in het rapport bevindt, is het de moeite waard om voor jezelf duidelijk te maken welke vraag je precies stelt. Het cijfer op klasseniveau geeft aan hoe een bepaald stuk inhoud in het algemeen wordt gebruikt. Een individueel cijfer geeft inzicht in het studiepatroon van één student; dat is een andere vraag met andere implicaties, en een die meestal thuishoort in een gesprek met die student in plaats van in een spreadsheet.

De reikwijdte zegt meer dan je op het eerste gezicht zou denken. Een groot tijdsverschil tussen de eerste en de laatste kijkdatum geeft aan dat een stukje inhoud een lange levensduur heeft. Het werd bekeken toen het werd uitgebracht, en veel later nogmaals, meestal tijdens de herhaling of wanneer een gerelateerd onderwerp de studenten er weer naar terugbracht. Inhoud met een groot bereik is je meest herbruikbare materiaal, en het is de moeite waard om te weten welke opnames in die categorie vallen voordat je beslist wat je tijdens de zomer gaat bijwerken.

Datum activiteit: het ritme van je module

De grafiek met activiteitsgegevens laat zien wanneer er wordt bekeken, en het patroon komt doorgaans goed overeen met de piekmomenten van je module.

Het is volkomen normaal dat er clusters ontstaan vóór toetsen. Wat de moeite waard is om op te merken, is waar die clusters zich bevinden ten opzichte van je plannen. Als materiaal dat bedoeld is om studenten voor te bereiden op een seminar, vooral de avond erna wordt bekeken, is dat nuttig om te weten, en meestal is dat een kwestie van planning of begeleiding in plaats van motivatie. Door het materiaal eerder beschikbaar te stellen, of er explicieter naar te verwijzen in de wekelijkse communicatie, verandert het patroon vaak vanzelf.

Platforms: een kleine maatstaf met praktische gevolgen

Er wordt zelden aandacht besteed aan platformgegevens, maar ze hebben wel een heel praktisch nut. Als een aanzienlijk deel van het kijkgedrag plaatsvindt op kleinere schermen, heeft dat gevolgen voor de manier waarop je dia’s opstelt.

Gedetailleerde tabellen, kleine aantekeningen en gedetailleerde diagrammen komen op een telefoon heel anders over dan op een projector. Weten waar je lesmateriaal wordt bekeken, is een eenvoudige manier om het gebruiksvriendelijker te maken, en daar heeft elke student baat bij, niet slechts een paar.

Wat de gegevens je niet vertellen

Juist omdat we eerlijk zijn over de beperkingen, is de rest geloofwaardig.

Uit de kijkcijfers kun je afleiden dat iemand een bepaald deel heeft bekeken. Je kunt er echter niet uit opmaken of die persoon het ook heeft begrepen. Het geeft geen beeld van de student die samen met een vriend(in) op één scherm heeft gekeken, of die het transcript heeft gelezen in plaats van te kijken, of die heeft gepauzeerd omdat de deurbel ging.

Omdat je tot op het niveau van een individuele leerling kunt inzoomen, is het de moeite waard om goed na te denken over wanneer je dat doet. Het overzicht op klasseniveau geeft antwoord op bijna alle vragen die je waarschijnlijk hebt over je lesmateriaal, en daar zou je het grootste deel van je tijd aan moeten besteden. Gegevens op individueel niveau hebben zeker hun nut, meestal wanneer je een specifieke leerling al begeleidt en die leerling weet waarom je de gegevens bekijkt, maar het is geen instrument voor algemeen gebruik.

Dit alles te beschouwen als een verbetering van de lesinhoud in plaats van als controle op de aanwezigheid, is niet alleen juister, maar ook veel beter voor het vertrouwen dat je in de klas geniet. Je instelling heeft richtlijnen opgesteld over het gebruik van studentengegevens, en het is de moeite waard om die te lezen voordat je begint, in plaats van erna.

Beschouw het als één van de vele bronnen van informatie, naast de vragen die je na de les krijgt, de onderwerpen die tijdens het spreekuur aan de orde komen en de resultaten van de toetsen.

Maak er een gewoonte van, geen project

De docenten die hier het meeste profijt van hebben, voeren niet één keer per jaar een grondige analyse uit. Ze besteden er twee keer per semester een kwartier aan.

Een werkbaar ritme ziet er als volgt uit. Vraag vóór het begin van het semester om een rapport dat is toegespitst op je cursusmap en je groep, zodat de gegevens al voor je klaarstaan in plaats van dat je ze zelf moet gaan verzamelen. Bekijk rond week vier de kijkcijfers van de twee of drie opnames over stof die studenten doorgaans moeilijk vinden, en kijk gewoon waar de aandacht naartoe gaat. Bekijk rond week negen in het kort de dekking en de activiteit per datum binnen de module. Schrijf aan het einde van het semester, terwijl de context nog vers in je geheugen ligt, de twee veranderingen op die de volgende keer de moeite waard zijn om door te voeren.

Dat is minder dan een uur per semester, en het effect stapelt zich op. Elke keer dat je de stof doorneemt, wordt deze voor studenten iets toegankelijker, wat een veel haalbaarder doel is dan alles in één keer te verbeteren.

De opnames worden al gemaakt. De gegevens zijn al beschikbaar. Het kost bijna niets om ernaar te gaan luisteren. Aan de slag gaan met Mediasite Analytics was nog nooit zo eenvoudig. Als u vragen heeft over de mogelijkheden, aarzel dan niet om contact op te nemen met onze Solutions Engineers of via onze Mediasite-community.