Analisi dei replay: cosa rivelano i dati di visualizzazione degli studenti sull’utilizzo dei tuoi contenuti

La maggior parte dei docenti si trova ad affrontare l’analisi dei dati video in un contesto un po" imbarazzante. Qualcuno del reparto IT o del centro didattico condivide una dashboard, su cui compaiono molti numeri, e la domanda implicita è: "Gli studenti stanno guardando?»

È una domanda legittima, ma non particolarmente interessante. Inoltre, crea un’atmosfera sbagliata, perché trasforma una ricca fonte di spunti di riflessione in qualcosa che sembra quasi un esercizio di controllo.

Esiste un approccio più efficace. Le tue registrazioni non vengono semplicemente guardate, ma vengono utilizzate. Gli studenti le rivedono la sera prima di una verifica, ripassano una dimostrazione una seconda volta prima di provarci da soli e tornano a una sessione anche settimane dopo che si è svolta, perché un concetto trattato in un argomento successivo li ha spinti a ricontrollarla. I dati di visualizzazione rappresentano una traccia di tale studio e costituiscono una delle poche finestre attraverso cui è possibile osservare ciò che accade dopo che gli studenti hanno lasciato l’aula.

Letta in questo modo, smette di essere un esercizio di monitoraggio e diventa qualcosa di più simile a una conversazione.

Inizia con una domanda, non con un dashboard

Il modo più veloce per non ricavare nulla dall'analisi dei dati è aprire la vista dei report e dare un'occhiata. C'è sempre qualcosa da guardare, ma quasi nulla di tutto ciò ha un significato di per sé.

Porta invece una domanda che hai già in mente. La maggior parte dei docenti ne ha sempre due o tre di questo tipo durante il semestre:

• Gli studenti utilizzano il materiale preparatorio prima della sessione o dopo?
• Qualcuno ha dato un'occhiata alla registrazione che ho fatto sull'argomento più complesso della quinta settimana?
• Il materiale aggiuntivo che ho prodotto l'anno scorso viene ancora utilizzato?

L'analisi dei dati risponde bene a domande come queste. In cambio, risponde molto male alla domanda "come sta andando il modulo?". Partendo da un ambito ristretto, i numeri diventano più chiari.

Cosa mostra effettivamente Mediasite

È utile conoscere la struttura dei dati prima di interpretarli, e capire innanzitutto come si ottengono.

La reportistica Mediasite è configurabile, il che è più importante di quanto possa sembrare. Anziché fornire tutte le informazioni in una volta sola, è possibile limitare l’ambito di un report esattamente alle proprie responsabilità. Un docente che tiene il corso di Economia 101 può impostare un “Report sulle statistiche degli utenti” che copra la cartella e il canale del proprio corso, limitandolo ai cinquanta studenti di quella classe. Tutto ciò che vedono è quindi rilevante per loro, e nient’altro lo è.

In quel rapporto, il livello superiore mostra l'intera classe tramite grafici e mappe di calore. Se necessario, è possibile cliccare sul profilo di un singolo studente. Nella maggior parte dei casi non sarà necessario, e ci sono validi motivi per rimanere al livello aggregato, come verrà spiegato più avanti.

Se non avete mai visto un rapporto di questo tipo relativo al vostro modulo, questa è la prima cosa che dovete chiedere al vostro amministratore Mediasite o al centro didattico. Si tratta di una configurazione una tantum che semplifica notevolmente tutte le operazioni descritte di seguito.

Per quanto riguarda i contenuti oggetto dell'analisi, la relazione tratta i seguenti aspetti:

Visualizzazioni. Quante volte il contenuto è stato aperto.

Il tempo. Tempo totale di visione, espresso in ore, minuti e secondi.

Copertura. La percentuale del video visualizzata. A livello generale di un report, questo dato riflette i dati complessivi dei tuoi spettatori; puoi però approfondire i dati relativi a un singolo studente per visualizzare i suoi dati specifici.

Gamma. La data della prima visione e quella dell'ultima visione.

Analisi delle tendenze. Una mappa termica che mostra quali parti del video sono state guardate di più.

Data dell'attività. Un grafico che mostra in quali date si è registrato il maggior numero di visualizzazioni.

Piattaforme. I dispositivi e i browser utilizzati per la visione, come Mac, Windows o Chrome.

Sette semplici misure. Il loro valore risiede quasi interamente nel modo in cui le si interpreta nel loro insieme.

Tendenze di studio: in quali materie gli studenti si impegnano maggiormente

La mappa termica è la più interessante dell’insieme, ma anche quella più soggetta a interpretazioni errate.

Quando una parte di una registrazione registra un numero di visualizzazioni nettamente superiore rispetto al resto, l’istinto è quello di considerarla un problema, come se gli studenti non stessero seguendo l’intero materiale. In realtà, di solito è un segno che gli studenti hanno individuato correttamente la parte più importante e stanno dedicandole il tempo necessario. Ed è proprio quello che vorresti che facessero.

Le domande utili da porsi in seguito non sono "cosa ho sbagliato lì?" o "perché hanno saltato quelle parti del video?", ma qualcosa di più semplice, come: "quella parte è facile da seguire?"."

A volte è proprio così, e la visione approfondita riflette semplicemente un’idea complessa che richiede più di una visione. Alcuni concetti sono di questo tipo, e la ripetizione è esattamente la risposta giusta.

A volte, invece, si tratta semplicemente di aspetti pratici. Contenuti che risultano un po’ densi sullo schermo, un diagramma a cui si fa riferimento prima che appaia, o un passaggio in cui hai trattato rapidamente molti argomenti perché il tempo a disposizione era poco. Nessuno di questi è un errore didattico. Sono i normali compromessi dell’insegnamento dal vivo, e il video è uno dei pochi mezzi che permette di notarli.

Quando una sezione richiede molto impegno agli studenti, una breve registrazione supplementare di due o tre minuti rappresenta spesso il miglior uso possibile del vostro tempo. Il costo è minimo e si concentra esattamente sugli argomenti che gli studenti vi hanno già segnalato come importanti. È anche un'ottima occasione per utilizzare Mediasite Capture, che consente di registrare rapidamente video direttamente dal browser o dal cellulare per realizzare questi brevi video di sintesi.

Un consiglio pratico: cercate gli schemi che si ripetono tra una coorte e l’altra. Una mappa termica relativa a un singolo semestre può essere influenzata da una manciata di studenti. Se lo stesso andamento si ripete per due anni consecutivi, ciò indica una tendenza più consolidata.

Copertura e portata: come studiano davvero gli studenti

La copertura e la portata sono parametri spesso trascurati che meritano invece un po’ di attenzione.

Una bassa copertura all’interno di un gruppo non è automaticamente un problema. Spesso gli studenti accedono a una registrazione alla ricerca di un contenuto specifico, lo trovano e se ne vanno. Si tratta di un comportamento efficiente e di un segno che i tuoi contenuti sono facilmente navigabili, in particolare nel caso di sessioni più lunghe. La copertura diventa più interessante quando ti aspetti che una registrazione venga guardata dall’inizio alla fine, come nel caso di una breve introduzione, e ciò non avviene in modo sistematico.

Poiché i dati risultano diversi a seconda della sezione del rapporto in cui ci si trova, è opportuno chiarire a se stessi quale domanda si sta ponendo. Il dato a livello di classe indica come viene utilizzato un determinato contenuto nel complesso. Un dato individuale fornisce informazioni sulle abitudini di studio di un singolo studente: si tratta di una questione diversa, con implicazioni diverse, che di solito va affrontata in una conversazione con lo studente stesso piuttosto che in un foglio di calcolo.

La durata di visualizzazione è più indicativa di quanto possa sembrare a prima vista. Un ampio intervallo tra la prima e l’ultima data di visualizzazione indica che un contenuto ha una lunga durata. È stato guardato al momento della pubblicazione e poi di nuovo molto tempo dopo, solitamente durante il ripasso o quando un argomento correlato ha riportato gli studenti su quel contenuto. I contenuti con un intervallo di tempo esteso rappresentano il materiale più riutilizzabile; vale quindi la pena individuare quali registrazioni rientrano in questa categoria prima di decidere cosa aggiornare durante l’estate.

Data dell'attività: il ritmo del tuo modulo

Il grafico delle attività relative alle date mostra quando avvengono le visualizzazioni, e il andamento di solito corrisponde perfettamente ai punti di pressione del modulo.

È del tutto normale che si verifichino picchi di attività prima delle valutazioni. Ciò che vale la pena notare è dove si collocano tali picchi rispetto alle vostre intenzioni. Se il materiale pensato per preparare gli studenti a un seminario viene guardato principalmente la sera successiva, è utile saperlo, e solitamente si tratta di una questione di programmazione o di indicazioni piuttosto che di motivazione. Pubblicarlo prima, o menzionarlo in modo più esplicito nelle comunicazioni settimanali, spesso basta a modificare il modello di fruizione.

Piattaforme: un indicatore di piccole dimensioni con conseguenze pratiche

I dati relativi alle piattaforme vengono raramente presi in considerazione, ma hanno un’utilità molto concreta. Se una quota significativa delle visualizzazioni avviene su schermi più piccoli, ciò ha delle implicazioni sul modo in cui si creano le diapositive.

Tabelle dettagliate, piccole annotazioni e diagrammi complessi si presentano in modo molto diverso su uno smartphone rispetto a un proiettore. Sapere dove vengono visualizzati i tuoi contenuti è un modo semplice per renderli più facili da usare, a vantaggio di tutti gli studenti e non solo di alcuni.

Ciò che i dati non ti diranno

È proprio l'onestà riguardo ai propri limiti a rendere credibile tutto il resto.

I dati di visualizzazione possono indicare che qualcuno era presente durante una lezione. Non possono però dire se l’abbia compresa. Non tengono conto dello studente che ha guardato la lezione insieme a un amico su un unico schermo, di chi ha letto la trascrizione invece di guardare il video, o di chi ha messo in pausa perché è suonato il campanello.

Poiché è possibile approfondire i dati fino al singolo studente, vale la pena riflettere attentamente su quando farlo. La visualizzazione a livello di classe risponde a quasi tutte le domande che potresti avere sui tuoi contenuti, ed è lì che dovresti dedicare la maggior parte del tuo tempo. I dati individuali hanno una loro legittima utilità, solitamente quando si sta già fornendo supporto a uno studente specifico e questi è consapevole del motivo per cui si sta esaminando la sua situazione, ma non si tratta di uno strumento di uso generale.

Inquadrare tutto ciò come un miglioramento dei contenuti piuttosto che come un monitoraggio delle presenze è non solo più corretto, ma anche molto più vantaggioso per il clima di fiducia che si instaura in aula. Il vostro istituto metterà a disposizione delle linee guida sull’uso dei dati degli studenti, ed è opportuno leggerle prima di iniziare, piuttosto che dopo.

Consideralo come uno dei tanti elementi da valutare, insieme alle domande che ti vengono poste dopo la lezione, a ciò che emerge durante gli orari di ricevimento e ai risultati delle valutazioni.

Fanne un'abitudine, non un progetto

I docenti che traggono il massimo beneficio da questo metodo non effettuano un’analisi approfondita una volta all’anno, ma vi dedicano quindici minuti due volte a semestre.

Un ritmo efficace potrebbe essere questo. Prima dell’inizio del semestre, richiedi un report limitato alla cartella del tuo corso e al tuo gruppo di studenti, in modo che i dati siano già a tua disposizione invece di doverli raccogliere tu stesso. Intorno alla quarta settimana, consulta le tendenze di visualizzazione relative alle due o tre registrazioni che trattano argomenti che gli studenti trovano tradizionalmente impegnativi e osserva semplicemente dove si concentra l’attenzione. Intorno alla nona settimana, dai un'occhiata alla copertura dei contenuti e all'attività relativa alle date nell'ambito del modulo. Alla fine del semestre, annota i due cambiamenti che vale la pena apportare la prossima volta, finché il contesto è ancora fresco nella tua mente.

Si tratta di meno di un’ora nell’arco di un semestre, e l’effetto è cumulativo. Ogni revisione rende i tuoi contenuti un po’ più accessibili agli studenti, il che è un obiettivo molto più realizzabile rispetto a cercare di migliorare tutto in una volta.

Le registrazioni sono già in corso. I dati sono già disponibili. Iniziare ad analizzarli costa pochissimo. Iniziare a utilizzare Mediasite Analytics non è mai stato così facile. Se avete domande sulle possibilità offerte, non esitate a contattare i nostri ingegneri delle soluzioni o tramite il nostro Comunità Mediasite.