Analisi dei replay: cosa rivelano i dati di visualizzazione degli studenti sull’utilizzo dei tuoi contenuti

La maggior parte dei docenti si trova ad affrontare l'analisi dei dati video in un contesto un po“ imbarazzante. Qualcuno del reparto IT o del centro didattico condivide una dashboard, su cui compaiono molti numeri, e la domanda implicita è: ”Gli studenti stanno guardando?»

È una domanda legittima, ma non particolarmente interessante. Inoltre, crea un’atmosfera sbagliata, perché trasforma una ricca fonte di spunti di riflessione in qualcosa che sembra un esercizio di controllo.

Esiste un approccio più efficace. Le tue registrazioni non vengono semplicemente guardate, ma vengono utilizzate. Gli studenti le rivedono la sera prima di una valutazione, ripassano una dimostrazione una seconda volta prima di provarci da soli e tornano a una sessione anche settimane dopo che si è svolta, perché un concetto trattato in un argomento successivo li ha spinti a ricontrollarla. I dati di visualizzazione sono una traccia di questo processo di studio e rappresentano una delle poche finestre che ti permettono di capire cosa succede dopo che gli studenti lasciano l'aula.

Letta in questo modo, smette di essere un esercizio di monitoraggio e diventa qualcosa di più simile a una conversazione.

Inizia con una domanda, non con un dashboard

Il modo più veloce per non ricavare nulla dall'analisi dei dati è aprire la vista dei report e dare un'occhiata. C'è sempre qualcosa da guardare, ma quasi nulla di tutto ciò ha un significato di per sé.

Porta invece una domanda che hai già in mente. La maggior parte dei docenti ne ha sempre due o tre di questo tipo durante il semestre:

• Gli studenti utilizzano il materiale preparatorio prima o dopo la sessione?
• Qualcuno ha dato un'occhiata alla registrazione che ho fatto sull'argomento più complesso della quinta settimana?
• Il materiale aggiuntivo che ho prodotto l'anno scorso viene ancora utilizzato?

L'analisi dei dati risponde bene a domande come queste. Risponde invece molto male alla domanda “come sta andando il modulo?”. Partite da un ambito ristretto e i numeri diventeranno più chiari.

Cosa mostra effettivamente Mediasite

È utile conoscere la struttura dei dati prima di interpretarli, e capire innanzitutto come si ottengono.

La reportistica Mediasite è configurabile, il che è più importante di quanto possa sembrare. Anziché fornire tutte le informazioni in una volta sola, è possibile limitare l’ambito di un report esattamente alle proprie responsabilità. Un docente che tiene il corso di Economia 101 può impostare un “Report sulle statistiche degli utenti” che copra la cartella del corso e il canale, limitandolo ai cinquanta studenti di quella classe. Tutto ciò che vedono è quindi rilevante per loro, e nient’altro lo è.

In quel rapporto, il livello superiore mostra l’intera classe tramite grafici e mappe di calore. Se necessario, è possibile cliccare su un singolo studente. Nella maggior parte dei casi non sarà necessario, e ci sono validi motivi per rimanere al livello aggregato, come verrà spiegato più avanti.

Se non hai mai visto un report di questo tipo relativo al tuo modulo, questa è la prima cosa che devi chiedere al tuo amministratore Mediasite o al tuo centro didattico. Si tratta di una configurazione da effettuare una sola volta, che semplifica notevolmente tutte le operazioni descritte di seguito.

Per quanto riguarda i contenuti oggetto dell'analisi, il rapporto tratta i seguenti argomenti:

Visualizzazioni. Quante volte il contenuto è stato aperto.

Il tempo. Tempo totale di visione, espresso in ore, minuti e secondi.

Copertura. La percentuale del video visualizzata. A livello generale di un report, questo dato si riferisce all’insieme dei tuoi spettatori; puoi però approfondire i dati relativi a un singolo studente per visualizzare la sua percentuale.

Gamma. La data della prima visione e quella dell'ultima visione.

Analisi delle tendenze. Una mappa termica che mostra quali parti del video sono state guardate di più.

Data dell'attività. Un grafico che mostra in quali date si è registrato il maggior numero di visualizzazioni.

Piattaforme. I dispositivi e i browser utilizzati per la visione, come Mac, Windows o Chrome.

Sette semplici misure. Il loro valore sta quasi interamente nel modo in cui le si interpreta nel loro insieme.

Tendenze di visualizzazione: dove gli studenti concentrano i propri sforzi

La mappa termica è la più interessante dell'insieme e quella che più facilmente si rischia di interpretare in modo errato.

Quando una parte di una registrazione registra un numero di visualizzazioni notevolmente più elevato rispetto al resto, l’istinto è quello di considerarlo un problema, ovvero che gli studenti non stiano approfondendo l’intero materiale. In realtà, di solito è un segno che gli studenti hanno individuato correttamente la parte più importante e stanno dedicandole il tempo necessario. Ed è proprio quello che si vuole che facciano.

Le domande utili da porsi in seguito non sono “cosa ho sbagliato in quel punto?” o “perché hanno saltato quelle parti del video?”, ma qualcosa di più semplice, del tipo: “quella parte è facile da seguire?”.”

A volte è proprio così, e la visione approfondita riflette semplicemente un’idea complessa che richiede più di una lettura. Alcuni concetti sono così, e la ripetizione è esattamente la risposta giusta.

A volte, invece, mette in luce aspetti di natura pratica. Un contenuto che sullo schermo risulta troppo denso, un diagramma a cui si fa riferimento prima che compaia, oppure un passaggio in cui hai trattato rapidamente molti argomenti perché il tempo a disposizione era poco. Nessuno di questi è un fallimento didattico. Si tratta dei normali compromessi che si devono accettare quando si tiene una lezione dal vivo, e il video è uno dei pochi mezzi che permette di notarli.

Quando una sezione richiede molto impegno da parte degli studenti, una breve registrazione supplementare di due o tre minuti rappresenta spesso il miglior uso possibile del vostro tempo. Il costo è minimo e si concentra esattamente sugli argomenti che gli studenti stessi vi hanno già indicato come importanti. È anche un'ottima occasione per utilizzare Mediasite Capture, che ti permette di registrare rapidamente video direttamente dal browser o dal cellulare per realizzare questi brevi video di sintesi.

Un consiglio pratico: cercate gli schemi che si ripetono tra le diverse coorti. Una mappa termica relativa a un singolo semestre può essere influenzata da una manciata di studenti. Se lo stesso andamento si ripete per due anni consecutivi, ciò indica una tendenza più solida.

Copertura e portata: come studiano davvero gli studenti

La copertura e la portata sono parametri spesso sottovalutati che meritano invece un po’ di attenzione.

Una bassa copertura all’interno di un gruppo non è automaticamente un problema. Spesso gli studenti accedono a una registrazione alla ricerca di un contenuto specifico, lo trovano e se ne vanno. Si tratta di un comportamento efficiente e di un segno che i tuoi contenuti sono facilmente navigabili, in particolare nel caso di sessioni più lunghe. La copertura diventa più interessante quando ti aspetti che una registrazione venga guardata dall’inizio alla fine, come nel caso di una breve introduzione, e ciò non avviene in modo sistematico.

Poiché i dati di copertura assumono un significato diverso a seconda della sezione del report in cui ci si trova, è importante chiarire a se stessi quale domanda si sta ponendo. Il dato a livello di classe indica come viene utilizzato un determinato contenuto nel complesso. Un dato individuale fornisce informazioni sulle abitudini di studio di un singolo studente: si tratta di una questione diversa, con implicazioni diverse, che di solito va affrontata in un colloquio diretto con lo studente piuttosto che in un foglio di calcolo.

La durata di visualizzazione è più indicativa di quanto possa sembrare a prima vista. Un ampio intervallo tra la prima e l’ultima data di visualizzazione indica che un contenuto ha una lunga durata. È stato guardato al momento della pubblicazione e poi di nuovo molto tempo dopo, solitamente durante il ripasso o quando un argomento correlato ha richiamato l’attenzione degli studenti. I contenuti con un intervallo di tempo esteso rappresentano il materiale più riutilizzabile; vale quindi la pena individuare quali registrazioni rientrano in questa categoria prima di decidere cosa aggiornare durante l’estate.

Data dell'attività: il ritmo del tuo modulo

Il grafico delle attività relative alle date mostra quando avvengono le visualizzazioni, e tale andamento di solito corrisponde perfettamente ai punti di maggiore traffico del tuo modulo.

È del tutto normale che si verifichino picchi di attività prima delle valutazioni. Ciò che vale la pena notare è dove si collocano tali picchi rispetto alle vostre intenzioni. Se il materiale pensato per preparare gli studenti a un seminario viene guardato principalmente la sera successiva, è utile saperlo, e di solito si tratta di una questione di programmazione o di indicazioni piuttosto che di motivazione. Pubblicarlo prima, o menzionarlo in modo più esplicito nelle comunicazioni settimanali, spesso basta a modificare il modello di fruizione.

Piattaforme: un indicatore di piccole dimensioni con conseguenze pratiche

I dati relativi alle piattaforme vengono raramente presi in considerazione, ma hanno un’utilità molto concreta. Se una quota significativa delle visualizzazioni avviene su schermi più piccoli, ciò ha delle implicazioni sul modo in cui si realizzano le diapositive.

Tabelle dettagliate, piccole annotazioni e diagrammi complessi vengono visualizzati in modo molto diverso su uno smartphone rispetto a un proiettore. Sapere dove vengono visualizzati i tuoi contenuti è un modo semplice per renderli più facili da usare, a vantaggio di tutti gli studenti e non solo di alcuni.

Ciò che i dati non vi diranno

Essere onesti riguardo ai propri limiti è ciò che rende credibile tutto il resto.

I dati di visualizzazione possono indicare che qualcuno era presente durante una lezione. Non possono però dirti se l’ha compresa. Non tengono conto dello studente che ha guardato la lezione insieme a un amico su un unico schermo, o che ha letto la trascrizione invece di guardare il video, o che ha messo in pausa perché è suonato il campanello.

Poiché è possibile approfondire i dati fino al singolo studente, vale la pena riflettere attentamente su quando farlo. La visualizzazione a livello di classe risponde a quasi tutte le domande che potresti avere sui tuoi contenuti, ed è lì che dovresti dedicare la maggior parte del tuo tempo. I dati individuali hanno una loro legittima utilità, solitamente quando si sta già fornendo supporto a uno studente specifico e questi è consapevole del motivo per cui si sta esaminando la sua situazione, ma non si tratta di uno strumento di uso generale.

Inquadrare tutto questo come un miglioramento dei contenuti piuttosto che come un controllo delle presenze è non solo più corretto, ma anche molto più vantaggioso per il clima di fiducia che si crea in aula. Il vostro ateneo fornirà delle linee guida sull’uso dei dati degli studenti, ed è opportuno leggerle prima di iniziare, piuttosto che dopo.

Consideralo come uno dei tanti elementi da valutare, insieme alle domande che ti vengono poste dopo la lezione, a ciò che emerge durante gli orari di ricevimento e ai risultati delle valutazioni.

Fanne un'abitudine, non un progetto

I docenti che traggono il massimo beneficio da questa pratica non effettuano un’analisi approfondita una volta all’anno, ma vi dedicano quindici minuti due volte a semestre.

Un ritmo efficace potrebbe essere questo. Prima dell’inizio del semestre, richiedi un rapporto incentrato sulla cartella del tuo corso e sul tuo gruppo di studenti, in modo che i dati siano già a tua disposizione invece di doverli raccogliere tu stesso. Intorno alla quarta settimana, esamina le tendenze di visualizzazione delle due o tre registrazioni relative agli argomenti che gli studenti trovano tradizionalmente più impegnativi e osserva semplicemente dove si concentra l’attenzione. Intorno alla nona settimana, dai un’occhiata alla copertura dei contenuti e all’attività relativa alle date nell’ambito del modulo. Alla fine del semestre, annota i due cambiamenti che vale la pena apportare la prossima volta, finché il contesto è ancora fresco nella tua mente.

Si tratta di meno di un’ora nell’arco di un semestre, e l’effetto è cumulativo. Ogni revisione rende i tuoi contenuti un po’ più accessibili agli studenti, il che è un obiettivo molto più realizzabile rispetto a cercare di migliorare tutto in una volta sola.

Le registrazioni sono già in corso. I dati sono già disponibili. Iniziare ad analizzarli costa pochissimo. Iniziare a utilizzare Mediasite Analytics non è mai stato così facile. Se avete domande sulle possibilità offerte, non esitate a contattare i nostri ingegneri delle soluzioni o tramite il nostro Comunità Mediasite.