Analyse des données de visionnage : ce que les données de visionnage des élèves vous apprennent sur l'utilisation de votre contenu

La plupart des enseignants découvrent l'analyse vidéo dans un contexte quelque peu délicat. Un membre du service informatique ou du centre pédagogique leur présente un tableau de bord rempli de chiffres, et la question sous-entendue est : “ Est-ce que les étudiants regardent les vidéos ? ”

C'est une question légitime, mais elle n'est pas très intéressante. Elle donne également le mauvais ton, car elle transforme une source riche d'enseignements en quelque chose qui s'apparente à un exercice de contrôle.

Il existe une approche plus efficace. Vos enregistrements ne sont pas seulement visionnés, ils sont utilisés. Les élèves les consultent la veille d’une évaluation, revoyent une démonstration une deuxième fois avant de s’y essayer eux-mêmes, et reviennent sur une session plusieurs semaines après qu’elle a eu lieu parce qu’un élément abordé dans un sujet ultérieur les y a renvoyés. Les données de visionnage constituent un historique de ce travail d'étude, et elles représentent l'un des rares aperçus que vous ayez de ce qui se passe une fois que les étudiants ont quitté la salle.

Vu sous cet angle, cela cesse d'être un simple exercice de suivi pour devenir quelque chose qui s'apparente davantage à une conversation.

Commencez par une question, pas par un tableau de bord

Le moyen le plus rapide de ne rien tirer des analyses est d'ouvrir la vue des rapports et de la parcourir. Il y a toujours quelque chose à regarder, mais presque rien n'a vraiment de sens en soi.

Posez plutôt une question que vous avez déjà en tête. La plupart des enseignants en ont toujours deux ou trois en réserve tout au long du semestre :

• Les étudiants utilisent-ils les supports préparatoires avant ou après la séance ?
• Est-ce que quelqu'un a réécouté l'enregistrement que j'avais fait sur le sujet un peu plus complexe de la cinquième semaine ?
• Le matériel supplémentaire que j'ai produit l'année dernière est-il toujours utilisé ?

L'analyse des données permet de répondre efficacement à ce genre de questions. En revanche, elle ne permet pas de répondre correctement à la question “ Comment se porte le module ? ”. Commencez par restreindre votre champ d'analyse : les chiffres deviendront alors plus clairs.

Ce que Mediasite vous montre réellement

Il est utile de connaître la structure des données avant de les interpréter, ainsi que la manière dont on y accède au départ.

Les rapports Mediasite sont configurables, ce qui est plus important qu'il n'y paraît. Plutôt que de vous fournir toutes les informations d'un seul coup, un rapport peut être limité à ce dont vous êtes précisément responsable. Un enseignant chargé du cours d'Économie 101 peut configurer un rapport de statistiques utilisateur couvrant le dossier et le canal de son cours, limité aux cinquante étudiants de cette promotion. Tout ce qu’il voit est alors pertinent pour lui, et rien d’autre ne l’est.

Dans ce rapport, le niveau supérieur présente l'ensemble de la classe sous forme de graphiques et de cartes thermiques. Vous pouvez ensuite cliquer sur un élève en particulier si nécessaire. La plupart du temps, cela ne sera pas nécessaire, et il existe de bonnes raisons de rester au niveau global, ce qui sera abordé plus loin.

Si vous n'avez jamais vu de rapport de ce type pour votre propre module, c'est la première chose à demander à votre administrateur Mediasite ou à votre centre de formation. Il s'agit d'une configuration ponctuelle qui facilite considérablement toutes les étapes suivantes.

En ce qui concerne le contenu visé, le rapport porte sur :

Vues. Nombre de fois où le contenu a été consulté.

Le temps. Durée totale de visionnage, exprimée en heures, minutes et secondes.

Couverture. Pourcentage de la vidéo visionnée. Au niveau global d'un rapport, ce chiffre correspond à la moyenne de tous vos spectateurs ; vous pouvez toutefois affiner la recherche pour consulter les données d'un élève en particulier.

Gamme. La date du premier visionnage et celle du dernier visionnage.

Tendances d'audience. Une carte thermique indiquant les parties de la vidéo qui ont été le plus visionnées.

Date de l'activité. Un graphique indiquant les dates où l'audience a été la plus forte.

Plateformes. Les appareils et navigateurs utilisés pour regarder des vidéos, tels que Mac, Windows ou Chrome.

Sept mesures simples. Leur intérêt réside presque entièrement dans la manière dont on les considère dans leur ensemble.

Tendances d'apprentissage : les domaines dans lesquels les élèves concentrent leurs efforts

La carte thermique est la plus intéressante de la série, mais aussi celle qui prête le plus à confusion.

Lorsqu'une partie d'un enregistrement affiche un nombre de visionnages nettement plus élevé que le reste, on a instinctivement tendance à y voir un problème, à penser que les élèves ne s'intéressent pas à l'intégralité du contenu. En réalité, cela indique généralement que les élèves ont correctement identifié la partie la plus importante et y consacrent le temps nécessaire. C'est exactement ce que vous souhaitez qu'ils fassent.

Les questions de suivi pertinentes ne sont pas “ Qu'est-ce que j'ai mal fait là ? ” ou “ Pourquoi ont-ils sauté ces parties de la vidéo ? ”, mais plutôt quelque chose de plus simple, comme : “ Est-ce que cette partie est facile à travailler ? ”

Parfois, c'est clairement le cas, et le fait de devoir regarder plusieurs fois le film reflète simplement une idée complexe qui nécessite plus d'un visionnage. Certains concepts sont ainsi, et la répétition est justement la réponse qui convient le mieux.

Parfois, cela met plutôt en évidence un aspect pratique. Un contenu dense à l'écran, un schéma auquel on fait référence avant qu'il n'apparaisse, ou un passage où l'on a dû aborder rapidement de nombreux points faute de temps. Aucun de ces éléments ne constitue un échec pédagogique. Ce sont là les compromis habituels liés à un cours en direct, et la vidéo est l'un des rares supports qui permette de les remarquer.

Lorsqu’un chapitre demande beaucoup de travail aux élèves, un court enregistrement complémentaire de deux ou trois minutes constitue souvent la meilleure façon d’utiliser votre temps. Cela ne coûte presque rien et permet de cibler précisément les points sur lesquels les élèves vous ont déjà fait part de leur intérêt. C’est également l’occasion idéale d’utiliser Mediasite Capture pour enregistrer rapidement des vidéos depuis votre navigateur ou votre téléphone portable afin de créer ces courtes vidéos de présentation.

Une remarque d'ordre pratique : recherchez les tendances qui se répètent d'une promotion à l'autre. Une carte thermique portant sur un seul semestre peut être influencée par une poignée d'étudiants. Si la même tendance se répète deux années de suite, cela constitue un indicateur plus fiable.

Portée et champ d'application : comment les étudiants étudient-ils réellement ?

La couverture et la portée sont des indicateurs discrets qui méritent qu’on s’y attarde un peu.

Un faible taux de visionnage au sein d’un groupe ne constitue pas automatiquement un problème. Il arrive souvent que les étudiants accèdent à un enregistrement pour y chercher un élément précis, le trouvent, puis quittent la vidéo. C'est un comportement efficace qui montre que votre contenu est facile à parcourir, en particulier pour les sessions plus longues. La question de la couverture devient plus intéressante lorsque vous vous attendiez à ce qu'un enregistrement soit visionné dans son intégralité, comme c'est le cas pour une brève introduction, et que ce n'est systématiquement pas le cas.

Comme l'interprétation des données varie selon l'endroit où vous vous situez dans le rapport, il est important de bien cerner la question que vous vous posez. Les chiffres au niveau de la classe vous indiquent comment un contenu est utilisé dans l'ensemble. Un chiffre individuel vous renseigne sur les habitudes d'étude d'un élève en particulier, ce qui relève d'une question différente, avec des implications différentes, et qui relève généralement d'une discussion avec lui plutôt que d'un tableau Excel.

La période de visionnage est plus révélatrice qu'il n'y paraît à première vue. Un écart important entre la première et la dernière date de visionnage indique qu'un contenu a une longue durée de vie. Il a été visionné lors de sa mise en ligne, puis à nouveau bien plus tard, généralement lors d'une révision ou lorsqu'un sujet connexe a incité les étudiants à y revenir. Les contenus présentant une longue durée d’utilisation constituent vos ressources les plus réutilisables, et il est utile de savoir quels enregistrements entrent dans cette catégorie avant de décider quels contenus mettre à jour pendant l’été.

Date de l'activité : le rythme de votre module

Le graphique d'activité par date indique à quel moment les consultations ont lieu, et cette tendance correspond généralement parfaitement aux pics d'activité de votre module.

Il est tout à fait normal que des pics d'activité surviennent avant les évaluations. Ce qu'il convient de noter, c'est où se situent ces pics par rapport à vos intentions. Si les supports destinés à préparer les étudiants à un séminaire sont principalement visionnés le soir même qui suit celui-ci, il est utile de le savoir, et cela relève généralement davantage d'un problème de planning ou de signalisation que d'un manque de motivation. Le fait de les diffuser plus tôt ou de les mentionner plus explicitement dans les communications de la semaine suffit souvent à modifier ce schéma.

Les plateformes : un indicateur modeste aux conséquences concrètes

On s'intéresse rarement aux données relatives aux plateformes, mais celles-ci ont une utilité très concrète. Si une part significative de l'audience se connecte via des écrans plus petits, cela a des implications sur la manière dont vous concevez vos diapositives.

Les tableaux détaillés, les petites annotations et les schémas complexes s'affichent très différemment sur un téléphone par rapport à un projecteur. Savoir où votre contenu est visionné est un moyen peu coûteux d'en faciliter l'utilisation, et cela profite à tous les élèves, et non pas seulement à quelques-uns.

Ce que les données ne vous diront pas

C'est en faisant preuve d'honnêteté quant à ces limites que le reste de ce discours gagne en crédibilité.

Les données de visionnage peuvent vous indiquer qu'une personne était présente lors d'une session. Elles ne permettent toutefois pas de savoir si cette personne a compris le contenu. Elles ne prennent pas en compte l'étudiant qui a regardé la vidéo avec un ami sur un seul écran, celui qui a lu la transcription au lieu de regarder la vidéo, ou encore celui qui a mis la vidéo en pause parce que la sonnette a retenti.

Comme vous pouvez zoomer sur un élève en particulier, il convient de bien réfléchir au moment où vous le faites. La vue au niveau de la classe répond à presque toutes les questions que vous êtes susceptible de vous poser concernant votre contenu, et c’est là que vous devriez consacrer la majeure partie de votre temps. Les données individuelles ont leur utilité, généralement lorsque vous accompagnez déjà un élève en particulier et que celui-ci sait pourquoi vous consultez ces informations, mais il ne s’agit pas d’un outil à usage général.

Présenter tout cela comme une amélioration des contenus plutôt que comme un contrôle de l’assiduité est à la fois plus pertinent et bien plus propice à la confiance qui règne dans la salle. Votre établissement dispose d’un guide sur l’utilisation des données des élèves ; il est préférable de le lire avant de commencer plutôt qu’après.

Considérez cela comme l'un des nombreux éléments à prendre en compte, au même titre que les questions qui vous sont posées après les cours, celles qui surgissent pendant les heures de permanence et les résultats des évaluations.

Faites-en une habitude, pas un projet

Les enseignants qui en tirent le meilleur parti ne se contentent pas d'une analyse approfondie une fois par an. Ils y consacrent quinze minutes à deux reprises par trimestre.

Voici à quoi ressemble un rythme efficace. Avant le début du semestre, demandez un rapport portant spécifiquement sur le dossier de votre cours et votre promotion, afin que les données soient déjà à votre disposition plutôt que de devoir les rassembler vous-même. Vers la quatrième semaine, consultez les statistiques de visionnage des deux ou trois enregistrements couvrant les contenus que les étudiants trouvent généralement difficiles, et observez simplement où se porte leur attention. Vers la neuvième semaine, jetez un coup d'œil à la couverture des thèmes et à l'activité par date sur l'ensemble du module. À la fin du semestre, notez les deux changements qu'il vaudrait la peine d'apporter la prochaine fois, tant que le contexte est encore frais dans votre mémoire.

Cela représente moins d'une heure sur l'ensemble d'un semestre, et les effets s'accumulent. Chaque révision rend votre contenu un peu plus accessible aux étudiants, ce qui est un objectif bien plus réalisable que de tout améliorer d'un seul coup.

Les enregistrements sont déjà en cours. Les données sont déjà disponibles. Il ne coûte presque rien de commencer à les analyser. Se lancer avec Mediasite Analytics n’a jamais été aussi simple. Si vous avez des questions sur les possibilités offertes, n’hésitez pas à contacter nos ingénieurs solutions ou à nous joindre via notre Communauté Mediasite.