Medición y análisis del aprendizaje
Los cursos MOOC en cualesquiera de sus diferentes tipologías (capítulo
2) ofrecen grandes posibilidades para la investigación, la medición y el
análisis del aprendizaje tanto para sus diseñadores como para los propios
estudiantes. El análisis y medición del proceso de enseñanza
permite al estudiante comprender mejor su ritmo de aprendizaje
y al diseñador reflexionar y mejorar los entornos de aprendizaje,
al poder detectar y analizar patrones de uso, rendimiento,
dificultades y arbitrar posibles mejoras. Para ello, es necesario
que en su diseño se piensen y diseñen previamente las diferentes
posibilidades y herramientas que nos permitan posteriormente analizar
y medir el rendimiento del estudiante. Asimismo, estas herramientas
nos facilitarán la labor investigadora y poder difundir los resultados en la
comunidad científica en forma de informes, artículos o working papers.
Hay que tener en cuenta que la analítica de aprendizaje, por sí misma, no
mejora nada, permite tener una fotografía de lo que ocurre en el interior
de los procesos educativos mediados por la tecnología, pero precisa de
una interpretación adecuada que posibilite la mejora de los procesos
educativos (Reich, 2015; Khalil & Ebner, 2016). En este contexto, las
experiencias colaborativas cobran especial importancia porque permiten
su análisis en diferentes contextos educativos, pero, para ello, precisan
de herramientas diseñadas para aprovechar no solo el potencial de datos
descriptivos, sino especialmente la medición del desempeño académico
de los estudiantes
Para el desarrollo de la investigación mediante las analíticas
de aprendizaje, una de las herramientas más relevantes
son los cuadros de mando (Dashboard). Este tipo de
herramientas permiten conocer mejor al participante y
guiarle en su desempeño académico en el MOOC. Para
ello, podemos recurrir a herramientas de pago que nos
permiten personalizar el curso y ofrecer cuadros de
mando muy cuidados y visuales para los estudiantes con
diversas funcionalidades. Entre otras empresas podemos
citar: Ellucian y Desire2Learn que han desarrollado las
herramientas Course Signals y Student Success System.
Por ejemplo, esta última herramienta nos permite detectar
los primeros síntomas de abandono y así poder intervenir a
tiempo para prevenirlo.
Miríadax pone a disposición de los docentes y coordinadores
de la institución una serie de cuadros de mando con
diferentes indicadores útiles para analizar el rendimiento
del comportamiento de los estudiantes, así como de los
propios cursos que se ofrecen. Para esto se ha trabajado con
herramientas de Business Analytics como Pentaho, con la
que se busca ordenar y establecer parámetros de información
práctica que pudieran servir para objetivos formativos.
La generación de los primeros indicadores predictivos, a
partir del análisis de la data y de la experiencia en la gestión
de Miríadax, derivó en el indicador de tasa de riesgo de
abandono y en el seguimiento de la finalización de las
actividades P2P (Peer to Peer), por representar este
tipo de actividades uno de los elementos más críticos.
Los diferentes cuadros de mando disponibles están dirigidos
al análisis detallado de la oferta formativa de la institución
e identificar posibles puntos de mejora, así como riesgo de
abandono de cursos a partir de los datos que se obtienen
de la actividad de sus estudiantes dentro de las actividades
propias de los módulos
Los modelos predictivos y de visualizaciones de datos para
identificar patrones de riesgo o debilidad académica de los
alumnos son de gran utilidad en la formación masiva ya que
nos facilita la mejora del diseño y funcionamiento de los
cursos MOOC. No obstante, el objetivo de las herramientas
de análisis va mucho más allá, y se está avanzando en
el desarrollo de soluciones que personalicen la actividad
formativa aconsejando y guiando a cada estudiante según sus
gustos y necesidades. La aplicación de técnicas de análisis y
medición del aprendizaje en los cursos MOOC nos permite
profundizar en el conocimiento de los comportamientos
y actitudes de los estudiantes, y ofrecer nuevas vías
para personalizar su formación. De esta forma, también
conseguimos reflexionar e investigar en lo que hemos
denominado una “didáctica de la masividad” consiguiendo
profundizar en cómo se pueden diseñar y dinamizar los
entornos masivos para maximizar el conocimiento.
En esta unidad nos vamos a centrar en herramientas gratuitas
que nos permitan su integración en el diseño del curso MOOC
y ofrezcan tanto a los participantes como a los diseñadores
información académica y patrones de uso que mejoren la
experiencia educativa en los cursos MOOC.
La herramienta
ANALYSE
Una de las últimas herramientas gratuitas, aunque todavía en formato
“beta” es: ANALYSE (http://www.it.uc3m.es/pedmume/ANALYSE/).
Es un recurso creado para el análisis de cursos alojados en Open edX. Con
esta herramienta se puede transformar los principales indicadores, en
indicadores visuales del progreso y rendimiento de los participantes en la
plataforma MOOC. A través de un “cuadro de mando” se puede visualizar la
siguiente actividad en el curso:
1. Rendimiento, progresos y superación de cada una de las
actividades programadas en el curso.
2. Tiempo de visionado de cada uno de los vídeos (e intervalos
más visionados) y permanencia en cada una de las actividades y
de las unidades programadas.
3. Tiempos de acceso a cada una de las unidades y total.
En el siguiente enlace se puede ver un vídeo de su funcionamiento:
https://www.youtube.com/watch?v=N3HmSW4jbiU&feature=youtu.be
Esta información es accesible tanto para los estudiantes como
para los diseñadores y profesores del curso. Esto permite a
los profesores tener un panorama más preciso de cómo va
evolucionando el curso y qué elementos o actividades están
funcionando mejor y cuáles precisan de una intervención
o modificación “in situ” o en futuras ediciones. Asimismo,
los participantes pueden tener información de su progreso
académico en el curso. Uno de los aspectos que puede aportar
una información más valiosa en los cuadros de mando es la
funcionalidad denominada “regresión”. Esta función permite
predecir mediante regresión múltiple aquellos aspectos que más
pueden contribuir al éxito de un estudiante en el MOOC. El tablero
analizado genera gráficas en las que se estima el grado de éxito de
los estudiantes en cada curso MOOC analizado. Las correlaciones
permiten estimar la predicción de éxito conforme a los siguientes
parámetros didácticos establecidos en el curso: número de
comentarios, respuestas, “likes”, respuestas a los cuestionarios,
porcentaje de estadios superados, porcentaje de respuestas
correctas e incorrectas, porcentaje de unidades superadas
Modelo de predicción del éxito del estudiante en MOOC
Herramientas
gratuitas para
la dinamización
y análisis
También podemos crear un panel para integrar diferentes
herramientas. Para ello, existen diferentes posibilidades para
agrupar las diferentes herramientas digitales de un solo vistazo.
Dos de las opciones más sencillas de utilizar son “iGoogle”
(http://www.igoogleportal.com/) o “Netvibes” (https://www.
netvibes.com/en). Esta herramienta tiene una funcionalidad de
analítica de aprendizaje muy interesante.
Herramientas para la analítica en MOOC
Existen además herramientas que nos permiten analizar diferentes aspectos del desempeño académico en un curso MOOC.
Como ya hemos apuntado, podemos encontrar “tableros” o “cuadros de mando” para una gestión más global. Por ejemplo,
para la gestión integral del funcionamiento de la plataforma MOOC podemos integrar la herramienta gratuita Piwik (open
source analytics): http://piwik.org/.
Entre las diferentes funcionalidades que nos permite esta herramienta, podemos citar las siguientes:
1. Visualización de las visitas a las diferentes unidades o páginas del curso.
2. Permite personalizar un cuadro de mandos con “widgets”.
3. Genera informes con la información métrica de interacción en la plataforma y geolocalización de los usuarios.
Asimismo, podemos utilizar el cuadro de mandos o tablero de
Netvibes para monitorizar toda la actividad de los estudiantes
en los foros, redes sociales y chats que hayamos vinculado
al curso MOOC. Además, podemos utilizar herramientas de
análisis de redes o social para determinadas funcionalidades
desarrolladas en el curso MOOC. Por ejemplo, si utilizamos una
cuenta de Twitter con hashtags programados sobre temáticas
del curso MOOC, podemos analizarlos mediante herramientas
como Tweetchup (http://tweetchup.com/). Entre otros aspectos
podemos medir:
1. Conexiones en Twitter: las menciones y retuits y el mapa
interactivo con la ubicación de los usuarios que se menciona.
2. Analizar cualquier usuario o participante del curso
MOOC si previamente le hemos pedido en el cuestionario
inicial el usuario de su cuenta de twitter. Reflexiones sobre
las actividades de los usuarios dentro de un rango de fechas
específico. Más retuits / tuits Favorito del usuario. Días de la
semana y horas del día un usuario envía más tuits.
3. Analizar las palabras clave y hashtags en Twitter. Número
de consultas de los tweets que contengan mención palabras clave
/ “hashtag” / usuario específico. Estadísticas sobre los usuarios
mencionan palabras clave. Mapa interactivo con la ubicación de los
usuarios que mencionaron palabras clave. Hashtags más usados
dentro de los tuits que contienen palabras clave.
Una de las herramientas más sencilla de implementar en el desarrollo de un curso
MOOC es Google Analytics (https://www.google.es/intl/es_ALL/analytics/).
Esta herramienta es una de las más fáciles de usar para usuarios novatos en analíticas
de aprendizaje y ofrece la posibilidad de desarrollar paneles e informes personalizados
y alertas inteligentes. Como ejemplo de aplicación en un curso MOOC, nos facilita poder
acceder a informes estándar y normalizados y otros en tiempo real. El usuario o diseñador
elige los “widgets” o aplicaciones que quiere integrar en el análisis de su curso MOOC.
Widgets a eleccion:
1.- Métrica: nos permite añadir
información sobre un valor estadístico
(por ejemplo, el número de secciones
“páginas” visitadas en el curso MOOC, la
duración de la visita, etc.
2.- Cronología: Normalmente se utiliza
para comparar dos estadísticas en un
periodo de tiempo estimado.
3.- Geomapa: Se utiliza para para ubicar a
los usuarios.
4.- Tabla: Es solo una forma gráfica de
mostrar información. Las posibilidades
son muchas.
5.- Circular: Con esta funcionalidad se suele
representar gráficamente y de manera
porcentual varios datos; por ejemplo, las
visitas por canales orgánicos, sociales,
directos, emails, etc.
6.- Barras: Visualización mediante barras
verticales de un dato estadístico que nos
interese; por ejemplo, tipo de dispositivo
con el que se ha accedido.
7.- Contador: Este widget nos permite
ver en directo los usuarios activos en
ese momento. Se le pueden añadir
diferentes tipos de métricas; por
ejemplo, usuarios activos por ciudad.
8.- Alertas personalizadas que nos
informan mediante correo electrónico
según lo que hayamos programado.
9.- Seguimiento en tiempo real; por
ejemplo, si insertamos un documento
PDF y le hemos insertado un código
de seguimiento de “analytics”, se
puede comprobar quién lo descarga en
tiempo real.
10.- Podemos agregar y analizar también
las redes sociales que empleemos en
el curso.
También,
podemos utilizar otras herramientas para el análisis de
foros y chats desde el principio del análisis de redes sociales
como: Cytoscape (http://www.cytoscape.org/). Este tipo
de herramientas nos permite visualizar la actividad en redes
sociales de forma gráfica en forma de redes lo que nos
posibilita poder tomar decisiones sobre el funcionamiento
de las relaciones académicas en las redes sociales.Recuperado de :
Videos :
Sobre el uso de herramienta ANALYSE
Sobre el uso de PIWIC
Tutorial de Cytoscape
Tutorial de Cytoscape
Comentarios
Publicar un comentario