Análisis de discurso para el aprendizaje

La analítica del aprendizaje me interesa desde la perspectiva de quien aprende, o mejor dicho quienes aprenden, puesto que aprendemos, sobre todo, a través de la interacción y la experiencia. La otra perspectiva es la de las organizaciones, en línea con la analítica académica, también útil, que ahora me interesa menos.

Hablando de casos y ejemplos concretos de medir el aprendizaje, me encuentro con el enfoque centrado en el análisis de discurso, basado en el supuesto de que un indicador clave del aprendizaje, de la generación de significado, es la calidad de contribución al discurso.

Este enfoque concreto de análisis del discurso en busca de claves e indicadores de aprendizaje se inspira, por un lado, en cómo los científicos construyen argumentos y defienden su postura en un debate.

Tenemos, por otro lado, la teoría de la argumentación y la retórica que data de los filósofos griegos, y cuya articulación reciente en esquemas de argumentación tuvo una adaptación enfocada en modelos computacionales.

Otras fuentes de inspiración son los sistemas de información basados en asuntos y su traducción a un modelo hipertextual de datos, que posibilita la visualización de conversaciones.

Como resultado, tenemos un método de análisis en el que los nodos son las personas, pero también lo son las ideas. Cada post en un blog sería, por ejemplo, un nodo. A partir de ahí, se trata de establecer enlaces de distinto valor argumentativo y retórico entre nodos-idea (trabajando con una tipología de ideas y de enlaces), asociados a nodos-persona.

Algunos de los tipos de información que se pueden obtener de ese modo son mapas de ideas y de conceptos, actitudes de las personas o la centralidad de los nodos. (Al margen de su utilidad para mejorar el aprendizaje, se me ocurre como posible método para analizar fenómenos como la polarización de grupo).

La analítica del aprendizaje enfocada al discurso en principio debe permitir reflexiones más profundas que el análisis cuantitativo de actividades de «más bajo nivel» (número de logs para descargar un recurso, duración de las sesiones, número de comentarios, etc). Esta mayor profundidad se debe al hecho de que se recogen datos explícitos sobre el contexto cognitivo de la persona (movimiento retórico que quiere realizar con un comentario, significado que atribuye a una relación, etc.).

Disponer de este tipo de datos implica que las personas los generen, como una capa de información adicional encima de lo que hacen en la web. Se trata, por tanto, de una analítica activa, con la colaboración de las personas que aprenden, frente a métodos pasivos de «tú vas aprendiendo y yo te analizo». Un método muy vinculado al autoconocimiento como base del aprendizaje continuo.

Una herramienta libre experimental inspirado en este método es Cohere. Es un espacio personal de trabajo que permite el registro de los datos cualitativos necesarios. Me gustará probarla para hacerme una idea de qué costes, en forma de tiempo y de cambio de comportamiento, implica en el día a día en la Red, a cambio de qué beneficios. De entrada, categorizar sistemáticamente las propias contribuciones y las relaciones entre contenidos parece un esfuerzo de reflexión adicional importante (parecido, por cierto, al de la curación de contenidos). Prestaré atención también a cuestiones de compatibilidad y del uso de RSS, claves para el diseño de cualquier herramienta libre que quiera encontrar aceptación.

Visualización de un mapa de conceptos en Cohere
Visualización de un mapa de ideas en Cohere. Cada nodo es una idea.

Academic vs learning analytics and the point of trust

Second week in LAK12 was slightly less intense for me than the first. It might be because I didn’t attend neither of the live sessions which are, I think, emotionally the most significant activities of the course.

I was happy to receive clarifications about the difference between academic and learning analytics in comments. It helped me to further think about this domains. I kind of came to the conclusion that in a knowledge economy, with the individual having the main responsibility for developing skills and competences, while there perfectly might be learning analytics without academic analytics, the other way round would be problematic and serve only the survival of institutions.

I found it interesting to encounter the Penetrating the fog article among the course content, as I already read it some months ago. I bookmarked it then highlighting the sentence

Learning analytics can penetrate the fog of uncertainty around how to allocate resources, develop competitive advantages, and most important, improve the quality and value of the learning experience.

This time, I bookmarked it highlighting

Since we risk a return to behaviorism as a learning theory if we confine analytics to behavioral data, how can we account for more than behavioral data?

I also fully share Dr. Sharon Slades’ concern when she says

In trying to adapt and change our teaching and support models for the better, are we in danger of simply replacing one inappropriate design for another?

The other two course materials I have read this week were Bakers’ Data mining for education, and the SOLAR groups’ Open Learning Analytics: an integrated & modularized platform. The two showed useful applications of academic and learning analytics. The latter definitely clarifies the difference between the domains.

The SOLAR document outlines a very interesting approach to learning analytics based on interoperability, opennes and collaboration, in line with the free software movements’ philosophy. One thing I still miss —in this document and all the others— is the question about the ownership of the data. Again, because of the individual bearing the main responsability for the learning process, each person should have an owner attitude regarding their data and, whenever possible, the physical ownership of it. This would incentivate institutions to build the trust necessary to have individuals share their data. This kind of —disintermediated— trust is very different from the one that involves working with data from centralized web platforms, like Facebook, G+, Twitter or LMSs.

Rastros significativos de aprendizaje

Me cuesta captar las diferencias entre analítica del aprendizaje, analítica académica y minado de datos en la educación. Intuyo que tienen su origen en las diferencias entre distintos grupos de académicos que se ocupan del asunto y que, para diferenciarse unos de otros, usan nombres distintos para hablar del asunto bajo su propia mirada. Algo que, me parece, tiene todo el sentido.

De los tres términos, el que tiene la palabra «aprendizaje» en su nombre, es la que da sentido al término desde la mirada de la persona que aprende, tratándole como propietario de su propio aprendizaje. Bajo esta mirada, lo que se quiere es empoderar al aprendiz para aprender mejor. Ese es también mi interés en el tema.

En el terreno de los métodos, los tres enfoques se encuentran. En todos, la cuestión es captar rastros significativos de aprendizaje.

Of course, capturing meaningful learning traces is something that both we and the EDM community struggle with. Translating those traces into visual representations and feedback that support learning is another challenge: the danger of presenting meaningless eye candy or networks that confuse rather than help is all too real.
Erik Duval

La mención del meaningless eye candy en referencia a herramientas vistosas como esas que generan grafos sociales, apunta a la dificultad de aplicar algoritmos a fenómenos como el aprendizaje, en los que la confianza entre las personas y la identidad, tienen un papel fundamental.

First week of LAK12: trends and context of analytics in learning

After reading some of the great first blog posts from participants in the LAK12 course, I’ve decided that I’ll try to write one post a week in English. Although I do feel compelled to blog in English —I’ve never done it before— I just can’t help to feel strange by doing it.

I’m happy with the distributed course format and enjoyed the two live sessions. As so many people have blogs, I’ve just subscribed to their feed in my RSS reader, which is the most comfortable place for me to read posts.

The articles about educational datamining and academic analytics, although full of technical terminology I’m not familiar with, introduced me fairly well to the application of analytics to learning. However, I had to wait until Michael Chuis’ presentation of the McKinsey report to first hear about the use of analytics by the individual for learning to learn, which is my main interest. I’ve learned that learning to learn is also called metacognition, by the way.

Some of the stakeholders in learning analytics I’ve got to know this week are universities, IBM, McKinsey, the foundation of the Gates’, the White House and several companies specialized in analytics in controlled learning environments like LMSs. Michael Chui said that for every unit of benefit of data analytics for big organizational players, there’ll be 5 units of benefits of it for the end customer. I’ll be happy if this turns out to be so, specially in learning. However, for this to come true, an empowering talent development must also happen for the end user, in this case the learner who, as in so many other aspects of life, either programs or will be programmed.

If the need to focus on the learning analytics skills of the learner is one conclusion to which I got this week, the other is the need for transparency. As it seems that it is not so much the ownership of data that matters than who has capacity of putting the data to work, transparency is a key issue in every platform that wants users to give away data about themselves. Panagoitis Ipeirotis’ experiments in Amazon and Zappos showed that people welcome transparency. The approach that both parts, the provider and the user, learn and gain from the interaction and together create new knowledge and understanding, seems to be the right one. Last.fm, for example, understands this.

If the new era of data, of which we are only in the early adopter phase, embraced the principles —skilled end users and transparency— of the libre software and knowledge movement, great things might happen. It might bring a new era of metacognition where data might make it easier for individuals to assume that the main responsibility for our learning lies by ourselves. ¿Or am I just dreaming?

Footsteps in the snow
29th January 10 years ago, by Jeff Harris

Analítica y textos en la web

Es divertido ver a Panagoitis Ipeirotis presentar su experimento sobre el valor de la reputación en la web. Se le nota que disfruta respondiendo a preguntas del tipo ¿qué efecto tienen los textos, en concreto los comentarios de los usuarios sobre los productos en Amazon y Zappos, en la reputación de los distribuidores?

Podríamos pensar que la semántica es suficiente para saber si un comentario es positivo o negativo. Sucede que no.

  • Comentar que un producto es «bueno» tiene un efecto negativo en las ventas. «Si esto es lo más que otros pueden decir de este producto, no me interesa», piensan los demás.
  • Describir un fallo de un producto, especificando en qué consiste, tiene un efecto positivo en las ventas. «Si esto es lo peor que dicen del producto, a mí también me va a servir», parecen argumentar los compradores.
  • Comentar sobre un producto en superlativos (excelente, maravilla) pero con erratas, errores de ortografía y gramática (exelente, maraviya), tiene un efecto negativo en las ventas. «No quiero comprar productos que ha comprado gente que escribe mal», parece ser la lógica.

Fer resume de modo breve y excelente las principales conclusiones del experimento.

Me limito, por eso, a comentar un paso del mismo que consistió en corregir los textos mal escritos a través del marketplace de trabajo de Amazon. Fue así que vieron que, con comentarios muy positivos y bien escritos, las ventas aumentaron. Esto, a su vez, planteó preguntas respecto a la honestidad de Amazon tanto con las personas cuyos comentarios corrigieron como con los lectores de los comentarios corregidos.

Una solución que aparentemente gustó a ambos grupos fue, por un lado, informar al comentarista sobre la corrección y, por otro, enseñar al lector ambas versiones — la buena por defecto y la mal escrita cuando pedía ver el comentario original. Sólo faltaba responder la pregunta ¿y así comprará o no?

Propiedad de datos y analítica web

Me gustó mucho esta reflexión de David Jennings en el marco de LAK12, el curso de analítica del aprendizaje que estoy haciendo:

What I like about Last.fm is that, notwithstanding the fact that all your data is public visible, it still feels like you own it. You can use your Last.fm id to do useful things like build your profile or your playlists and preferences on other music sites. You can get all sorts of clever and beautiful visualisations of your listening behaviour over time.

Why can’t you do the same with the data that Amazon, Google, Facebook and your VLE/LMS hold about you? Having data about your own learning behaviour would undoubtedly help you improve, enhance and augment that behaviour. Why can’t we do this already?

Uno de los grandes dilemas alrededor de la analítica del aprendizaje es la propiedad de los datos. En los primeros años de la disciplina, los datos estaban en los LMS, es decir, los sistemas de gestión del aprendizaje y estos, a su vez, eran propiedad de las empresas y las instituciones educativas que ofrecían los cursos. Hoy, muchos de los datos relativos al aprendizaje están en plataformas también cerradas pero que ahora son propiedad de empresas como Facebook, Tuenti, Twitter o Delicious.

Podríamos pensar que la solución es nunca tener nada en un servidor que no controlamos —una solución muy buena, por cierto— pero en el campo de la analítica esto no es suficiente porque su valor añadido viene precisamente de la agregación de estos datos que requiere de instalaciones muy distintas a un hosting propio. La pregunta clave parece ser no tanto quién es el propietario de los datos sino quién puede hacer analítica y poner los datos a trabajar.

Minería de datos en educación

Diferenciar entre minería de datos en educación y analítica del aprendizaje es uno de los propósitos del curso del que hablé ayer y que ha recibido el bonito código de LAK12.

Una definición de analítica del aprendizaje con la que me he encontrado en LAK12 es la siguiente:

La medición, recogida, análisis y presentación de datos sobre personas que están aprendiendo y sus contextos, con el propósito de comprender y optimizar el aprendizaje y los entornes en los que sucede.

Mientras que la minería de datos en la educación la definen así quienes la estudian:

La minería de datos en la educación es una disciplina emergente que desarrolla métodos para explorar los datos que vienen de entornos educativos, y los usa para entender mejor a los estudiantes y los entornos en los que aprenden.

En un primer vistazo apenas hay diferencia, ¿no?

En un texto que leí, supe más de la minería de datos en educación. Surgió del análisis de logs de la interacción estudiante-máquina y para sus métodos se inspira, entre otros, en la minería de datos y el aprendizaje automático, la psicometría y otros campos de la estadística, la infografía y los modelos computacionales.

Aplicaciones de la minería de datos en educación

  • Mejorar los modelos del estudiante. La minería de datos se ha usado, por ejemplo, para determinar si un estudiante truca el sistema o si está aburrido o frustrado en un curso online. Una versión más amplia de los modelos del estudiante va más allá del software educativo y se propone determinar, por ejemplo, los factores de los que depende si alguien va a abandonar sus estudios.
  • Descubrir y mejorar la estructura del conocimiento en un dominio.
  • Estudiar el apoyo pedagógico, por ejemplo mediante la descomposición del aprendizaje.
  • Buscar evidencia empírica para refinar o ampliar teorías o fenómenos educativos.

Suena a personotecnia ¿verdad? Me falta estudiar en más detalle las tendencias de los últimos años pero intuyo que de personotecnia habrá más y no menos también en educación. Intuyo que, frente a la minería de datos, la analítica del aprendizaje vaya por el camino de la personalización.

Mi interés en este curso está en cómo obtener y analizar los datos del aprendizaje informal y autodirigido con el fin de hacerlo mejor. En la primera charla que hemos tenido hoy, he creído percibir un interés parecido en muchas personas.

Analítica web en el ámbito del aprendizaje: un curso abierto en la Red

Me he apuntado a tres cursos abiertos en la Red que empezarán en los próximos meses. La primera es sobre analítica web aplicada al aprendizaje, es de una gente que se agrupa bajo el codename SOLAR (Society for Learning Analytics Research) y ha comenzado hoy.

La analítica necesariamente incluye el trabajo con big data. Por eso, me reconforta ver en la programación del curso que hablaremos de ética y privacidad. También me anima mucho que al menos uno de los organizadores, George Siemens, sea un firme defensor de los blogs frente a Facebook y Twitter para la presencia en la Red de las personas.

Siemens explica en el vídeo de introducción que no estaremos encerrados en un LMS (Sistema de Gestión del Aprendizaje): el curso será distribuido, con todos escribiendo en nuestros blogs. Esta insistencia en los espacios propios de cada persona no puede parecerme sino estupenda.

En su conjunto, las metas del curso me parecen sugerentes:

  • Describir qué es la analítica del aprendizaje y qué le diferencia de otros conceptos como la minería de datos aplicada a la educación o la analítica académica.
  • Analizar, planear y hacer un pequeño piloto de analítica del aprendizaje.
  • Desarrollar una matriz de herramientas destacadas de la analítica del aprendizaje y de las estrategias de analítica a las que sirve cada una.
  • Evaluar el estado actual de las tecnologías de analítica del aprendizaje y describir los beneficios y pegas de herramientas libres y herramientas privativas.
  • Evaluar y describir el papel de la web semántica y los datos conectados en los contenidos educativos de nueva generación.

Es posible que este curso me lleve a abrir una cuenta en Twitter y a postear en mi blog, en ocasiones, en inglés. Parece que también habrá interacción síncrona de frecuencia semanal usando Blackboard Collaborate.

Iré contando mis experiencias por aquí.