Analítica del aprendizaje

¿Qué comparten la «educación personalizada» y el «yo cuantificado»?

La educación personalizada es uno de los grandes temas en educación hoy en día y, debido a su componente tecnológico, el foco de muchas empresas tecnológicas de nueva creación (un ejemplo que comenté hace un año en este blog es Knewton). Es una aplicación de la tecnología realmente prometedora pero que entraña un asunto delicado, que era uno de los temas estrella ya en LAK12, MOOC sobre analítica del aprendizaje en que participé el año pasado: la propiedad de los datos y el peligro de dejar a la persona fuera del bucle de realimentación de un sistema que, se supone, le apoya en su aprendizaje.

Audrey Watters comparte en su blog una charla suya que versa sobre la propiedad de los datos educativos, que demuestra que el tema no deja de perder actualidad. Buscando escenarios positivos, Audrey proyecta un posible futuro al estilo del yo cuantificado (o automonitorización) en educación. Un yo cuantificado con actitud de propietario, claro.

A “quantified self” movement within education implies personal ownership and certainly demands personal control over data. As such, it requires setting personal goals. It requires a personal definition of “learning.”

El paralelismo entre la educación personalizada y el yo cuantificado me parece muy acertado. También me lo parece la siguiente reflexión (vía Breves de La Vigi) de algunos de los stakeholders de la automonitorización.

In the QS world I’d like to live in, our personal data would be easily available to us to learn from using many different methods and tools. Here are some conditions I think would make this easier:

Data can be exported from the various systems we use into a simple format for exploration.

We can store and backup our data using whatever method we want.

We can share our data with whomever we want.

We can rescind permission to look at our data.

We can flow our data into diverse visualization templates and analytical systems.

I’ve tried to express these conditions briefly and simply, but any of them – and certainly all of them together – require changes in the systems we currently use, and these changes may be challenging for technical, business, social, and political reasons.

El tema es importante porque la actitud de propietario no se presta a una adaptación masiva (¿o acaso conocen alguna aplicación masiva de la Carta de Derechos de los Usuarios de la Web Social, que data de 2007?). No, la actitud de propietario la desarrolla cada persona desde dentro.

Habitantes del país de los datos

Disfruto mucho con los posts de ribbonfarm. Aunque su longitud (que tiene dos medidas: largo o muy largo) echa para atrás, nunca me he arrepentido de leerlos. Leyendo sus reflexiones sobre historia tecnológica, uno se entera de cosas como que antes de la revolución industrial, se usaba jugo de cebolla para fabricar acero.

Ahora he descubierto –vía LAK12– que escribe, como contributor, en Forbes. Allí, sus dos últimos posts (1 y 2) son sobre la industria de los datos, a raíz del evento Strata.

En la era en que la vida privada se está convirtiendo en producto, es interesante comprender la lógica y los modelos de negocio (prácticamente sólo aplicables por organizaciones grandes, potentes y, a pesar de ello, innovadores) subyacentes de este proceso.

Pero lo que quería traer aquí es su mirada de antropólogo a los participantes de este tipo de eventos. Sus categorías ayudan a tomar con humor el –por lo demás siempre difícil o muy difícil– cambio en cualquier ámbito. En el país de los datos, donde lo que antes era análisis ahora es analítica y lo que era inteligencia de negocio ahora es big data, hay, según él, un sorprendente acuerdo tácito de que todos, absolutamente todos, son «científicos de datos» y que no hacen falta más títulos.

Y ahora, sus categorías (y que nadie se ofenda, por qué no tomárselo con humor).

Los resentidos que se sienten marginados por la nueva tendencia.

Los largamente ignorados que, de repente, se han convertido en estrellas y parpadean ante el foco de atención.

Los que se sienten subestimados e impotentes.

Los que no se pueden creer el poder que tienen de repente.

Los que en su fuero interno se consideran falsos y hacia fuera se sienten o alegres o avergonzados.

Listillos en proceso de cambiar el título que tuvieron en el último hype por uno del nuevo que le parezca.

Los enfadados porque otras personas se quedan con el crédito de sus vinos por ponerlo en botellas nuevas.

Mayores que insisten en que nada ha cambiado (entiéndase: «de modo que sigo siendo un experto»)

Jóvenes que insisten en que todo ha cambiado (entiéndase: «los viejos no se enteran: contrátame a mí mejor»)

Los fascinados por todo lo que es nuevo y brilla, entiéndanlo o no.

Los hastiados que están de viaje pagado.

Los megasociales para quienes todo es una gran fiesta.

— The People of the Petabyte, de Venkatesh Rao

Vueltas alrededor del futuro

Estoy dando vueltas a la idea de predecir el futuro. No soy ni de lejos la única. Predecir el futuro reduce el miedo ante la incertidumbre y es un gran negocio que está empujando la innovación del minado y la analítica de datos. Algo aplicable a una variedad de ámbitos.

Uno de los problemas bastante evidentes de las predicciones es que los datos que se usan para minar, analizar y predecir, son del pasado. Facebook y Google están al frente del aprovechamiento del pasado para personalizar la experiencia del usuario. Les pisan los talones miríadas de nuevas start-ups de analítica. Pero ojo. Esa personalización tiene un efecto secundario que merece ser examinado con cuidado.

En el ámbito de la educación, Ainhoa Ezeiza comentaba el otro día, refiriéndose al pensamiento de Vigotski, una cosa que me interesó.

(…) no se debe pensar que el futuro del alumno es una continuidad de lo que es, aunque es esto lo que presuponen la mayoría de los sistemas de evaluación. Es por eso que no es suficiente diagnosticar lo que los alumnos/as saben ahora, además es imprescindible estudiar qué es capaz de aprender con ayuda adulta/experta. Por lo tanto, la evaluación debe estar orientada al futuro, y no al presente, que es lo habitual. No es importante qué soy, sino qué puedo llegar a ser si me ayudan.

Personalmente me viene una cita de Nietzsche que dice que el futuro influye tanto en el presente que el pasado.

Die Zukunft beeinflusst die Gegenwart genauso wie die Vergangenheit.

Basarnos en el pasado para tomar decisiones es una solución muy muy seductora si estamos acampados a la sombra del Big Data. Pero tiene limitaciones y son serias. Lo comentaba el otro día en un post basándome en un trabajo de Danah Boyd y Kate Crawford.

Hoy me he encontrado con dos situaciones en las que creo que hay riesgo de darle al pasado un papel predominante en la toma de decisiones, con su consiguiente efecto empobrecedor.

Una es la hipotética situación futura en que una persona que está disfrutando su seguro de desempleo, lo pierda por rechazar por tercera vez una oferta de trabajo «adecuada al perfil del parado» que le ofrezca una ETT. El artículo remarca que hará falta una «definición más precisa de lo que es una oferta de empleo adecuada que no se puede rechazar». Pero yo tengo mis dudas de que esto pueda definirse de manera satisfactoria para las instituciones, sin hacerla depender demasiado del comportamiento de la persona en el pasado. Lo que nos lleva a la situación de estar desincentivando que se interese y aprenda cosas nuevas.
La otra también es del campo de los recursos humanos: resulta que analizar el perfil de Facebook de una persona informa mejor sobre qué tipo de empleado será, que los tests de inteligencia y personalidad. Indica su apertura a experiencias nuevas (fotos de unas vacaciones en Nueva Zelanda, con excursión a un glaciar), informa sobre su estabilidad emocional (¿tus amigos te envían mensajes de consuelo constantemente?) y su amabilidad (¿discutes a menudo con tu «amigos»?). Es taaan fácil hacer este análisis porque los datos están servidos. De ahí, de nuevo, el riesgo de darle demasiada importancia y contratar a personas por su comportamiento en Facebook en detrimento de conversar con ellos.

Además de Vigotski y Nietzsche, hay evidencias nuevas de que la manera de pensar en nuestro «yo» futuro, influye en decisiones importantes que tomamos en el presente, desde si contratar un seguro de pensiones hasta si realizar o no un acto poco ético.

Tenemos la oportunidad de construir ese «yo» futuro cada uno, cada día, ganándonos unos jeans gastados. El entorno, por supuesto, influye, y mucho, en ello. Creo que cuanto más nos tratan a base del pasado, más difícil será que tengamos una relación vivificante con el futuro y no tengamos que conformarnos con unos jeans que vienen ya gastados de fábrica. No es lo mismo.

Efecto Hawthorne y analítica del aprendizaje

En la última sesión en vivo del curso sobre analítica del aprendizaje, alguien mencionó el Efecto Hawthorne. Éste consiste, grosso modo, en que las personas, si nos sabemos observadas, inevitablemente modificamos nuestro comportamiento. Somos así de sociales, en cuanto aparece otro, reaccionamos.

El Efecto Hawthorne se llama así a raíz de un experimento de los años 30 del siglo pasado, en la fábrica Hawthorne Works, a las afueras de Chicago. Consistió en observar qué efecto tenía en la productividad de los trabajadores aumentar o reducir la iluminación. Resultó que ambas cosas tenían el mismo efecto, pero que éste no se debió a los cambios en la iluminación sino al hecho de que las personas se sabían observadas.

El Efecto Hawthorne ocurre, por tanto, ahora mismo que escribo este post, sabiendo que ustedes lo leerán.

Para la analítica del aprendizaje es relevante en cuanto que las mediciones que posibilitan los entornos digitales, mucho más amplias que las que son posibles en el mundo físico, inevitablemente modificarán el comportamiento de los estudiantes. De hecho, es uno de los beneficios de la analítica: proporcionar evidencias para la autoreflexión, como parte fundamental del proceso de aprendizaje. La modificación del comportamiento bajo el efecto Hawthorne es deseable porque va vinculado al aprendizaje.

Los problemas surgen cuando una falta de transparencia impide que ocurra el Efecto Hawthorne. Cuando las personas son observadas sin la posibilidad de saberse observadas. Me resulta difícil imaginarme cualquier situación en que esto pueda ser realmente deseable. Mucho menos en el ámbito educativo. Sin embargo, si es un tema en un curso sobre analítica del aprendizaje, podemos suponer que está ocurriendo o puede ocurrir. O las dos cosas.

La tienda online Target consideró que era deseable desarrollar, a base de las trazas que las personas dejaban con sus compras, un algoritmo predictivo de embarazo que les permitía empezar a enviar ofertas específicas a embarazadas en su segundo trimestre y, así, aumentar sus ventas.

Una analogía en el campo educativo podría ser una universidad que desarrolla un algoritmo para predecir la probabilidad de abandono de la carrera, para intervenir a tiempo y así evitar la pérdida de ingresos por matrícula. Para complicar las cosas aun más, en ambos casos podría haber interés en vender los derechos de uso del algoritmo.

Tanto para la tienda online como para esa hipotética universidad, el Efecto Hawthorne sería un estorbo. Estamos ya lejos de las relaciones de confianza que requiere el proceso de aprendizaje. Hemos entrado en el terreno del control y las violaciones de la privacidad y éste supone, en el ámbito educativo, peligros parecidos que en cualquier otro ámbito de la vida.

Analítica libre para el aprendizaje

Es de esperar que el uso de la analítica suponga, cada vez más, una ventaja competitiva en el ámbito del aprendizaje y de la innovación. Por un lado, permite que las personas tengan mejores bases (evidencias) para la autoreflexión. Por otro lado, permite que las organizaciones tomen mejores decisiones sobre la generación de conocimiento.

De la mano de las nuevas oportunidades que abre la analítica —oportunidades de aprender mejor, pero también oportunidades de generar rentas—, surgen los riesgos habituales asociados a la centralización de la información: plataformas cerradas que crean dependencias a usuarios u organizaciones enteras y, en el peor de los casos, dejan a la persona, de cuyo aprendizaje se trata, fuera del valioso bucle de retroalimentación. Digo valioso porque es ahí donde ocurre gran parte del aprendizaje.

La contradicción entre el hecho de que en el mundo red, lo deseable es que las personas tengan actitud de propietario respecto a su aprendizaje —asumiendo la mayor parte de la responsabilidad— y la creación de dependencias y bucles de retroalimentación que les dejan fuera, es evidente.

Podría darse el caso de que, con la excusa de una mejora, lo que se consiga sea un entorpecimiento del aprendizaje por dejar fuera a los protagonistas: las personas. Tanto más fácil cuanto más lejos estén los accionistas de los proveedores de plataformas y soluciones de analítica, de los usuarios. Y, para qué nos vamos a engañar, lo normal es que estén lejos.

Por eso, una solución coherente con cómo funciona el aprendizaje es, siguiendo la filosofía del software libre, una analítica libre que incluye a las personas en la toma de decisiones. Es la solución que defienden los primeros teóricos de una pedagogía con lógica de redes, a la que interesará seguir prestando atención.

Análisis de discurso para el aprendizaje

La analítica del aprendizaje me interesa desde la perspectiva de quien aprende, o mejor dicho quienes aprenden, puesto que aprendemos, sobre todo, a través de la interacción y la experiencia. La otra perspectiva es la de las organizaciones, en línea con la analítica académica, también útil, que ahora me interesa menos.

Hablando de casos y ejemplos concretos de medir el aprendizaje, me encuentro con el enfoque centrado en el análisis de discurso, basado en el supuesto de que un indicador clave del aprendizaje, de la generación de significado, es la calidad de contribución al discurso.

Este enfoque concreto de análisis del discurso en busca de claves e indicadores de aprendizaje se inspira, por un lado, en cómo los científicos construyen argumentos y defienden su postura en un debate.

Tenemos, por otro lado, la teoría de la argumentación y la retórica que data de los filósofos griegos, y cuya articulación reciente en esquemas de argumentación tuvo una adaptación enfocada en modelos computacionales.

Otras fuentes de inspiración son los sistemas de información basados en asuntos y su traducción a un modelo hipertextual de datos, que posibilita la visualización de conversaciones.

Como resultado, tenemos un método de análisis en el que los nodos son las personas, pero también lo son las ideas. Cada post en un blog sería, por ejemplo, un nodo. A partir de ahí, se trata de establecer enlaces de distinto valor argumentativo y retórico entre nodos-idea (trabajando con una tipología de ideas y de enlaces), asociados a nodos-persona.

Algunos de los tipos de información que se pueden obtener de ese modo son mapas de ideas y de conceptos, actitudes de las personas o la centralidad de los nodos. (Al margen de su utilidad para mejorar el aprendizaje, se me ocurre como posible método para analizar fenómenos como la polarización de grupo).

La analítica del aprendizaje enfocada al discurso en principio debe permitir reflexiones más profundas que el análisis cuantitativo de actividades de «más bajo nivel» (número de logs para descargar un recurso, duración de las sesiones, número de comentarios, etc). Esta mayor profundidad se debe al hecho de que se recogen datos explícitos sobre el contexto cognitivo de la persona (movimiento retórico que quiere realizar con un comentario, significado que atribuye a una relación, etc.).

Disponer de este tipo de datos implica que las personas los generen, como una capa de información adicional encima de lo que hacen en la web. Se trata, por tanto, de una analítica activa, con la colaboración de las personas que aprenden, frente a métodos pasivos de «tú vas aprendiendo y yo te analizo». Un método muy vinculado al autoconocimiento como base del aprendizaje continuo.

Una herramienta libre experimental inspirado en este método es Cohere. Es un espacio personal de trabajo que permite el registro de los datos cualitativos necesarios. Me gustará probarla para hacerme una idea de qué costes, en forma de tiempo y de cambio de comportamiento, implica en el día a día en la Red, a cambio de qué beneficios. De entrada, categorizar sistemáticamente las propias contribuciones y las relaciones entre contenidos parece un esfuerzo de reflexión adicional importante (parecido, por cierto, al de la curación de contenidos). Prestaré atención también a cuestiones de compatibilidad y del uso de RSS, claves para el diseño de cualquier herramienta libre que quiera encontrar aceptación.

Visualización de un mapa de conceptos en Cohere — Visualización de un mapa de ideas en Cohere. Cada nodo es una idea.

Academic vs learning analytics and the point of trust

Second week in LAK12 was slightly less intense for me than the first. It might be because I didn’t attend neither of the live sessions which are, I think, emotionally the most significant activities of the course.

I was happy to receive clarifications about the difference between academic and learning analytics in comments. It helped me to further think about this domains. I kind of came to the conclusion that in a knowledge economy, with the individual having the main responsibility for developing skills and competences, while there perfectly might be learning analytics without academic analytics, the other way round would be problematic and serve only the survival of institutions.

I found it interesting to encounter the Penetrating the fog article among the course content, as I already read it some months ago. I bookmarked it then highlighting the sentence

Learning analytics can penetrate the fog of uncertainty around how to allocate resources, develop competitive advantages, and most important, improve the quality and value of the learning experience.

This time, I bookmarked it highlighting

Since we risk a return to behaviorism as a learning theory if we confine analytics to behavioral data, how can we account for more than behavioral data?

I also fully share Dr. Sharon Slades’ concern when she says

In trying to adapt and change our teaching and support models for the better, are we in danger of simply replacing one inappropriate design for another?

The other two course materials I have read this week were Bakers’ Data mining for education, and the SOLAR groups’ Open Learning Analytics: an integrated & modularized platform. The two showed useful applications of academic and learning analytics. The latter definitely clarifies the difference between the domains.

The SOLAR document outlines a very interesting approach to learning analytics based on interoperability, opennes and collaboration, in line with the free software movements’ philosophy. One thing I still miss —in this document and all the others— is the question about the ownership of the data. Again, because of the individual bearing the main responsability for the learning process, each person should have an owner attitude regarding their data and, whenever possible, the physical ownership of it. This would incentivate institutions to build the trust necessary to have individuals share their data. This kind of —disintermediated— trust is very different from the one that involves working with data from centralized web platforms, like Facebook, G+, Twitter or LMSs.

Rastros significativos de aprendizaje

Me cuesta captar las diferencias entre analítica del aprendizaje, analítica académica y minado de datos en la educación. Intuyo que tienen su origen en las diferencias entre distintos grupos de académicos que se ocupan del asunto y que, para diferenciarse unos de otros, usan nombres distintos para hablar del asunto bajo su propia mirada. Algo que, me parece, tiene todo el sentido.

De los tres términos, el que tiene la palabra «aprendizaje» en su nombre, es la que da sentido al término desde la mirada de la persona que aprende, tratándole como propietario de su propio aprendizaje. Bajo esta mirada, lo que se quiere es empoderar al aprendiz para aprender mejor. Ese es también mi interés en el tema.

En el terreno de los métodos, los tres enfoques se encuentran. En todos, la cuestión es captar rastros significativos de aprendizaje.

Of course, capturing meaningful learning traces is something that both we and the EDM community struggle with. Translating those traces into visual representations and feedback that support learning is another challenge: the danger of presenting meaningless eye candy or networks that confuse rather than help is all too real.
— Erik Duval

La mención del meaningless eye candy en referencia a herramientas vistosas como esas que generan grafos sociales, apunta a la dificultad de aplicar algoritmos a fenómenos como el aprendizaje, en los que la confianza entre las personas y la identidad, tienen un papel fundamental.

First week of LAK12: trends and context of analytics in learning

After reading some of the great first blog posts from participants in the LAK12 course, I’ve decided that I’ll try to write one post a week in English. Although I do feel compelled to blog in English —I’ve never done it before— I just can’t help to feel strange by doing it.

I’m happy with the distributed course format and enjoyed the two live sessions. As so many people have blogs, I’ve just subscribed to their feed in my RSS reader, which is the most comfortable place for me to read posts.

The articles about educational datamining and academic analytics, although full of technical terminology I’m not familiar with, introduced me fairly well to the application of analytics to learning. However, I had to wait until Michael Chuis’ presentation of the McKinsey report to first hear about the use of analytics by the individual for learning to learn, which is my main interest. I’ve learned that learning to learn is also called metacognition, by the way.

Some of the stakeholders in learning analytics I’ve got to know this week are universities, IBM, McKinsey, the foundation of the Gates’, the White House and several companies specialized in analytics in controlled learning environments like LMSs. Michael Chui said that for every unit of benefit of data analytics for big organizational players, there’ll be 5 units of benefits of it for the end customer. I’ll be happy if this turns out to be so, specially in learning. However, for this to come true, an empowering talent development must also happen for the end user, in this case the learner who, as in so many other aspects of life, either programs or will be programmed.

If the need to focus on the learning analytics skills of the learner is one conclusion to which I got this week, the other is the need for transparency. As it seems that it is not so much the ownership of data that matters than who has capacity of putting the data to work, transparency is a key issue in every platform that wants users to give away data about themselves. Panagoitis Ipeirotis’ experiments in Amazon and Zappos showed that people welcome transparency. The approach that both parts, the provider and the user, learn and gain from the interaction and together create new knowledge and understanding, seems to be the right one. Last.fm, for example, understands this.

If the new era of data, of which we are only in the early adopter phase, embraced the principles —skilled end users and transparency— of the libre software and knowledge movement, great things might happen. It might bring a new era of metacognition where data might make it easier for individuals to assume that the main responsibility for our learning lies by ourselves. ¿Or am I just dreaming?

Footsteps in the snow — 29th January 10 years ago, by Jeff Harris

Analítica y textos en la web

Es divertido ver a Panagoitis Ipeirotis presentar su experimento sobre el valor de la reputación en la web. Se le nota que disfruta respondiendo a preguntas del tipo ¿qué efecto tienen los textos, en concreto los comentarios de los usuarios sobre los productos en Amazon y Zappos, en la reputación de los distribuidores?

Podríamos pensar que la semántica es suficiente para saber si un comentario es positivo o negativo. Sucede que no.

Comentar que un producto es «bueno» tiene un efecto negativo en las ventas. «Si esto es lo más que otros pueden decir de este producto, no me interesa», piensan los demás.
Describir un fallo de un producto, especificando en qué consiste, tiene un efecto positivo en las ventas. «Si esto es lo peor que dicen del producto, a mí también me va a servir», parecen argumentar los compradores.
Comentar sobre un producto en superlativos (excelente, maravilla) pero con erratas, errores de ortografía y gramática (exelente, maraviya), tiene un efecto negativo en las ventas. «No quiero comprar productos que ha comprado gente que escribe mal», parece ser la lógica.

Fer resume de modo breve y excelente las principales conclusiones del experimento.

Me limito, por eso, a comentar un paso del mismo que consistió en corregir los textos mal escritos a través del marketplace de trabajo de Amazon. Fue así que vieron que, con comentarios muy positivos y bien escritos, las ventas aumentaron. Esto, a su vez, planteó preguntas respecto a la honestidad de Amazon tanto con las personas cuyos comentarios corrigieron como con los lectores de los comentarios corregidos.

Una solución que aparentemente gustó a ambos grupos fue, por un lado, informar al comentarista sobre la corrección y, por otro, enseñar al lector ambas versiones — la buena por defecto y la mal escrita cuando pedía ver el comentario original. Sólo faltaba responder la pregunta ¿y así comprará o no?