Análisis de discurso para el aprendizaje

La analítica del aprendizaje me interesa desde la perspectiva de quien aprende, o mejor dicho quienes aprenden, puesto que aprendemos, sobre todo, a través de la interacción y la experiencia. La otra perspectiva es la de las organizaciones, en línea con la analítica académica, también útil, que ahora me interesa menos.

Hablando de casos y ejemplos concretos de medir el aprendizaje, me encuentro con el enfoque centrado en el análisis de discurso, basado en el supuesto de que un indicador clave del aprendizaje, de la generación de significado, es la calidad de contribución al discurso.

Este enfoque concreto de análisis del discurso en busca de claves e indicadores de aprendizaje se inspira, por un lado, en cómo los científicos construyen argumentos y defienden su postura en un debate.

Tenemos, por otro lado, la teoría de la argumentación y la retórica que data de los filósofos griegos, y cuya articulación reciente en esquemas de argumentación tuvo una adaptación enfocada en modelos computacionales.

Otras fuentes de inspiración son los sistemas de información basados en asuntos y su traducción a un modelo hipertextual de datos, que posibilita la visualización de conversaciones.

Como resultado, tenemos un método de análisis en el que los nodos son las personas, pero también lo son las ideas. Cada post en un blog sería, por ejemplo, un nodo. A partir de ahí, se trata de establecer enlaces de distinto valor argumentativo y retórico entre nodos-idea (trabajando con una tipología de ideas y de enlaces), asociados a nodos-persona.

Algunos de los tipos de información que se pueden obtener de ese modo son mapas de ideas y de conceptos, actitudes de las personas o la centralidad de los nodos. (Al margen de su utilidad para mejorar el aprendizaje, se me ocurre como posible método para analizar fenómenos como la polarización de grupo).

La analítica del aprendizaje enfocada al discurso en principio debe permitir reflexiones más profundas que el análisis cuantitativo de actividades de «más bajo nivel» (número de logs para descargar un recurso, duración de las sesiones, número de comentarios, etc). Esta mayor profundidad se debe al hecho de que se recogen datos explícitos sobre el contexto cognitivo de la persona (movimiento retórico que quiere realizar con un comentario, significado que atribuye a una relación, etc.).

Disponer de este tipo de datos implica que las personas los generen, como una capa de información adicional encima de lo que hacen en la web. Se trata, por tanto, de una analítica activa, con la colaboración de las personas que aprenden, frente a métodos pasivos de «tú vas aprendiendo y yo te analizo». Un método muy vinculado al autoconocimiento como base del aprendizaje continuo.

Una herramienta libre experimental inspirado en este método es Cohere. Es un espacio personal de trabajo que permite el registro de los datos cualitativos necesarios. Me gustará probarla para hacerme una idea de qué costes, en forma de tiempo y de cambio de comportamiento, implica en el día a día en la Red, a cambio de qué beneficios. De entrada, categorizar sistemáticamente las propias contribuciones y las relaciones entre contenidos parece un esfuerzo de reflexión adicional importante (parecido, por cierto, al de la curación de contenidos). Prestaré atención también a cuestiones de compatibilidad y del uso de RSS, claves para el diseño de cualquier herramienta libre que quiera encontrar aceptación.

Visualización de un mapa de conceptos en Cohere
Visualización de un mapa de ideas en Cohere. Cada nodo es una idea.

Academic vs learning analytics and the point of trust

Second week in LAK12 was slightly less intense for me than the first. It might be because I didn’t attend neither of the live sessions which are, I think, emotionally the most significant activities of the course.

I was happy to receive clarifications about the difference between academic and learning analytics in comments. It helped me to further think about this domains. I kind of came to the conclusion that in a knowledge economy, with the individual having the main responsibility for developing skills and competences, while there perfectly might be learning analytics without academic analytics, the other way round would be problematic and serve only the survival of institutions.

I found it interesting to encounter the Penetrating the fog article among the course content, as I already read it some months ago. I bookmarked it then highlighting the sentence

Learning analytics can penetrate the fog of uncertainty around how to allocate resources, develop competitive advantages, and most important, improve the quality and value of the learning experience.

This time, I bookmarked it highlighting

Since we risk a return to behaviorism as a learning theory if we confine analytics to behavioral data, how can we account for more than behavioral data?

I also fully share Dr. Sharon Slades’ concern when she says

In trying to adapt and change our teaching and support models for the better, are we in danger of simply replacing one inappropriate design for another?

The other two course materials I have read this week were Bakers’ Data mining for education, and the SOLAR groups’ Open Learning Analytics: an integrated & modularized platform. The two showed useful applications of academic and learning analytics. The latter definitely clarifies the difference between the domains.

The SOLAR document outlines a very interesting approach to learning analytics based on interoperability, opennes and collaboration, in line with the free software movements’ philosophy. One thing I still miss —in this document and all the others— is the question about the ownership of the data. Again, because of the individual bearing the main responsability for the learning process, each person should have an owner attitude regarding their data and, whenever possible, the physical ownership of it. This would incentivate institutions to build the trust necessary to have individuals share their data. This kind of —disintermediated— trust is very different from the one that involves working with data from centralized web platforms, like Facebook, G+, Twitter or LMSs.

Rastros significativos de aprendizaje

Me cuesta captar las diferencias entre analítica del aprendizaje, analítica académica y minado de datos en la educación. Intuyo que tienen su origen en las diferencias entre distintos grupos de académicos que se ocupan del asunto y que, para diferenciarse unos de otros, usan nombres distintos para hablar del asunto bajo su propia mirada. Algo que, me parece, tiene todo el sentido.

De los tres términos, el que tiene la palabra «aprendizaje» en su nombre, es la que da sentido al término desde la mirada de la persona que aprende, tratándole como propietario de su propio aprendizaje. Bajo esta mirada, lo que se quiere es empoderar al aprendiz para aprender mejor. Ese es también mi interés en el tema.

En el terreno de los métodos, los tres enfoques se encuentran. En todos, la cuestión es captar rastros significativos de aprendizaje.

Of course, capturing meaningful learning traces is something that both we and the EDM community struggle with. Translating those traces into visual representations and feedback that support learning is another challenge: the danger of presenting meaningless eye candy or networks that confuse rather than help is all too real.
Erik Duval

La mención del meaningless eye candy en referencia a herramientas vistosas como esas que generan grafos sociales, apunta a la dificultad de aplicar algoritmos a fenómenos como el aprendizaje, en los que la confianza entre las personas y la identidad, tienen un papel fundamental.

First week of LAK12: trends and context of analytics in learning

After reading some of the great first blog posts from participants in the LAK12 course, I’ve decided that I’ll try to write one post a week in English. Although I do feel compelled to blog in English —I’ve never done it before— I just can’t help to feel strange by doing it.

I’m happy with the distributed course format and enjoyed the two live sessions. As so many people have blogs, I’ve just subscribed to their feed in my RSS reader, which is the most comfortable place for me to read posts.

The articles about educational datamining and academic analytics, although full of technical terminology I’m not familiar with, introduced me fairly well to the application of analytics to learning. However, I had to wait until Michael Chuis’ presentation of the McKinsey report to first hear about the use of analytics by the individual for learning to learn, which is my main interest. I’ve learned that learning to learn is also called metacognition, by the way.

Some of the stakeholders in learning analytics I’ve got to know this week are universities, IBM, McKinsey, the foundation of the Gates’, the White House and several companies specialized in analytics in controlled learning environments like LMSs. Michael Chui said that for every unit of benefit of data analytics for big organizational players, there’ll be 5 units of benefits of it for the end customer. I’ll be happy if this turns out to be so, specially in learning. However, for this to come true, an empowering talent development must also happen for the end user, in this case the learner who, as in so many other aspects of life, either programs or will be programmed.

If the need to focus on the learning analytics skills of the learner is one conclusion to which I got this week, the other is the need for transparency. As it seems that it is not so much the ownership of data that matters than who has capacity of putting the data to work, transparency is a key issue in every platform that wants users to give away data about themselves. Panagoitis Ipeirotis’ experiments in Amazon and Zappos showed that people welcome transparency. The approach that both parts, the provider and the user, learn and gain from the interaction and together create new knowledge and understanding, seems to be the right one. Last.fm, for example, understands this.

If the new era of data, of which we are only in the early adopter phase, embraced the principles —skilled end users and transparency— of the libre software and knowledge movement, great things might happen. It might bring a new era of metacognition where data might make it easier for individuals to assume that the main responsibility for our learning lies by ourselves. ¿Or am I just dreaming?

Footsteps in the snow
29th January 10 years ago, by Jeff Harris

Analítica y textos en la web

Es divertido ver a Panagoitis Ipeirotis presentar su experimento sobre el valor de la reputación en la web. Se le nota que disfruta respondiendo a preguntas del tipo ¿qué efecto tienen los textos, en concreto los comentarios de los usuarios sobre los productos en Amazon y Zappos, en la reputación de los distribuidores?

Podríamos pensar que la semántica es suficiente para saber si un comentario es positivo o negativo. Sucede que no.

  • Comentar que un producto es «bueno» tiene un efecto negativo en las ventas. «Si esto es lo más que otros pueden decir de este producto, no me interesa», piensan los demás.
  • Describir un fallo de un producto, especificando en qué consiste, tiene un efecto positivo en las ventas. «Si esto es lo peor que dicen del producto, a mí también me va a servir», parecen argumentar los compradores.
  • Comentar sobre un producto en superlativos (excelente, maravilla) pero con erratas, errores de ortografía y gramática (exelente, maraviya), tiene un efecto negativo en las ventas. «No quiero comprar productos que ha comprado gente que escribe mal», parece ser la lógica.

Fer resume de modo breve y excelente las principales conclusiones del experimento.

Me limito, por eso, a comentar un paso del mismo que consistió en corregir los textos mal escritos a través del marketplace de trabajo de Amazon. Fue así que vieron que, con comentarios muy positivos y bien escritos, las ventas aumentaron. Esto, a su vez, planteó preguntas respecto a la honestidad de Amazon tanto con las personas cuyos comentarios corrigieron como con los lectores de los comentarios corregidos.

Una solución que aparentemente gustó a ambos grupos fue, por un lado, informar al comentarista sobre la corrección y, por otro, enseñar al lector ambas versiones — la buena por defecto y la mal escrita cuando pedía ver el comentario original. Sólo faltaba responder la pregunta ¿y así comprará o no?

Minería de datos en educación

Diferenciar entre minería de datos en educación y analítica del aprendizaje es uno de los propósitos del curso del que hablé ayer y que ha recibido el bonito código de LAK12.

Una definición de analítica del aprendizaje con la que me he encontrado en LAK12 es la siguiente:

La medición, recogida, análisis y presentación de datos sobre personas que están aprendiendo y sus contextos, con el propósito de comprender y optimizar el aprendizaje y los entornes en los que sucede.

Mientras que la minería de datos en la educación la definen así quienes la estudian:

La minería de datos en la educación es una disciplina emergente que desarrolla métodos para explorar los datos que vienen de entornos educativos, y los usa para entender mejor a los estudiantes y los entornos en los que aprenden.

En un primer vistazo apenas hay diferencia, ¿no?

En un texto que leí, supe más de la minería de datos en educación. Surgió del análisis de logs de la interacción estudiante-máquina y para sus métodos se inspira, entre otros, en la minería de datos y el aprendizaje automático, la psicometría y otros campos de la estadística, la infografía y los modelos computacionales.

Aplicaciones de la minería de datos en educación

  • Mejorar los modelos del estudiante. La minería de datos se ha usado, por ejemplo, para determinar si un estudiante truca el sistema o si está aburrido o frustrado en un curso online. Una versión más amplia de los modelos del estudiante va más allá del software educativo y se propone determinar, por ejemplo, los factores de los que depende si alguien va a abandonar sus estudios.
  • Descubrir y mejorar la estructura del conocimiento en un dominio.
  • Estudiar el apoyo pedagógico, por ejemplo mediante la descomposición del aprendizaje.
  • Buscar evidencia empírica para refinar o ampliar teorías o fenómenos educativos.

Suena a personotecnia ¿verdad? Me falta estudiar en más detalle las tendencias de los últimos años pero intuyo que de personotecnia habrá más y no menos también en educación. Intuyo que, frente a la minería de datos, la analítica del aprendizaje vaya por el camino de la personalización.

Mi interés en este curso está en cómo obtener y analizar los datos del aprendizaje informal y autodirigido con el fin de hacerlo mejor. En la primera charla que hemos tenido hoy, he creído percibir un interés parecido en muchas personas.

Analítica web en el ámbito del aprendizaje: un curso abierto en la Red

Me he apuntado a tres cursos abiertos en la Red que empezarán en los próximos meses. La primera es sobre analítica web aplicada al aprendizaje, es de una gente que se agrupa bajo el codename SOLAR (Society for Learning Analytics Research) y ha comenzado hoy.

La analítica necesariamente incluye el trabajo con big data. Por eso, me reconforta ver en la programación del curso que hablaremos de ética y privacidad. También me anima mucho que al menos uno de los organizadores, George Siemens, sea un firme defensor de los blogs frente a Facebook y Twitter para la presencia en la Red de las personas.

Siemens explica en el vídeo de introducción que no estaremos encerrados en un LMS (Sistema de Gestión del Aprendizaje): el curso será distribuido, con todos escribiendo en nuestros blogs. Esta insistencia en los espacios propios de cada persona no puede parecerme sino estupenda.

En su conjunto, las metas del curso me parecen sugerentes:

  • Describir qué es la analítica del aprendizaje y qué le diferencia de otros conceptos como la minería de datos aplicada a la educación o la analítica académica.
  • Analizar, planear y hacer un pequeño piloto de analítica del aprendizaje.
  • Desarrollar una matriz de herramientas destacadas de la analítica del aprendizaje y de las estrategias de analítica a las que sirve cada una.
  • Evaluar el estado actual de las tecnologías de analítica del aprendizaje y describir los beneficios y pegas de herramientas libres y herramientas privativas.
  • Evaluar y describir el papel de la web semántica y los datos conectados en los contenidos educativos de nueva generación.

Es posible que este curso me lleve a abrir una cuenta en Twitter y a postear en mi blog, en ocasiones, en inglés. Parece que también habrá interacción síncrona de frecuencia semanal usando Blackboard Collaborate.

Iré contando mis experiencias por aquí.

Ser bueno en algo o: vivir en una cueva no nos convierte en geólogos

Leyendo sobre un hábito de productividad que consiste en alternar 90 minutos de trabajo concentrado con 20 minutos de descanso, llegué a un artículo titulado The Making of an Expert. A continuación, unos rápidos apuntes de lo que más me llamó la atención.

No hay atajos al talento

Los tres autores –K. Anders Ericsson, Michael J. Prietula y Edward T. Cokely– citan un estudio que coordinó Benjamin Bloom y que identificó tres atributos de los participantes, todos excelentes en algún campo:

  • practicaron intensamente
  • tuvieron maestros que demostraron gran entrega
  • contaron con el apoyo y el entusiasmo de su entorno a lo largo de sus años de formación

Citando más estudios similares, los autores afirman que no hay atajos al talento, que los expertos siempre se hacen, nunca nacen. Y que la cantidad y la calidad de la práctica importan mucho.

Práctica deliberada

Malcolm Gladwell nos enseñó que hacerse maestro en algo lleva 10 años (o 10.000 horas) de práctica. Ahora he aprendido que la práctica adecuada viene a llamarse práctica deliberada. La práctica deliberada es la que está enfocada a ir más más allá del nivel actual, es decir, más allá de la zona de confort. Hacer cosas que todavía no sabemos hacer bien o no sabemos hacer en absoluto.

La práctica deliberada abarca dos tipos de aprendizaje: (1) mejorar las habilidades que ya tenemos y (2) expandir el ámbito y el alcance de nuestras habilidades. Estos dos tipos de aprendizaje requieren de tal concentración que sólo es posible dedicarle un tiempo bastante limitado cada día.

Si practicas con tus manos, nunca es suficiente tiempo. Si practicas con tu cabeza, dos horas son abundantes.

—Nathan Milstein

Descuidar la práctica deliberada es muy fácil. Personas que son muy buenas en algo pueden pasar a dar respuestas automáticas o basadas en la intuición, si el contexto no les permite seguir retándose con casos atípicos y situaciones nuevas. Al mínimo descuido, los sesgos empiezan a campar a sus anchas. Y con la edad, más. Lo bueno es que con la práctica deliberada se puede prevenir y para ello no faltan evidencias.

Intuición

La idea de la intuición como algo al que prestarle más atención es muy popular. Hay quienes se enorgullecen de solucionar las cosas casi siempre a base de la improvisación. Y mientras es cierto que esto puede funcionar en situaciones rutinarias, sucede que la intuición, si funciona, es como resultado de la práctica deliberada que «ha puesto cerebro en los músculos».

Medición

El experto, para poder ser considerado como tal, ha de pasar tres pruebas:

  • Hacer las cosas mejor que sus iguales de forma consistente
  • Obtener resultados concretos (ganar esa partida de ajedrez, curar ese paciente)
  • Poder replicar las cosas que hace en un laboratorio

Si no se puede medir, no se puede mejorar

—Lord Kelvin

Ser nuestro propio maestro

No por ser el último punto, es menos importante (la razón de ser el último punto es la imagen): de maestro necesitamos a una persona que no sólo nos acompañe en esa práctica deliberada sino que nos enseñe ser nuestro propio maestro.

Síndrome de dios

Llegué a la charla TED de Tim Harford el domingo por la mañana al repasar los enlaces recomendados de Quantified self. Está relacionada con su nuevo libroAdapt: Why success always starts with failure. En él, argumenta que para solucionar problemas complejos, el método adaptativo de prueba–error, es decir, la experimentación continua es el más eficaz.

Experimentar, sin embargo, choca con el síndrome de dios, al que dedica la charla entera. El síndrome de dios consiste en creer que ya sabemos «la verdad» sobre algo y no interesarnos en cuestionar e investigar esa verdad. Harford, en su charla, pone ejemplos del campo de la medicina, relacionados con la figura de Archie Cochrane, promotor de la medicina basada en pruebas, quien, entre muchas otras cosas, demostró que las personas se recuperaban de un infarto antes en su casa que quedándose en el hospital.

¿Conocéis a personas que no comen huevo porque creen que aumenta el colesterol? Pues sucede que, según el estado del arte, el colesterol que comemos no influye en el nivel de colesterol en sangre. Aun así, al parecer, sigue habiendo expertos que recomiendan no comerlos.

El interés desde la economía por fenómenos como el síndrome de dios no es nueva. Herbert Simon, Premio Nobel de economía de 1978, formuló el principio de la racionalidad limitada según la cual sólo el 10% de nuestras opiniones y afirmaciones tienen su origen en hechos comprobados. El 90% son creencias e historias. Concluyó que el responsable de ese 90% de nuestras afirmaciones que creemos ciertas pero que objetivamente no lo son, es nuestra actitud.

Todo esto parecerá obvio para algunos, dice Harford, pero el hecho de que en las escuelas se enseñen respuestas en lugar de maneras de hacer preguntas e investigar, demuestra que no lo es. No es obvio. El síndrome de dios sigue estando presente en nuestras vidas, día sí y el siguiente también.

4 escenarios de aprendizaje en los ejes gestionar–permitir y datos–relaciones

En el último Online Educa Berlin, un grupo de estudiosos del «aprendizaje corporativo» hizo un ejercicio interesante: crear 4 escenarios del futuro del aprendizaje en las organizaciones a lo largo de los ejes gestionar–permitir y datos–relaciones.

Gestionar y permitir son planteados como dos enfoques para organizar el trabajo. Datos y relaciones como dos fuerzas impulsoras de hacer el trabajo.

Escenarios de aprendizaje a lo largo de los ejes gestionar-permitir y datos-relaciones

Big data: gestionar a base de datos

En este escenario la organización estructura y regula el trabajo y las competencias requeridas. Usa datos de desempeño y evaluación de competencias para gestionar a los trabajadores. Un escenario concreto hipotético sería Google desarrollando herramientas de predicción de desempeño de candidatos.

Yo cuantificado: permitir a base de datos

Las personas trabajan en red de modo flexible y usan los datos con dos fines: mejorar y demostrar competencias. Son las personas las responsables del desarrollo continuo de sus competencias a lo hacen a base del seguimiento, a veces automatizado, de las mismas. Es el futuro de las apps de autocoaching para móviles basado de populares indicadores de personalidad.

Comunidad: permitir a base de relaciones

Es el escenario de las empresas que nacen de comunidades identitarias apasionadas por lo que hacen, muy conectadas hacia dentro y poco conectadas hacia fuera. El desarrollo de competencias es autodirigido y se produce en comunidad, entre iguales.

Jerarquía: gestionar a base de relaciones

Es el escenario más conocido hasta ahora: roles claros, carreras planificadas, gestión del talento y la empresa como principal responsable del desarrollo de competencias de los empleados.

Por lo que he leído, lo que no hay que hacer con un ejercicio así es juzgar los escenarios. Lo que sí recomiendan es intentar «sentirlos, olisquearlos, buscar indicadores de la emergencia de alguno en concreto, usarlos para tomar decisiones y planificar qué hacer en el caso de que se hagan realidad».

Lo que más claro veo es la desaparición del escenario «jerarquías». Muchos indicadores apuntan a que las empresas tradicionales ya no funcionan bien a base de relaciones. De estas, creo que muchas lo intentarán con el «big data». A esto apunta la pérdida de control sobre las herramientas de trabajo por parte de las personas. El «yo cuantificado» parece ser el más acorde con las reglas del mundo en red pero siempre con el desafío de la organización. Éste y el escenario de «comunidad» son los emergentes a los que, de momento se les ve poco y es posible que la superposición de los dos pueda entrañar las nuevas soluciones a la organización.

Mi reflexión final es que los cuatro escenarios me parecen útiles para pensar no sólo el aprendizaje en las organizaciones sino el aprendizaje en toda su amplitud desde los primeros años. Los sistemas educativos están experimentando cambios muy parecidos.