Hola, soy Renzo Lucioni, estudiante de último año en la Universidad de Harvard. La pasé muy bien este verano como pasante en edX. He estado trabajando para permitir y promover un enfoque objetivo para la gestión de productos. Mi proyecto de verano consistió en varias mejoras discretas que abarcaron el LMS y el equipo de análisis recién formado. Mi proyecto se trataba tanto de hacer que el "proceso" fuera correcto como de remediar la forma en que el LMS mostraba a los estudiantes su progreso. Por “proceso” me refiero a: identificar y validar cambios, implementarlos y luego cuantificar su impacto. Habilitar y promover este “proceso” es el paraguas que cubre el trabajo que realicé durante el verano.
Aquí hay un resumen del proceso que tratamos de seguir aquí en edX. Comenzamos identificando concretamente un problema y el efecto que esperamos ver al solucionarlo. Identificamos problemas para abordar mediante el uso de datos analíticos que recopilamos. Luego hacemos una lluvia de ideas sobre posibles soluciones. El siguiente paso es la validación. Antes de implementar completamente los cambios, queremos validarlos. Los cambios pueden estar motivados por una cantidad de cosas, pero queremos asegurarnos de que los cambios propuestos solucionen el problema. Hay muchas formas de validar. Podría significar mostrar el cambio internamente a un puñado de personas, ejecutarlo por un grupo de usuarios que traemos para probar el cambio o realizar pruebas divididas. Si vemos que el cambio ayuda, lo implementamos. Si no es así, vuelve al paso uno. Después de realizar el cambio, queremos medir su impacto real en la producción para asegurarnos de obtener el retorno que esperábamos del paso de validación.
Para ayudar con los pasos de identificación y cuantificación, mi trabajo se centró en el análisis y la calidad de los datos. Segmento.io es un servicio de terceros que nos permite enviar nuestros datos de análisis a cualquier servicio de análisis que queramos sin tener que integrarnos con cada servicio individualmente. Integré Segment.io con la plataforma edX y limpié los eventos que registramos. Ahora usamos Segment.io para realizar un seguimiento de lo que hacen los usuarios cuando interactúan con el material didáctico, reenviando esta información a Google Analytics, Mixpanel y Chartbeat.
Para mejorar el paso de validación de nuestro proceso, desarrollé un enfoque flexible y liviano para las pruebas divididas. También denominadas pruebas A/B, las pruebas divididas consisten en dividir a nuestros usuarios en grupos, controlar lo que ven estos grupos (queremos mostrar algo diferente a cada grupo) y monitorear y comparar el comportamiento de cada uno. Queríamos que nuestro enfoque de prueba dividida fuera flexible, permitiéndonos aplicarlo en toda la plataforma edX a cambios que van desde alteraciones cosméticas hasta características completamente nuevas. El marco de pruebas divididas que implementé se basa en Tela de Gofres Jersey, un flipper de características de Django. Decidí no usar uno de los varios marcos de prueba A/B de código abierto disponibles para Django porque la mayoría no son compatibles con Django 1.4, ya no se mantienen y están mal documentados o no están documentados en absoluto. Además, en un intento de abstraer el proceso de prueba dividida, descubrí que estos marcos son demasiado rígidos para nuestros casos de uso típicos. La mayoría están diseñados con el propósito expreso de rastrear las suscripciones o compras de los usuarios. El uso de Waffle junto con Mixpanel constituye un enfoque más flexible y ligero.
Waffle proporciona tres herramientas para controlar lo que ven los usuarios: banderas, interruptores y muestras. Mi marco utiliza las banderas basadas en sesión de Waffle para alternar funciones en las vistas de Django y las plantillas de Mako. Las banderas se ajustan bien al proyecto de ley de pruebas divididas. Se pueden asignar a todos los usuarios, a un grupo de usuarios o a un porcentaje arbitrario de usuarios. Con los permisos apropiados para el modelo "Banderas" en la base de datos, las banderas se pueden crear, alternar y eliminar usando el sitio de administración de Django sin involucrar a DevOps. Además, los cambios realizados en las banderas entran en vigencia de inmediato sin necesidad de presionar ningún código. Mi marco realiza un seguimiento de qué banderas están activas para un usuario en particular al agregar una propiedad a las llamadas a la API de Segment.io que contiene una cadena que enumera las banderas activas; este cambio en particular se hizo en segmento-io.html. Segment.io enruta esta información a Mixpanel, donde podemos estudiar los datos, permitiéndonos comparar el comportamiento de diferentes grupos de usuarios.
Aquí hay un ejemplo del proceso en acción. Hablando con grupos de usuarios de edX, aprendimos que había un fuerte deseo de mostrar el progreso en contexto. Históricamente, los estudiantes han tenido dificultades para visualizar su progreso en un curso. También han tenido una ayuda mínima al navegar por el material del curso. En la actualidad, la página de inicio del material didáctico le dice al estudiante dónde estuvo por última vez y lo vincula a ese componente. Sin embargo, el acordeón del curso no indica lo que el estudiante ha completado, en lo que está trabajando actualmente o lo que aún no ha comenzado. Para empeorar las cosas, la pestaña de progreso está divorciada del material del curso y también es demasiado detallada, lo que significa que la página no es inmediatamente útil para un estudiante. Los estudiantes no tienen forma de medir de forma fiable su progreso desde el contexto del material didáctico.
Traté de abordar este problema mostrando las puntuaciones de los estudiantes en vivo, justo al lado de los títulos de los problemas en los que están trabajando. Para hacer este cambio, modifiqué capa_module.py y pantalla.cafe. Tratamos de reservar las pruebas divididas para cambios grandes y arriesgados, no para victorias claras como este cambio; queremos validar en el nivel correcto. Por tanto, la validación de este cambio consistió en mostrar el cambio internamente. La implementación de esta característica ahora está siendo seguida por la cuantificación. Hemos observado una caída del 8 % en el tráfico del material didáctico a la página de progreso y utilizaremos estos datos para informar cambios futuros.
Si bien recién comenzamos a usar datos analíticos para informar nuestras decisiones y este nuevo marco para realizar pruebas divididas en nuevos trabajos, confío en que estas herramientas nos permitirán tomar mejores decisiones. Uno de los objetivos de edX es descubrir qué ayuda a las personas a aprender en línea. Un enfoque más cuantitativo combinado con pruebas divididas nos ayudará a alcanzar este objetivo.
