El sorprendente poder de los experimentos en línea

En 2012, un empleado de Microsoft que trabajaba en Bing tuvo una idea para cambiar la forma en que el motor de búsqueda mostraba los titulares de los anuncios. Desarrollarla no requeriría mucho esfuerzo -apenas unos días del tiempo de un ingeniero-, pero era una de los cientos de ideas propuestas, y los responsables del programa la consideraron de baja prioridad. Así que languideció durante más de seis meses, hasta que un ingeniero, que vio que el coste de escribir el código para ello sería pequeño, puso en marcha un sencillo experimento controlado en línea -una prueba A/B- para evaluar su impacto. En cuestión de horas, la nueva variación del titular estaba produciendo unos ingresos anormalmente altos, lo que desencadenó una alerta de "demasiado bueno para ser verdad". Normalmente, este tipo de alertas señalan un error, pero no en este caso. Un análisis demostró que el cambio había aumentado los ingresos en un asombroso 12% -lo que sobre una base anual supondría más de 100 millones de dólares sólo en Estados Unidos- sin perjudicar las métricas clave de la experiencia del usuario. Fue la mejor idea para generar ingresos en la historia de Bing, pero hasta la prueba su valor fue subestimado.