O poder surpreendente dos experimentos on-line

Em 2012, um funcionário da Microsoft que trabalhava no Bing teve uma ideia para mudar a forma como o mecanismo de busca exibia os títulos dos anúncios. Desenvolvê-la não exigiria muito esforço - apenas alguns dias do tempo de um engenheiro - mas era uma das centenas de ideias propostas, e os gerentes de programa a consideraram de baixa prioridade. Assim, ela ficou parada por mais de seis meses, até que um engenheiro, que viu que o custo de escrever o código para ela seria pequeno, lançou um experimento controlado on-line simples - um teste A/B - para avaliar seu impacto. Em poucas horas, a nova variação do título estava gerando uma receita anormalmente alta, acionando um alerta "bom demais para ser verdade". Normalmente, esses alertas indicam um bug, mas não nesse caso. Uma análise mostrou que a mudança havia aumentado a receita em surpreendentes 12% - o que, em uma base anual, chegaria a mais de US$ 100 milhões somente nos Estados Unidos - sem prejudicar os principais indicadores de experiência do usuário. A TI foi a melhor ideia de geração de receita da história do Bing, mas até o teste seu valor era subestimado.