Por que é tão difícil para nós visualizar a incerteza

A eleição presidencial dos EUA não se desenrolou da maneira que muitos previram. Agora sabemos alguns dos motivos - as pesquisas de opiniãofalharam - masassistir aos resultados em tempo real na noite de terça-feira não foi apenas surpreendente, foi confuso. As previsões oscilavam de um lado para o outro, e era difícil processar as informações que chegavam. Portanto, não apenas os dados pareciam errados, mas a forma como estávamos apresentando esses dados também parecia errada. No dia seguinte, perguntei ao meu colega Scott Berinato, nosso especialista em visualização de dados , se ele poderia ajudar a explicar essa incerteza - como lidamos com ela, por que era tão difícil de entender e o que é tão desafiador em visualizá-la. Nicole: O que o senhor notou sobre como as previsões eleitorais estavam sendo exibidas na noite de terça-feira? Scott: Muitas pessoas estavam olhando para a previsão presidencial ao vivo do New York Times, onde o senhor via uma série de medidores (medidores de meio círculo, como o medidor de gasolina do seu carro) que eram atualizados com frequência. A agulha se movia para a esquerda se os dados mostrassem que Hillary Clinton tinha mais chances de vencer e para a direita se Donald Trump tivesse. Mas a agulha também oscilava para frente e para trás, fazendo parecer que a probabilidade estatística de vitória estava mudando muito rapidamente. Isso causou muita ansiedade. As pessoas ficaram confusas. Estavam tentando interpretar o que estava acontecendo na eleição e por que os dados estavam mudando tão drasticamente em tempo real, e era realmente difícil entender o que estava acontecendo. O problema é que a agulha não estava oscilando para representar a probabilidade estatística; era um efeito codificado para representar a incerteza na previsão estatística. Portanto, tentar mostrar as mudanças em tempo real na corrida, levando em conta a incerteza, foi um bom esforço de engajamento, mas a execução ficou aquém do esperado porque confundiu e enervou as pessoas - e o jitter não era a melhor abordagem visual. O que queremos dizer com incerteza? Quando pensamos em mostrar a incerteza, pensamos principalmente em dois tipos. Um é a incerteza estatística, que se aplica se eu dissesse algo como: "Aqui estão meus valores e, estatisticamente, minha confiança neles é de 95%". Pense na margem de erro embutida nas pesquisas. Os estatísticos usam coisas como gráficos box-and-whisker para representar isso. Há muitas variações desses gráficos, e eles funcionam razoavelmente bem, embora os acadêmicos tentem outras abordagens às vezes, e o público leigo não está acostumado com essas visualizações, na maioria das vezes. O outro tipo de incerteza é a incerteza dos dados. Isso se aplica quando não temos certeza de onde nossos dados se enquadram em um intervalo. Em vez de termos um valor e uma confiança nesse valor, temos um intervalo de valores possíveis. Recentemente, um amigo me deu um conjunto de dados com dois valores. Um deles era "a estimativa varia de 1 em 2.000 a 1 em 4.500" e o outro era "uma estimativa que varia de 1 em 5.500 a 1 em 8.000". Não há uma maneira aceita ou correta de visualizar algo assim. Encontrar maneiras de representar a incerteza de forma precisa e eficaz é um dos desafios mais importantes da visualização de dados atualmente. E é importante saber que a visualização da incerteza em geral é extremamente difícil de ser feita. Por quê? Quando o senhor pensa sobre isso, as visualizações tornam algo abstrato - números, estatísticas - concreto. O senhor está representando uma ideia como 20% com algo como uma barra ou um ponto. Um ponto em uma linha que representa 20% parece bastante certo. Como o senhor então expressa a ideia de que "cinco vezes em cem essa não é a resposta certa, poderia ser todas essas outras respostas". Então, há boas maneiras de visualizar a incerteza dessa forma? Na maioria das vezes, as pessoas simplesmente não representam sua incerteza, porque é difícil. Não queremos fazer isso. É importante que a incerteza seja comunicada. Por exemplo, considere os cuidados com a saúde, em que os resultados dos cuidados podem ser incertos, mas o senhor quer que as pessoas entendam suas decisões. Como o senhor mostra a elas a possível gama de resultados, em vez de apenas o que é mais provável ou menos provável de acontecer? Ou digamos que haja um surto de uma doença como o Ebola e queremos modelar o pior caso, o provável e o melhor cenário. Como representamos esses diferentes resultados? As previsões meteorológicas e os modelos de furacões são a mesma coisa. Os analistas de risco e especialistas em probabilidade pensam em como resolver esses problemas o tempo todo. TI não é fácil. No entanto, há várias outras abordagens. Algumas pessoas usam barras para representar o intervalo de incerteza. Algumas usam linhas sólidas para mostrar um valor médio e linhas pontilhadas acima e abaixo para mostrar os limites superior e inferior. Outra forma é usar a saturação de cores ou gradientes para mostrar que os valores estão se tornando cada vez menos prováveis, mas ainda dentro do campo das possibilidades. Além da incerteza, também estamos lidando com a probabilidade. Sim, é muito difícil para nosso cérebro perceber a probabilidade. Quando dizemos que algo tem 80% de chance de acontecer, não é a coisa mais simples de entender. O senhor não consegue sentir o que 80% de probabilidade realmente significa. Quero dizer, parece que provavelmente vai acontecer. Mas o importante é lembrar que, se não acontecer, isso não significa que o senhor estava errado, significa apenas que a probabilidade de 20% aconteceu. As estatísticas são estranhas. Mesmo que achemos que entendemos o que é "20% de chance", não pensamos nisso da mesma forma que "1 em 5". Tendemos a pensar que "1 em 5" tem mais probabilidade de acontecer do que "20%". A TI é menos abstrata. Se o senhor disser que 1 em cada 5 pessoas comete um crime, o senhor realmente imagina essa pessoa. Nós "imaginamos o numerador". Mas "20%" não comete um crime. Não é uma coisa que age. É uma estatística. O que fazemos quando os 20% ou 10% de chance acontecem? Como dizer a alguém que teve uma situação muito rara, que com base na probabilidade que lhe demos, foi o conselho certo, mesmo que não tenha dado certo para o senhor? Isso é realmente difícil e os executivos de segurança e especialistas em riscos pensam nisso o tempo todo. Se o senhor pensar bem, as empresas precisam aprender isso porque, em retrospectiva, é fácil dizer: "nossos modelos estavam errados, o improvável aconteceu". Não é verdade! O tempo todo estávamos comunicando que havia uma pequena chance de que a coisa ruim pudesse acontecer. Ainda assim, como seres humanos, é difícil para nós entendermos isso. Será que é porque tentamos nos agarrar à esperança de um resultado mais favorável? É porque as coisas prováveis acontecem mais vezes. Quando coisas improváveis acontecem, queremos dar sentido a elas. Não estávamos esperando. Não deveríamos estar esperando porque era improvável! Mas ainda é possível, por mais improvável que seja. Só de me ouvir dizer isso, os senhores já percebem como soa elíptico. Quando ocorre um desastre natural, os senhores costumam ouvir as pessoas dizerem depois: "Foi uma tempestade de 100 anos, ninguém poderia ter previsto isso". Não é verdade! Os especialistas em risco sempre previram isso. A TI sempre foi uma possibilidade estatística. Mas não é provável. Eu entendo a probabilidade, mas ainda assim não consigo deixar de me sentir enganado pelas previsões. O que estou perdendo? Três coisas estão acontecendo com os modelos eleitorais. 1) Mesmo que um candidato tenha 10% de chance de vencer há 10 dias e acabe vencendo, isso não significa que o modelo estava errado. Isso significa que o improvável aconteceu. 2) Toda essa noção de usar a probabilidade para determinar quem vencerá uma eleição (com base no fato de ter 80% de chance etc.) é difícil para o público entender, pois tendemos a pensar nas eleições em termos mais binários - esta pessoa vencerá ou aquela pessoa vencerá. 3) Revisamos as probabilidades todos os dias. Eles as atualizam. E quando um candidato diz algo estúpido, sua probabilidade de vitória diminui e a dos outros aumenta. Isso nos faz sentir que essas probabilidades de vitória são reativas, não especulativas. Assim, nós, o público leigo, acabamos pensando que estamos vendo dados que nos dizem algo sobre como os candidatos estão se comportando, e não sobre a probabilidade de vitória deles. A TI começa a se parecer mais com um índice de aprovação do que com uma previsão. Esse primeiro ponto deve surgir nos negócios o tempo todo. A eleição coloca em foco a questão da visualização da incerteza, mas esse é um desafio cada vez mais comum nas empresas que estão desenvolvendo suas operações de ciência de dados. À medida que a ciência de dados se torna cada vez mais importante para as empresas, os gerentes estão começando a lidar com tipos de dados que mostram vários resultados possíveis, onde há incerteza estatística e incerteza de dados que eles precisam comunicar aos seus chefes. Se não ajudarem seus chefes a entender a incerteza, eles olharão para seus gráficos e dirão que essa é a resposta, quando é apenas a probabilidade. Não há problema em se concentrar no que é mais provável, mas o senhor não deve deixar de mostrar a gama de resultados possíveis. Por exemplo, se estiver procurando uma forma de modelar a adoção do cliente e estiver usando modelos estatísticos, certifique-se de demonstrar o que acha mais provável que aconteça, mas também como esse resultado é um dos vários resultados possíveis com base em seus modelos. O senhor precisa ser capaz de comunicar isso visualmente, caso contrário, seu chefe ou cliente interpretará mal o que o senhor está dizendo. Se os cientistas de dados disserem que temos 90% de chance de sucesso se adotarmos esse modelo, mas depois isso não acontece, o chefe deve saber que o senhor não estava errado, apenas caiu nos 10%. O senhor revirou os olhos de cobra. TI acontece. Isso é algo realmente difícil para nosso cérebro lidar e comunicar, e é um desafio importante para as empresas que investem em uma abordagem orientada por dados para seus negócios.

Por que é tão difícil para nós visualizar a incerteza

Partner Center