As pessoas podem confiar mais na TI quando não conseguem ver como ela funciona

Timothy DeStefano , da Universidade de Georgetown, e seus colegas - Michael Menietti e Luca Vendraminelli, de Harvard, e Katherine Kellogg, do MIT - analisaram as decisões de estocagem de 425 produtos de um varejista de moda de luxo dos EUA em 186 lojas. Metade das decisões foi tomada depois que os funcionários receberam recomendações de um algoritmo de fácil compreensão e a outra metade depois de recomendações de um algoritmo que não podia ser decifrado. Uma comparação das decisões mostrou que os funcionários seguiram com mais frequência a orientação do algoritmo não interpretável. A conclusão: As pessoas podem confiar mais na TI quando não conseguem ver como ela funciona. Professor DeStefano, defenda sua pesquisa. DeStefano: Pesquisas anteriores demonstraram que os tomadores de decisão muitas vezes relutam em aceitar a orientação gerada pela TI, seja consciente ou inconscientemente, e a anulam rotineiramente. Esse é um problema para as empresas que gastam muito tempo e dinheiro em sistemas de IA. Fizemos uma parceria com a Tapestry, a empresa-mãe da Coach, Kate Spade e Stuart Weitzman, para explorar essa relutância e como combatê-la. A empresa tem quase 1.500 lojas e vendas anuais de US$ 6,7 bilhões, e a otimização das alocações de produtos e a execução de uma cadeia de suprimentos eficiente são cruciais para seu sucesso. Os funcionários determinam as alocações semanais de estoque para cada loja, analisando as previsões de curto prazo, que precisam ser as mais precisas possíveis. Historicamente, a Tapestry usava um algoritmo baseado em regras para ajudar os alocadores a estimar a demanda. Esse era um modelo que eles podiam entender com base em sua experiência cotidiana e cujas entradas podiam ver. Com o objetivo de aumentar a precisão, a empresa desenvolveu um modelo de previsão mais sofisticado que era uma "caixa preta" para os usuários. Designamos aleatoriamente um dos dois sistemas para fornecer orientação para cada decisão de produto durante as três semanas de nosso estudo. Depois de ver as recomendações, os alocadores podiam enviar a quantidade sugerida ou desviar-se da orientação e enviar um número diferente de produtos. Acontece que as remessas estavam até 50% mais próximas das recomendações geradas pelo sistema de caixa preta do que das recomendações do algoritmo mais simples, baseado em regras, o que sugere que os funcionários confiavam muito mais no modelo de caixa preta. HBR: Esse é um resultado surpreendente! Por que o senhor acha que isso aconteceu? Na verdade, nossa descoberta contraria o pensamento convencional, que sustenta que as pessoas são mais propensas a aceitar orientações de sistemas que possam entender. Um dos motivos pelos quais os alocadores ignoraram o sistema menos sofisticado tem a ver com o que chamamos de "solução de problemas com excesso de confiança". Isso ocorre quando os tomadores de decisão acreditam que entendem o raciocínio de um modelo melhor do que realmente entendem. Eles usam sua experiência para ajustar o que consideram falhas no modelo. Os funcionários que estudamos frequentemente desenvolveram histórias sobre o funcionamento interno do algoritmo interpretável e por que precisavam ignorar sua orientação. Por exemplo, em uma entrevista conduzida após o experimento, um deles nos contou que ajustou as quantidades de produtos sugeridas pelo modelo depois de pensar que um pico de vendas que ocorreu uma única vez deve ter sido relacionado ao draft da NFL e deveria ser descontado. Não sabemos se o sorteio de fato contribuiu para o pico, mas o alocador tinha confiança nessa explicação. Posso entender por que as pessoas podem superestimar seu conhecimento de um modelo bastante simples. Mas por que elas aceitariam tanto um modelo que é impenetrável? Embora os funcionários não pudessem dizer quantos dados foram usados no modelo ininterpretável ou o que o modelo fez com eles, eles sabiam que o modelo havia sido desenvolvido e testado com a contribuição de alguns de seus colegas, e isso lhes dava confiança nele. TI é um exemplo do que é conhecido como "prova social". Um alocador nos disse: "Com o algoritmo não interpretável, muitas vezes não concordávamos com determinadas recomendações. Não é que confiássemos em cada recomendação feita pelo modelo. TI é que confiávamos no modelo em um nível mais macro, porque nossos colegas estavam envolvidos em seu desenvolvimento." Quando os usuários levaram em conta sua própria experiência, eles obtiveram melhores resultados? Justamente o contrário, porque o modelo mais sofisticado era muito bom! Estudamos mais de 17.000 decisões de alocação, observando como cada produto se saiu nas duas semanas após a decisão de estocagem ter sido tomada. As decisões associadas ao modelo de caixa preta foram mais bem-sucedidas do que as associadas ao modelo mais transparente, precisamente porque as pessoas estavam muito mais inclinadas a seguir seu conselho. Elas resultaram em vendas mais altas e menos rupturas de estoque, gerando 20% a mais de receita. Alguma outra coisa afetou o fato de as pessoas aceitarem ou rejeitarem as recomendações dos modelos? O grau de incerteza que um funcionário sentia ao tomar uma determinada decisão era importante, e isso variava de acordo com o volume de vendas da loja em questão. As decisões de estocagem para lojas de alto volume geraram mais incertezas porque as consequências de alocações incorretas eram maiores: quantidades potencialmente mais altas de vendas perdidas ou excesso de estoque. As pessoas estavam muito mais propensas a aceitar as recomendações do modelo não interpretável do que as do modelo interpretável ao alocar produtos para essas lojas. No caso do modelo interpretável, o elevado nível de incerteza levou as pessoas a examinarem suas sugestões e a rejeitá-las. Como o senhor faria para que os funcionários usassem a orientação de um algoritmo o tempo todo? O senhor precisa medir constantemente o grau de confiança dos funcionários em seu sistema. Se o senhor descobrir que eles confiam mais no sistema em alguns contextos do que em outros, é bom investigar o motivo. Eles podem ser céticos em relação à TI porque ela tem bugs ou está oferecendo recomendações muito diferentes do que a experiência ou a intuição deles lhes diz. O senhor precisa determinar se eles estão sendo racionais em sua desconfiança. Depois de entender o que está por trás disso, o senhor pode desenvolver um treinamento direcionado para melhorar a aceitação da capacidade de tomada de decisão da ferramenta. Esse não é um fenômeno novo. Sempre que novas tecnologias são lançadas, as pessoas podem inicialmente não estar dispostas a aceitá-las. Se o senhor estivesse apresentando uma ferramenta de recomendação baseada em TI aos seus funcionários, o senhor a tornaria ininterpretável? Antes de lançar uma nova ferramenta, eu pediria à equipe de ciência de dados ou a quem quer que estivesse criando a ferramenta que se reunisse com as pessoas que a usariam e incluísse algumas delas no processo de desenvolvimento. Esse tipo de transparência e envolvimento dos funcionários gera confiança entre eles. Mas uma vez que tudo isso tenha ocorrido e o sistema tenha sido testado e todos tenham concordado que está funcionando, eu gostaria de limitar a capacidade dos meus funcionários de anular o algoritmo.

As pessoas podem confiar mais na TI quando não conseguem ver como ela funciona

Resumo.

Partner Center