La gente puede confiar más en la IA cuando no puede ver cómo funciona

Timothy DeStefano , de la Universidad de Georgetown, y sus colegas -Michael Menietti y Luca Vendraminelli, de Harvard, y Katherine Kellogg, del MIT- analizaron las decisiones de almacenamiento de 425 productos de un minorista estadounidense de moda de lujo en 186 tiendas. La mitad de las decisiones se tomaron después de que los empleados recibieran recomendaciones de un algoritmo fácil de entender, y la otra mitad después de las recomendaciones de uno que no se podía descifrar. Una comparación de las decisiones mostró que los empleados siguieron más a menudo las orientaciones del algoritmo ininteligible. La conclusión: La gente puede confiar más en la IA cuando no puede ver cómo funciona. Profesor DeStefano, defienda su investigación. DeStefano: Investigaciones anteriores han demostrado que los responsables de la toma de decisiones suelen ser reacios a aceptar la orientación generada por la IA, ya sea de forma consciente o inconsciente, y la anulan de forma rutinaria. Eso es un problema para las empresas que invierten mucho tiempo y dinero en sistemas de IA. Nos asociamos con Tapestry, la compañía madre de Coach, Kate Spade y Stuart Weitzman, para explorar esta reticencia y cómo contrarrestarla. La firma tiene casi 1.500 tiendas y unas ventas anuales de 6.700 millones de dólares, por lo que la optimización de las asignaciones de productos y el funcionamiento de una cadena de suministro eficiente son cruciales para su éxito. Los empleados determinan las asignaciones semanales de inventario para cada tienda teniendo en cuenta las previsiones a corto plazo, que deben ser lo más precisas posible. Tapestry había utilizado históricamente un algoritmo basado en reglas para ayudar a los asignadores a estimar la demanda. Se trataba de un modelo que podían comprender por su experiencia cotidiana y cuyas entradas podían ver. Buscando aumentar la precisión, la empresa desarrolló un modelo de previsión más sofisticado que era una "caja negra" para los usuarios. Asignamos aleatoriamente uno de los dos sistemas para que nos orientara en cada decisión de producto a lo largo de las tres semanas de nuestro estudio. Después de ver las recomendaciones, los asignadores podían enviar la cantidad sugerida o desviarse de la orientación y enviar un número diferente de productos. Resultó que los envíos se acercaban hasta un 50% más a las recomendaciones generadas por el sistema de caja negra que a las del algoritmo más simple, basado en reglas, lo que sugiere que los empleados confiaban mucho más en el modelo de caja negra. HBR: ¡Es un resultado sorprendente! ¿Por qué cree que ocurrió? De hecho, nuestro hallazgo va en contra del pensamiento convencional, que sostiene que es más probable que las personas acepten la orientación de sistemas que pueden entender. Una de las razones por las que los asignadores anularon el sistema menos sofisticado tiene que ver con lo que llamamos "resolución de problemas con exceso de confianza". Eso ocurre cuando los responsables de la toma de decisiones creen que entienden el razonamiento de un modelo mejor de lo que realmente lo hacen. Utilizan su experiencia para ajustar lo que consideran deficiencias del modelo. Los empleados que estudiamos desarrollaron a menudo historias sobre el funcionamiento interno del algoritmo interpretable y por qué necesitaban anular su orientación. Por ejemplo, en una entrevista realizada después del experimento, uno nos contó que había ajustado las cantidades de producto sugeridas por el modelo tras razonar que un pico puntual de ventas debía estar relacionado con el draft de la NFL y debía descontarse. No sabemos si el draft contribuyó de hecho al pico, pero el asignador confiaba en esa explicación. Puedo entender por qué la gente podría sobrestimar sus conocimientos sobre un modelo bastante simple. Pero, ¿por qué aceptarían tanto uno que es impenetrable? Aunque los empleados no podían saber cuántos datos se utilizaban en el modelo ininteligible ni qué había hecho el modelo con ellos, sabían que el modelo se había desarrollado y probado con las aportaciones de algunos de sus colegas, y eso les daba confianza en él. Es un ejemplo de lo que se conoce como "prueba social". Un asignador nos dijo: "Con el algoritmo no interpretable, a menudo no estábamos de acuerdo con determinadas recomendaciones. No es que confiáramos en cada recomendación que hacía el modelo. Es que confiábamos en el modelo a un nivel más macro, porque nuestros compañeros habían participado en su desarrollo." Cuando los usuarios tuvieron en cuenta su propia experiencia, ¿obtuvieron mejores resultados? Justo lo contrario, ¡porque el modelo más sofisticado era tan bueno! Estudiamos más de 17.000 decisiones de asignación, analizando cómo le iba a cada producto en las dos semanas posteriores a la toma de su decisión de almacenamiento. Las decisiones asociadas al modelo de caja negra tuvieron más éxito que las asociadas al más transparente, precisamente porque la gente estaba mucho más inclinada a seguir su consejo. Produjeron mayores ventas y menos roturas de existencias y generaron un 20% más de ingresos. ¿Hubo algo más que influyera en que la gente aceptara o rechazara las recomendaciones de los modelos? El grado de incertidumbre que sentía un empleado al tomar una decisión concreta era importante, y eso variaba con el volumen de ventas de la tienda en cuestión. Las decisiones de aprovisionamiento para tiendas de gran volumen evocaban la mayor incertidumbre porque las consecuencias de las asignaciones erróneas eran mayores: cantidades potencialmente mayores de ventas perdidas o exceso de inventario. Era mucho más probable que la gente aceptara las recomendaciones del modelo no interpretable que las del modelo interpretable a la hora de asignar productos a esas tiendas. Con el modelo interpretable, el elevado nivel de incertidumbre llevó a la gente a sondear sus sugerencias y a rechazarlas. ¿Cómo conseguir que los trabajadores utilicen siempre las orientaciones de un algoritmo? Tiene que medir constantemente cuánto confían los empleados en su sistema. Si descubre que confían en él en algunos contextos más que en otros, querrá investigar por qué. Puede que se muestren escépticos ante la IA porque tiene fallos o porque ofrece recomendaciones que difieren enormemente de lo que les dice su experiencia o su intuición. Tiene que determinar si están siendo racionales en su desconfianza. Una vez que entienda a qué se debe, podrá desarrollar una formación específica para mejorar su aceptación de la destreza de la herramienta en la toma de decisiones. No se trata de un fenómeno nuevo. Siempre que se introducen nuevas tecnologías, la gente puede mostrarse inicialmente reacia a aceptarlas. Si presentara a sus empleados una herramienta de recomendación basada en la IA, ¿la haría ininteligible? Antes de lanzar una nueva herramienta, haría que el equipo de ciencia de datos o quienquiera que la estuviera construyendo se reuniera con las personas que la utilizarían e incluiría a algunas de ellas en el proceso de desarrollo. Ese tipo de transparencia e implicación de los empleados genera confianza entre los trabajadores. Pero una vez que todo eso ha ocurrido y el sistema ha sido probado y todo el mundo está de acuerdo en que funciona, me gustaría limitar la capacidad de mis empleados para anular el algoritmo.

La gente puede confiar más en la IA cuando no puede ver cómo funciona

Resumen.

Partner Center