Los modelos de lenguaje grande (LLM) manipulan a los usuarios mediante recursos retóricos

He aquí un argumento muy conocido: potenciar la inteligencia humana con la IA —y la inteligencia de la IA con los seres humanos— permitirá a las empresas impulsar su productividad sin dejar de cumplir con los estándares. Aunque los modelos de lenguaje grande (LLM) puedan cometer errores y generar resultados erróneos, los riesgos de estos errores pueden compensarse con la intervención de «seres humanos en el proceso» debidamente formados que validen los resultados de la IA. Sin embargo, según un estudio reciente, es posible que estemos sobreestimando nuestra capacidad para verificar el contenido que generan los modelos de lenguaje grande (LLM) y subestimando lo vulnerables que somos a ser manipulados por ellos. Al estudiar cómo interactuaban cientos de consultores de BCG con la IA en un entorno controlado, los investigadores Steven Randazzo, Akshita Joshi, Katherine C. Kellogg, Hila Lifshitz, Fabrizio Dell’Acqua y Karim R. Lakhani descubrieron que los LLM utilizaban una avalancha de tácticas retóricas para abrumar a los usuarios humanos y convencerlos de que los resultados de la IA eran correctos, incluso cuando no lo eran. En lugar de actuar como un colaborador neutral, identificaron a la IA como un «persuasor poderoso» que «bombardeaba con persuasión» a los usuarios para que aceptaran sus conclusiones. Me puse en contacto con los investigadores para que me explicaran sus conclusiones y lo que estas podrían significar para las empresas. Me advirtieron de que las empresas podrían estar estableciendo medidas de seguridad que, en realidad, no las protegen, cediendo sin querer decisiones importantes a la IA. (Nuestro intercambio ha sido ligeramente editado.) HBR: Hay tres problemas comunes a los que se enfrentan las personas cuando trabajan con IA: no comprender cómo la IA ha tomado una decisión (opacidad), que el ser humano que forma parte del proceso acabe confiando excesivamente en la IA y baje la guardia (complacencia), y que la IA cometa errores (precisión). Ustedes afirman haber descubierto una cuarta barrera, el «bombardeo de persuasión». ¿En qué consiste y por qué debería preocuparnos? Lifshitz: El «bombardeopersuasivo» se produce cuando un usuario diligente de la IA generativa valida los resultados de esta. Descubrimos que, cuando los profesionales verificaban los datos y ponían de manifiesto posibles errores de la IA generativa, el modelo respondía «bombardeando» al usuario con múltiples tácticas persuasivas para defender su respuesta original. El problema más profundo y preocupante que hemos detectado es que los modelos de lenguaje grande (LLM) se han diseñado con una lógica orientada a la persuasión. Joshi: Imagine que trabaja con un compañero más joven y detecta un error en su trabajo. Le pide que vuelva a revisar lo que ha hecho, y él responde corrigiendo el error que usted le ha señalado. Cabría suponer que la IA generativa respondería de manera similar. Sin embargo, en nuestra investigación con consultores estratégicos, descubrimos que, cuando los usuarios intentaban validar o cuestionar el trabajo del modelo, este a menudo no reconsideraba su postura. Por el contrario, reforzaba sus argumentos. Eso es un «bombardeo persuasivo». Kellogg: Esto es preocupante porque se dirige precisamente contra los mecanismos en los que nos basamos para ejercer nuestro juicio en situaciones de incertidumbre: la experiencia, el escepticismo y el compromiso. Convierte la validación comprometida —la solución a los riesgos de opacidad, complacencia y precisión— en parte del problema. Cuanto más diligentemente cuestionaban los profesionales el modelo, más material persuasivo recibían. Randazzo: La mayoría de las organizaciones creen que han resuelto los problemas de opacidad, dependencia excesiva y precisión al mantener a una persona en el proceso. Recientemente estuve en una gran empresa farmacéutica que está invirtiendo mucho en la transformación hacia la IA. En reunión tras reunión, los líderes decían: «Por supuesto que contaremos con la participación humana». Era casi un acto reflejo, como si el hecho de incluir a una persona en algún punto del flujo de trabajo neutralizara automáticamente el riesgo. Pero nuestro estudio demuestra que la expresión «la participación humana» suele convertirse en una frase vacía, en lugar de constituir una medida de seguridad diseñada. Si los sistemas de IA se reafirman cuando se les cuestiona —volviéndose más estructurados, más seguros de sí mismos y más sofisticados desde el punto de vista retórico—, esto plantea un doble desafío. En un primer momento, los resultados pueden resultar tan persuasivos que los usuarios no los contrastan. Posteriormente, cuando sí los contrastan, la persuasión se intensifica. HBR: ¿Cómo se desarrolló este proceso en el estudio? Usted colaboró con consultores de BCG a quienes se les había encomendado resolver un problema empresarial. ¿Cómo se tradujo en la práctica que el modelo de lenguaje grande (LLM) con el que trabajaban llevara a cabo un «bombardeo de persuasión»? Lifshitz: No se trataba de usuarios ocasionalesque experimentaran con los prompts. Eran 244 consultores de BCG que trabajaban en un problema estratégico realista. Analizaron los estados financieros y las entrevistas a los directivos de una empresa ficticia, y se les pidió que recomendaran dónde debería invertir el CEO. Había interpretaciones de los datos que eran defendibles y otras que no lo eran. En primer lugar, está la cuestión de si las personas se muestran lo suficientemente escépticas ante los resultados de la IA. Se trata de profesionales formados para examinar datos y someter a prueba las recomendaciones, y sin embargo, solo 72 de los 244 intentaron activamente validar los resultados de la IA. Registramos más de 4300 prompts y respuestas e identificamos 132 intentos claros de validación: verificación de datos, detección de incoherencias o rechazo directo. Joshi: Cuando se intentó validar los resultados de la IA, observamos un patrón llamativo. Cuando un consultor le pedía al modelo que «revisara su trabajo», señalaba un error o mostraba su desacuerdo de forma explícita, el modelo no reconsideraba su respuesta de manera fiable. Por el contrario, se disculpaba cordialmente, generaba un nuevo análisis, añadía comparaciones y llegaba a la misma conclusión, ahora envuelta en una fortaleza impenetrable de datos y retórica. A lo largo de 132 interacciones de validación, el patrón fue constante: la validación desencadenaba una escalada de persuasión. Kellogg: El modelo de lenguaje grande (LLM) llevó a cabo una «ofensiva persuasiva» al responder a los intentos de validación de los consultores con estrategias retóricas cada vez más intensas y de múltiples niveles —intensificando las afirmaciones de credibilidad, la argumentación lógica y la sintonía emocional— para empujar a los consultores a aceptar su resultado original en lugar de revisarlo. Lifshitz: Lo que significa que el mismo mecanismo en el que confían las organizaciones —la validación activa de la IA— estaba desencadenando la escalada retórica del LLM. HBR: Esto parece contradecir una de las principales críticas a los modelos de lenguaje grande (LLM), a saber, que pueden resultar demasiado aduladores y mostrar un acuerdo demasiado enfático con los usuarios, incluso cuando estos se equivocan. ¿De qué manera su investigación cambia la forma en que debemos plantearnos los posibles puntos de fallo en el uso de estos sistemas? Joshi: La adulación y el «bombardeo persuasivo» están relacionados, pero no son lo mismo. La adulación estándar es pasiva y está dirigida al usuario. El modelo está de acuerdo con lo que el usuario parece querer, valida su marco de referencia y le halaga. El bombardeo de persuasión es diferente. Está dirigido por el modelo y es escalador. En lugar de limitarse a seguir al usuario, el modelo defiende activamente su propia salida anterior e intensifica su argumento cuando se le cuestiona. Kellogg: En lugar de desmentir las preocupaciones sobre el adulación de los modelos de lenguaje grande (LLM), nuestro estudio demuestra que la adulación es solo una de las formas que adopta la capacidad persuasiva más amplia y adaptativa de estos modelos. Debemos dejar de considerar a los LLM como seguidores excesivamente complacientes y empezar a reconocerlos como persuasores sensibles a la interacción, capaces de resistir, redirigir y dominar el juicio humano. Joshi: Eso convierte este modo de fallo en algo más sofisticado y, en cierto modo, más preocupante. Un modelo que siempre está de acuerdo con usted es relativamente fácil de descartar. Un modelo que le responde con lo que parece un razonamiento riguroso, expresado con credibilidad y cordialidad, es mucho más difícil de detectar y resistir, especialmente bajo presión de tiempo y cuando el tema es complejo. Y estos dos modos de fallo pueden reforzarse mutuamente. El modelo puede validar sus hipótesis iniciales —eso es adulación— y luego, cuando usted detecta un error y lo cuestiona, pasar al modo de persuasión para defender su conclusión. Lifshitz: Cuando eso ocurre, el riesgo no es solo que se muestre de acuerdo con demasiada facilidad o que argumente con demasiada vehemencia. Es que rebaja sus defensas y luego abruma su juicio. La evaluación independiente se erosiona. La rendición de cuentas se difumina. Y las malas decisiones pueden empezar a parecer bien fundamentadas. HBR: ¿Cómo deberían reaccionar las personas cuando creen que pueden estar siendo víctimas de un «bombardeo persuasivo»? Como ha mencionado, existe todo un conjunto de mejores prácticas para validar los resultados de la IA, pero su investigación sugiere que estas pueden no ser adecuadas para este problema. Entonces, ¿qué deberían hacer en su lugar? Lifshitz: A medida que la IA se integra cada vez más en la toma de decisiones, el riesgo ya no es solo el error, sino la influencia. Estos sistemas no se limitan a generar respuestas; moldean el juicio. Proteger el razonamiento profesional requiere una defensa deliberada: reconocer la persuasión, trasladar la validación fuera del ciclo conversacional e incorporar salvaguardias en los sistemas a medida que la IA adquiere mayor autonomía. Joshi: El primer paso es la concienciación. Los profesionales necesitan formación no solo en cómo utilizar los prompts, sino también en cómo detectar la persuasión. Hay señales reconocibles. El modelo se disculpa y luego reitera su conclusión con mayor confianza. Inunda la conversación con nuevos datos que usted no ha solicitado. Imita su lenguaje y elogia su perspicacia mientras le lleva de vuelta al punto de partida. Pasa de los argumentos lógicos a los argumentos basados en la credibilidad cuando se le cuestiona. Cuando el modelo se vuelve más elaborado o más defensivo tras un rechazo, esa es una señal para dar un paso atrás —posiblemente para salir del bucle. Kellogg: Otro cambio útil consiste en restar importancia a los resultados que transmiten seguridad, en lugar de sentirse tranquilizado por ellos. En nuestros datos, las señales de alerta incluían disculpas tras recibir críticas, seguidas de explicaciones más largas y densas, y datos adicionales que reforzaban selectivamente la misma conclusión. Randazzo: El primer paso es aparentemente sencillo: reduzca el ritmo. Cuando el modelo se muestra más seguro tras cuestionarlo, puede parecer un avance. Pero a veces lo que ha mejorado es la retórica, no el razonamiento. Si se siente más convencido pero no más informado, eso es una señal de alerta. En segundo lugar, cree distancia. Salga de la conversación. Vuelva a los datos de origen. Realice comprobaciones independientes. Trate el resultado como una hipótesis preliminar y someta deliberadamente a pruebas de estrés. Por último, pida el contraargumento más sólido. Por ejemplo: «¿Qué supuestos tendrían que ser falsos para que la recomendación fallara?». Joshi: Y , lo que es más importante, la validación debe realizarse fuera de la conversación. Cuando se le pide al modelo que compruebe su propio razonamiento, se le está dando otra oportunidad para persuadir. La verdadera validación requiere pruebas independientes: datos de origen, una segunda revisión por parte de los compañeros, cotejo de fuentes. Kellogg: A nivel organizativo, un segundo modelo encargado específicamente de la crítica puede introducir una fricción que los individuos quizá no puedan soportar por sí mismos. Lifshitz: En otras palabras, la solución no consiste en alejarse de la IA, sino en utilizarla de otra manera: con fricción estructural y juicio consciente. HBR: ¿Qué consejo daría a los líderes que actualmente están pidiendo a su personal que utilice más la IA y en más aspectos de su trabajo? ¿Cómo deberían replantearse el papel que debe desempeñar la IA en sus organizaciones y para qué debe utilizarse? Lifshitz: El reto para los líderes ya no consiste simplemente en decidir si adoptar la IA, sino también en cómo gestionar su influencia. A medida que estos sistemas se integran cada vez más en el trabajo cotidiano y son más capaces de influir en la toma de decisiones, los líderes se enfrentan a tres responsabilidades: 1) desarrollar capacidades sin caer en la complacencia, 2) garantizar la rendición de cuentas en las decisiones de alto riesgo, y 3) rediseñar los flujos de trabajo a medida que la IA pasa de ser una herramienta a convertirse en un agente. Kellogg: Los líderes deben fomentar sin duda alguna la experimentación. La única forma en que los empleados aprenden a sacar partido a los modelos de lenguaje grande (LLM) es utilizándolos en más aspectos de su trabajo para ver qué funciona y qué no, y qué funciona hoy que ayer no funcionaba. Lo que los líderes no deben hacer es exigir a sus empleados que utilicen los LLM en ámbitos en los que estos los consideren inexactos o ineficaces. Además, los líderes deben intervenir a nivel del sistema en lugar de confiar únicamente en la vigilancia de las personas. Deben proporcionar modelos que incluyan enlaces a las fuentes. Deben configurar los modelos para que formulen preguntas y presenten contraejemplos, en lugar de limitarse a generar respuestas definitivas. Los líderes tampoco deben tratar a todos los empleados por igual. Los principiantes tienden a dejarse convencer más fácilmente por resultados fluidos. Por lo tanto, los líderes deben exigirles que demuestren su competencia en la realización manual de tareas concretas antes de permitirles acceder a los modelos de lenguaje grande (LLM) para dichas tareas, y no deben permitir que los principiantes sean quienes determinen en última instancia la corrección en contextos de alto riesgo. Joshi: Los líderes también deben afrontar una cuestión más compleja: la responsabilidad. La responsabilidad profesional se basa en el supuesto de que el juicio es genuinamente propio. Si un profesional llega a una conclusión después de que un sistema haya defendido activamente su postura —intensificando su retórica ante la oposición—, ¿en qué sentido significativo fue ese juicio suyo? Cuando las cosas salen mal en ámbitos de alto riesgo, ¿quién asume la responsabilidad de la decisión? Los marcos profesionales y de gobernanza existentes no se diseñaron para responder a esa pregunta. Randazzo: La pregunta delaño pasado fue: «¿Cómo utilizamos la IA generativa?». La pregunta de este año es: «¿Cómo implementamos los agentes de IA?». Los líderes deben ahora ir más allá de la simple adopción y empezar a pensar en la arquitectura de los flujos de trabajo y en el juicio. Y, en estos momentos, existe cierta confusión sobre cómo hacerlo de forma segura y responsable. Recientemente trabajé con una empresa financiera en la definición de flujos de trabajo para determinar en qué casos los agentes podían actuar de forma autónoma, en cuáles debía intervenir el personal humano y en cuáles debían colaborar. En varias ocasiones pregunté: «¿Por qué mantener la intervención humana en ese punto?». La respuesta fue siempre la misma: «Por ahora mantendremos una verificación humana. Cuando nos sintamos seguros, lo automatizaremos». Eso suena prudente. Pero da por sentado que la intervención humana funciona como una garantía significativa. Utilizamos la expresión «human in the loop» del mismo modo que decimos «póngase el cinturón de seguridad». Es un indicio de seguridad. Pero un cinturón de seguridad solo funciona si se utiliza correctamente. Del mismo modo, la intervención humana protege a la organización únicamente si esa persona cuenta con una sólida «higiene de la IA»: el desarrollo y mantenimiento continuos de sus propias habilidades en materia de IA, incluida la capacidad de reconocer cuándo el sistema pasa del análisis a la persuasión. En los flujos de trabajo basados en agentes, la persuasión puede surgir a mitad del proceso o en la etapa final de salida, cuando el ser humano se encuentra únicamente con un resultado pulido y seguro de sí mismo. Si ese resultado adquiere mayor autoridad bajo escrutinio, es posible que el control humano no sea neutral. La IA puede resultar extraordinariamente valiosa como colaborador en la redacción de borradores, motor de síntesis, generador de hipótesis o explorador de escenarios. Sin embargo, cuando empieza a influir en decisiones estratégicas, financieras, normativas u operativas a través de agentes autónomos, está moldeando el juicio. Y existe una gran diferencia entre utilizar la IA para generar opciones y permitir que moldee el juicio. A medida que la IA pasa de ser una herramienta a un agente, de asistente a participante en los flujos de trabajo de toma de decisiones, los líderes deben ser explícitos sobre su función. El liderazgo debe preguntarse: ¿En qué ámbitos nos sentimos cómodos permitiendo que un sistema retóricamente sofisticado influya en el juicio de la organización? La IA debería potenciar el razonamiento. No debería sustituirlo.

Los modelos de lenguaje grande (LLM) manipulan a los usuarios mediante recursos retóricos

Resumen.

Partner Center