As organizações não estão preparadas para os riscos da IA autêntica

É praticamente impossível ter uma conversa sobre o futuro dos negócios sem falar sobre TI. Além disso, a tecnologia está evoluindo em um ritmo alucinante. O que começou como chatbots de IA e geradores de imagens está se tornando "agentes" de IA - sistemas de IA que podem executar uma série de tarefas sem receber instruções específicas. Ninguém sabe exatamente como tudo isso vai se desenrolar, mas, detalhes à parte, os líderes estão considerando a possibilidade muito real de gerar disrupção organizacional em larga escala. É um momento empolgante. É também um momento de nervosismo. A TI em constante evolução traz um novo conjunto de riscos, o que torna extraordinariamente difícil enfrentar o que chamo de "O desafio do pesadelo ético". Diante de alucinações de IA, deepfakes, ameaça de perda de emprego, violações de TI, resultados discriminatórios, violações de privacidade, sua natureza de caixa preta e muito mais, o desafio pede aos líderes que: Identificar os pesadelos éticos para suas organizações que podem resultar do uso da IA em larga escala. Criem os recursos internos necessários para evitar os pesadelos. Capacitar os funcionários para que eles possam usar esses recursos, juntamente com seu julgamento profissional atualizado, para evitar esses pesadelos. O desafio é significativo, mas a recompensa - aimplantação segura e em larga escalade tecnologiastransformadoras - vale a pena. A IA agêntica torna mais urgente enfrentar esse desafio: A TI introduz riscos compostos que, se não forem gerenciados, podem criar desastres comerciais e de definição de marca. Como alguém que ajuda as empresas a lidar com os riscos éticos apresentados pelas novas tecnologias, vi os erros que as empresas costumam cometer ao tentar enfrentar esse problema e o que deve ser feito em vez disso. Muitas vezes, isso exige mudanças significativas em toda a empresa, e não apenas uma avaliação de risco a ser acrescentada às avaliações existentes. Como os pesadelos éticos se multiplicam com os avanços da IA Na maioria das organizações, o gerenciamento de riscos de IA foi desenvolvido para lidar com os possíveis danos da IA restrita - e essa continua sendo a base de como o risco de IA é tratado. Para proteger suas organizações à medida que adotam novas ferramentas de IA, os líderes precisam entender como o cenário de risco muda à medida que avançamos para a IA generativa e como a IA restrita e generativa servem como blocos de construção para uma variedade vertiginosa de possibilidades que levam a um campo minado. IA estreita A IA restrita, também chamada de IA "tradicional" e "preditiva", está no negócio de fazer previsões em um domínio restrito. Exemplos bem conhecidos incluem software de reconhecimento facial e modelos de pontuação (por exemplo, prever o risco de inadimplência em uma hipoteca, a probabilidade de ser um bom candidato a um emprego e assim por diante). Com a TI restrita, como já escrevi anteriormente, os riscos éticos proeminentes incluem resultados tendenciosos ou discriminatórios, incapacidade de explicar como a IA chega a seus resultados e violações de privacidade. Na maioria das empresas, os programas de risco começaram com o foco na mitigação dos possíveis danos da IA restrita. Há quatro coisas importantes a entender sobre como esses programas foram construídos para que possamos ver onde eles falham quando se trata de IA generativa e além: O contexto de como uma IA restrita será usada tende a ser compreendido antecipadamente. Por exemplo, se o senhor estiver desenvolvendo uma IA para leitura de currículos, é provável que ela seja usada em contratações. (Em outros casos, isso pode ser menos claro - por exemplo, desenvolver um software de reconhecimento facial que possa ser usado em vários contextos). A experiência em ciência de dados é necessária para realizar avaliações de risco, monitorar o desempenho, mitigar o risco e explicar como a IA funciona. Os usuários downstream, por outro lado, desempenham um papel no envio de dados para a ferramenta, sendo que, muito provavelmente, não foram eles que criaram os dados (por exemplo, o profissional de RH não escreveu os currículos, o profissional de seguros não preencheu o formulário e assim por diante). Muitas vezes, há um especialista "humano no circuito" verificando os resultados da IA antes de eles serem aplicados. Por exemplo, embora uma IA possa prever a probabilidade de alguém desenvolver diabetes nos próximos dois anos, um médico interpreta esse resultado e oferece as orientações/prescrições relevantes ao paciente. Os resultados são gerados em um ritmo que o ser humano pode suportar, e ele tem a capacidade de examinar os resultados de forma responsável. O monitoramento e a intervenção podem ser relativamente simples. Existem muitas ferramentas para avaliar o desempenho e, se a TI tiver um desempenho ruim em alguma métrica relevante, o senhor pode parar de usá-la. A disrupção causada pela interrupção do uso da ferramenta é bastante contida. IA generativa Com a IA generativa, no entanto, as coisas mudam drasticamente: Os contextos de implementação explodem. As pessoas usam LLMs para todos os tipos de coisas. Pense nas muitas maneiras pelas quais eles podem ser usados em todas as empresas, em todos os departamentos, em todas as funções e em todas as tarefas. Em seguida, adicione mais alguns milhares para garantir. Isso torna o teste de "como o modelo se comportará no contexto de uso pretendido" fenomenalmente difícil de determinar. O monitoramento da IA na natureza torna-se extremamente importante. Como existem muitos contextos de implantação, os desenvolvedores de IA não podem prever todos eles, muito menos introduzir mitigações de risco apropriadas para todos eles. Monitorar a TI conforme ela se comporta nesses contextos imprevisíveis - antes que as coisas saiam dos trilhos sem que ninguém perceba - torna-se crucial. Um humano no circuito ainda é relativamente simples, mas é necessário mais treinamento. Por exemplo, os LLMs fazem declarações falsas rotineiramente (também conhecidas como "alucinações"). Se os usuários não forem treinados adequadamente para verificar os resultados dos LLMs, as organizações devem esperar que os funcionários criem regularmente relatórios internos e externos e outros documentos com informações falsas. A IA generativa requer treinamento extra para ser usada com responsabilidade. Isso porque, enquanto os resultados da IA restrita são principalmente uma função de como os cientistas de dados construíram a IA, os resultados da IA generativa são em grande parte uma função dos prompts que os usuários finais inserem; altere o prompt e o senhor alterará os resultados. Isso significa que é necessário um prompt responsável (por exemplo, não colocar dados confidenciais da empresa em um LLM que envia os dados a terceiros). A avaliação e a mitigação de riscos ocorrem em mais lugares. Na maioria das vezes, as organizações estão adquirindo modelos de empresas como Microsoft, Google, Anthropic ou OpenAI em vez de criar seus próprios modelos. Os desenvolvedores dessas empresas se envolvem em algum grau de mitigação de riscos, mas essas mitigações são necessariamente genéricas. Quando as empresas fazem com que seus próprios cientistas de dados modifiquem o modelo pré-treinado - seja no nível da empresa ou do departamento - elas também criam a necessidade de novas avaliações de risco. Isso pode se tornar complexo rapidamente. Há vários pontos em que essas avaliações podem ser realizadas, e não está claro se elas são necessárias antes e depois de cada modificação. É difícil determinar quem deve realizar qual avaliação de risco e em qual momento desse ciclo de vida muito complexo da IA, não apenas por si só, mas também porque essa decisão deve ser tomada equilibrando outras considerações importantes, como, por exemplo, a eficiência operacional. Para as organizações que criaram programas de risco ético/responsável de IA, os riscos discutidos até agora estão cobertos (embora o grau de cobertura/gerenciamento dependa de quão bem o programa foi criado, implantado e mantido). Mas, à medida que a IA evolui, esses programas começam a se romper sob a pressão de uma complexidade cada vez maior, como veremos. IA de vários modelos e IA agêntica Agora as coisas ficam fenomenalmente complicadas, e isso porque a IA estreita e generativa são os blocos de construção para a criação de sistemas complexos. Vamos analisar isso em etapas. Há diferentes maneiras de dividir esses estágios, mas o objetivo aqui é dar ao senhor uma noção de como a complexidade é dimensionada de forma rápida e fácil: Estágio 1: O senhor pega um LLM e o conecta a outra TI generativa, por exemplo, uma que gera clipes de vídeo. Nesse caso, o senhor pode dizer ao LLM que deseja três vídeos diferentes de vacas pulando na lua, e ele pode se conectar a uma ferramenta de IA geradora de vídeo para fazer isso. Ou o senhor pode conectar o LLM a uma IA restrita e a um banco de dados; pode dizer ao LLM para se conectar ao banco de dados de currículos para coletar os currículos para uma determinada posição, executá-los por meio da IA restrita de pontuação de currículos e relatar os cinco principais resultados. Agora o senhor tem uma IA de vários modelos. Etapa 2: Conecte seu LLM a 30 bancos de dados, 50 IAs restritas, 5 IAs generativas e a toda a Internet. Não há um nome especial para isso; basta lembrar que a Internet contém todos os tipos de informações malucas, tendenciosas e falsas das quais sua IA pode se valer. Etapa 3: Acrescente à sua IA de vários modelos a capacidade de realizar ações digitais (por exemplo, realizar transações financeiras). Agora o senhor tem uma IA agêntica de vários modelos. Etapa 4: Dê à sua IA agêntica multimodelo a capacidade de conversar com outros agentes de IA multimodelo em sua organização. Agora o senhor tem uma IA multiagênica interna de vários modelos. Etapa 5: Dê ao seu agente interno de IA multiagênica e multimodelo a capacidade de conversar com agentes de IA fora da sua organização. Agora o senhor tem um atoleiro de riscos incalculáveis. (Observação: não é um termo técnico.) Essa progressão mostra aos executivos onde sua organização se encontra na curva de complexidade e, o que é mais importante, quais recursos eles precisam desenvolver antes de passar para o próximo estágio. Em meu trabalho ajudando empresas da Fortune 500 a projetar e implementar programas de risco ético de IA, ainda não encontrei uma organização que tivesse os recursos internos ou pessoal treinado para lidar com o Estágio 2, muito menos com os estágios posteriores. Veja por que o Desafio do Pesadelo Ético ficou muito mais difícil: Primeiro, é incrivelmente difícil determinar quem deve realizar qual avaliação de risco e em que momento. Há tantos nós de interação (e não vamos nos esquecer das avaliações de risco necessárias em um único modelo) que realizar uma avaliação de risco em cada um dos nós é pragmaticamente impossível. É necessário realizar análises cuidadosas de custo/benefício para determinar onde isso é necessário e onde é bom ter em relação ao apetite de risco da organização. Em segundo lugar, a capacidade de um usuário final (ou seja, o ser humano no circuito) de se posicionar sabiamente entre os resultados e os impactos do sistema diminui drasticamente, mesmo no Estágio 1, quanto mais no Estágio 5. Há dados demais para qualquer ser humano processar em tempo real (ou mesmo depois do tempo). Em terceiro lugar, em relação à quebra do ciclo humano e à velocidade com que os modelos interagem, é preciso dar um peso enorme às decisões de ir/não ir para a implementação. Isso pressupõe que as pessoas saibam como testar e avaliar a luz verde prévia. Os executivos seniores e os líderes técnicos devem determinar se os sistemas de IA estão prontos para uso, mas isso pressupõe que eles saibam como testar e avaliar rigorosamente esses sistemas antes de dar a aprovação final. Atualmente, a maioria das organizações não possui essas estruturas críticas de avaliação pré-implantação, o que as leva a tomar decisões de alto risco profundamente mal informadas. Em quarto lugar, uma vez que nenhuma decisão anterior ao sinal verde pode considerar todas as maneiras pelas quais as coisas podem dar errado (especialmente no Estágio 5), o monitoramento em tempo real é de extrema importância. Sem o monitoramento em tempo real, o ritmo em que as coisas podem desandar é diabólico. Quinto, os métodos devem ser projetados para intervir no sistema quando a luz começar a piscar em vermelho. No entanto, como se trata de sistemas fenomenalmente complexos que interagem com outros sistemas complexos - todos os quais exigem enormes recursos para operar e, presumivelmente, só são implantados por causa de seus enormes benefícios - são necessários métodos de intervenção que gerem disrupção mínima no sistema e, ao mesmo tempo, reduzam os riscos a níveis adequados. Por exemplo, é melhor identificar que o modelo estreito de TI nº 23 é a fonte do problema e interromper o acesso a esse modelo do que desligar todo o sistema. (Dito isso, alguns riscos surgem do próprio sistema e não de um nó específico do sistema, caso em que provavelmente será necessário desligar o sistema). Em sexto lugar, nunca é demais enfatizar a importância da capacitação dos funcionários em tudo isso. Educação e treinamento gerais que vão muito além da exibição anual de 30 minutos de vídeos de conformidade são necessários para todos. O treinamento especializado é necessário pelo menos no nível do departamento e, em muitos casos, no nível da função. Esse treinamento deve resultar, entre outras coisas, em funcionários que possam regularmente fazer aquisições, desenvolver, usar e monitorar a IA e os sistemas de IA de forma responsável e que possam sentir o cheiro de fumaça quando algo não está certo. Não se trata de um treinamento único. Trata-se de algo que deve ser continuado enquanto o uso da IA continuar a se expandir e evoluir. De fato, as empresas mais bem-sucedidas com as quais trabalhei têm uma coisa em comum: elas investiram e continuam investindo pesadamente no treinamento dos funcionários antes de implantar a tecnologia, e não depois que os problemas surgem. Enfrentando o desafio do pesadelo ético A IA continuará evoluindo de ferramentas restritas para sistemas multiagenéticos sofisticados que operam em velocidades e escalas além da supervisão humana. As organizações enfrentam uma escolha difícil. Elas podem enfrentar proativamente o Desafio do Pesadelo Ético agora, enquanto a complexidade ainda é gerenciável, ou podem esperar até que uma falha catastrófica as obrigue a agir - provavelmente a um custo muito maior e com danos significativos aos seus relacionamentos com clientes, consumidores e investidores. As empresas que prosperarão na era da TI agêntica são aquelas que reconhecem esse ponto de inflexão pelo que ele é: não apenas uma atualização tecnológica, mas uma transformação fundamental na forma como as organizações gerenciam riscos, treinam funcionários e tomam decisões. Elas entendem que passar do Estágio 1 para o Estágio 5 sem a infraestrutura adequada não é inovação - é imprudência. A boa notícia é que as organizações não precisam resolver tudo de uma vez. Elas precisam avaliar honestamente onde estão na curva de complexidade, desenvolver os recursos necessários para o estágio atual e criar a infraestrutura para evoluir com segurança para o próximo estágio. Isso significa investir em treinamento abrangente dos funcionários, desenvolver sistemas de monitoramento robustos e criar protocolos de intervenção antes que eles sejam desesperadamente necessários. É um desafio exigente, mas as alternativas - seguir em frente de forma imprudente ou com o pé da organização sempre sobre o pedal do acelerador - são muito piores.

As organizações não estão preparadas para os riscos da IA autêntica

Resumo.

Partner Center