Para criar valor com IA, melhore a qualidade de seus dados não estruturados

O conteúdo de uma empresa está, em grande parte, em "dados não estruturados": e-mails, contratos, formulários, arquivos do Sharepoint, gravações de reuniões e assim por diante, criados por meio de processos de trabalho. Esse conteúdo proprietário torna a IA generativa mais distinta, mais bem informada sobre seus produtos e serviços, menos propensa a alucinações e mais propensa a agregar valor econômico. Como apontou um diretor de dados que entrevistamos, "é improvável que o senhor obtenha muito retorno sobre seu investimento simplesmente instalando o CoPilot". Muitas empresas concluíram que o maior valor da IA generativa está na combinação da linguagem, do raciocínio e do conhecimento geral surpreendentes dos modelos de linguagem ampla (LLMs) com seu próprio conteúdo proprietário. Essa combinação é necessária, por exemplo, em aplicativos de IA generativa de nível empresarial em atendimento ao cliente, marketing, jurídico e desenvolvimento de software, além de ofertas de produtos/serviços para uso do cliente. A abordagem mais comum, de longe, para adicionar o próprio conteúdo de uma empresa é a "geração aumentada de recuperação" ou RAG, que combina ferramentas tradicionais de coleta de informações, como bancos de dados, com informações recuperadas por LLMs. A TI é usada porque o envio de grandes quantidades de conteúdo em um prompt geralmente é tecnicamente inviável ou caro. Embora tecnicamente complexa, a abordagem RAG é bastante viável e produz respostas precisas aos prompts do usuário se os dados não estruturados usados no RAG forem de alta qualidade. É aí que reside o problema. Os dados não estruturados geralmente são de baixa qualidade - obsoletos, duplicados, imprecisos e mal estruturados, entre outros problemas. A maioria das empresas não tem se saído bem com a qualidade dos dados estruturados, mesmo que esses dados sejam usados todos os dias para concluir transações comerciais e entender o desempenho. Os dados não estruturados são mais difíceis. As últimas tentativas sérias de lidar com dados não estruturados datam das décadas de 1990 e 2000, quando o gerenciamento do conhecimento era popular. A maioria dos esforços não teve sucesso. As pesquisas confirmam que a maioria dos líderes está ciente de que a baixa qualidade prejudica seus esforços de IA generativa e que eles não tinham um grande foco em dados não estruturados até o advento da IA generativa. Obviamente, a melhor maneira de lidar com problemas de qualidade de dados é evitá-los. No longo prazo, as empresas que levam a sério a IA devem desenvolver programas para fazer exatamente isso. Aqueles que criam documentos, por exemplo, precisam aprender a avaliá-los quanto à qualidade e a marcar os principais elementos. Mas isso exigirá muito esforço conjunto e não ajudará em nada no curto prazo. Para obter valor da IA generativa, as empresas precisam criar aplicativos RAG usando dados não estruturados de alta qualidade. Nosso objetivo neste artigo é ajudá-las a fazer isso, resumindo os problemas de dados mais importantes e as melhores abordagens para lidar com eles, tanto humanas quanto técnicas. O que é qualidade de dados para dados não estruturados? Dados de alta qualidade, sejam eles estruturados ou não, só resultam de um esforço concentrado, conduzido por uma liderança ativa e engajada, alguns profissionais bem posicionados, responsabilidades claras de gerenciamento para todos os que lidam com os dados e um compromisso incansável com a melhoria contínua. Na ausência desses elementos, há grandes chances de que seus dados não sejam adequados. Como o treinador e consultor Alex Borek, da Data Masterclass, nos disse: "Quando a TI não funciona, ela geralmente revela falhas no sistema humano". De fato, a melhor estimativa é que 80% do tempo gasto em um projeto de IA será dedicado aos dados. Por exemplo, uma equipe do Morgan Stanley, sediada nas Filipinas, passou vários anos selecionando relatórios de pesquisa antes de seu projeto de assistente AI @ Morgan Stanley. A curadoria começou antes que a IA generativa se difundisse, o que permitiu que o Morgan Stanley colocasse seu aplicativo em produção mais rapidamente. Para funcionar de forma eficaz, o RAG exige documentos diretamente relevantes para o problema em questão, um mínimo de conteúdo duplicado e que as informações contidas nesses documentos sejam completas, precisas e atualizadas. Além disso, como observou Seth Earley, da Earley Information Science, "o senhor deve fornecer o contexto, tanto quanto possível, para que um LLM possa interpretar adequadamente esses documentos". Os dados não estruturados não vêm pré-carregados com o contexto necessário, e a IA generativa é amplamente incapaz de determinar quais são as melhores informações para resolver uma questão ou um problema comercial específico. A TI também não é boa em "resolução de entidades", ou seja, "Esse 'John Smith' no documento A, sobre clientes, é a mesma pessoa que 'J. A. Smith' no documento B, sobre fornecedores, e/ou a mesma pessoa que 'Sr. J. Smith' no outro documento C, sobre uma doação para nossa fundação?" A maioria dos dados estruturados é definida em um modelo ou dicionário de dados. Isso fornece algum contexto e ajuda a reduzir o problema John Smith/J. A. Smith descrito acima. No caso de dados estruturados, é mais fácil encontrar os dados desejados, saber quem é o responsável por eles e entender o que os dados significam. Como nos disse John Duncan, chefe de governança de dados da grande varejista de automóveis CarMax, os dados não estruturados também exigem a mesma necessidade de clareza sobre a propriedade dos dados, produtores, consumidores e administradores. A TI também se beneficia de padrões para limites de qualidade de dados, linhagem de dados, controles de acesso e durações de retenção. Esses metadados são normalmente incluídos em um dicionário de dados. Entretanto, com dados não estruturados, raramente há um dicionário. Muitas vezes, não há gerenciamento centralizado desse conteúdo; os documentos são armazenados de forma aleatória, usando diferentes convenções de nomenclatura e em diferentes computadores ou provedores de nuvem em toda a empresa. Muitas vezes, não há uma definição comum de um tipo de conteúdo; um líder de dados de uma agência de publicidade confessou que não há uma definição comum de "pitch" em toda a agência. Por fim, os documentos não estruturados geralmente foram desenvolvidos com uma finalidade diferente de alimentar a IA generativa. Um contrato com um fornecedor, por exemplo, não foi projetado para fornecer informações sobre o nível de risco em um relacionamento com o fornecedor. Acreditamos que foi o falecido pensador da administração Charles Handy que observou: "As informações coletadas para uma finalidade raramente são úteis para outra." Um processo de qualidade de dados não estruturados Felizmente, existem várias abordagens e ferramentas que podem ajudar a melhorar os dados não estruturados. Recomendamos que todos os projetos de IA sigam um processo disciplinado, incorporando qualidade sempre que possível. Esse processo deve abranger as seguintes etapas: Abordar os problemas de qualidade dos dados não estruturados problema por problema, não todos de uma vez. Identificar e avaliar os dados a serem usados. Reunir a equipe para resolver o problema. Preparar os dados, empregando tanto humanos (D1) quanto IA (D2), quando possível. Desenvolva seu aplicativo e valide se ele funciona. Dê suporte ao aplicativo e tente inculcar a qualidade nos processos de criação de conteúdo. 1. Resolva os problemas de qualidade de dados não estruturados problema por problema, não todos de uma vez. Há muitos dados não estruturados para serem melhorados de uma só vez. Os líderes de projeto devem garantir que todos os envolvidos concordem com o problema/oportunidade a ser abordado. As prioridades devem se basear, em primeiro lugar, no valor da solução do problema para a empresa e, em segundo lugar, na viabilidade e no custo do desenvolvimento de uma solução - incluindo a melhoria da qualidade dos dados. As áreas da empresa com dados que já são de qualidade razoavelmente boa devem receber maior prioridade. Essa é a abordagem adotada por Nelson Frederick Bamundagea, diretor de TI da empresa de serviços de refrigeração de caminhões W&B Services. Seu aplicativo de recuperação de conhecimento para técnicos de serviço usa os esquemas de cerca de 20 modelos (de refrigeradores) fornecidos por dois fabricantes. Esses esquemas foram usados várias vezes e o vocabulário empregado é relativamente pequeno, o que proporciona um alto nível de confiança. De modo mais geral, Alex Borek aconselha as empresas a "procurar primeiro produtos de dados altamente selecionados sempre que possível". 2. Identificar e avaliar os dados a serem usados. Como os dados são essenciais para o sucesso de um projeto de conhecimento baseado em LLM, é importante avaliar os dados em um estágio inicial. Há uma tendência humana de incluir qualquer documento possivelmente relevante em um RAG, mas as empresas devem adotar um ceticismo saudável e uma filosofia de "menos é mais": na ausência de um bom motivo para confiar em um documento ou fonte de conteúdo, não o inclua. Não é provável que os especialistas possam avaliar todos os documentos, mas eles podem se aprofundar em uma pequena amostra. Os documentos de amostra estão repletos de erros, inconsistências internas ou linguagem confusa - ou estão relativamente limpos? Use seu bom senso: Mantenha os dados limpos e proceda com cautela; jogue fora os dados ruins. Se os dados estiverem em péssimo estado ou se o senhor não conseguir encontrar dados bons o suficiente, reconsidere o projeto. 3. Reúna a equipe para resolver o problema. Dada a necessidade de alguma curadoria humana de dados não estruturados, é improvável que uma pequena equipe de especialistas possa realizar o trabalho necessário. Além disso, as pessoas que trabalham com os dados no dia a dia geralmente têm uma ideia melhor do que constitui alta qualidade e de como alcançá-la. Em muitos casos, portanto, pode ser útil tornar a melhoria da qualidade dos dados um projeto amplamente participativo. Por exemplo, no Scotiabank, a organização da central de contatos precisava selecionar documentos para um chatbot de clientes. A equipe da central assumiu a responsabilidade pela qualidade de sua base de conhecimento de suporte ao cliente e garantiu que cada documento inserido no chatbot baseado em RAG fosse claro, único e atualizado. 4a. Prepare os dados. Se o senhor concluiu - e deveria concluir - que deve haver uma contribuição humana para melhorar a qualidade dos dados não estruturados, este é o momento de envolvê-la. Essa contribuição pode incluir um grupo de partes interessadas que chegue a um acordo sobre os principais termos - por exemplo, "contrato", "proposta", "nota técnica" e "cliente" podem ser exemplos - e como eles são definidos. Documentar esse trabalho em um glossário comercial. Isso pode ser difícil: De acordo com a "Lei de Davenport" - declarada pela primeira vez há mais de 30 anos -quanto mais uma organização conhece ou se preocupa com um determinado elemento de informação, menor a probabilidade de ter um termo e um significado comuns para ele. Esse problema pode ser superado por meio da "discussão de dados" (e não da arquitetura de dados) até que o grupo chegue a um consenso. E, é claro, se houver uma função de curadoria humana, esse é o momento de iniciá-la. Isso implica decidir quais documentos ou fontes de conteúdo são os melhores para uma determinada questão, "marcá-los" com metadados e pontuar o conteúdo com base em atributos como atualidade, clareza e relevância para o tópico. O Morgan Stanley tem uma equipe de cerca de 20 analistas baseados nas Filipinas que pontua cada documento de acordo com 20 critérios diferentes. 4b. Prepare os dados com a IA. A própria IA generativa é muito boa em algumas tarefas necessárias para preparar dados não estruturados para outros aplicativos de IA generativa. A TI pode, por exemplo, resumir o conteúdo, classificar documentos por categoria de conteúdo e marcar os principais elementos de dados. A CarMax, por exemplo, usa a IA generativa para traduzir a linguagem específica de diferentes fabricantes de automóveis para descrever componentes e recursos automotivos em um conjunto padrão de descrições que visa permitir que o consumidor compare carros de diferentes fabricantes. A IA generativa também pode criar bons primeiros rascunhos de "gráficos de conhecimento", ou exibições de quais informações estão relacionadas a outras informações em uma rede. Os gráficos de conhecimento melhoram a capacidade do RAG de encontrar rapidamente o melhor conteúdo. A IA generativa também é boa em desduplicação, ou seja, o processo de encontrar cópias exatas ou muito semelhantes de documentos e eliminar todas as cópias, exceto uma. Como as abordagens RAG selecionam documentos com base em critérios especificados, esses critérios (recência, autoria etc.) podem ser alterados ("reclassificados") para dar maior peso a determinados documentos na pesquisa de conteúdo. Descobrimos, no entanto, que a IA não é muito boa em identificar o melhor documento em um conjunto de documentos semelhantes, mesmo quando recebe uma rubrica de classificação. Para isso e para as tarefas de revisão, os seres humanos ainda são necessários. Como ponto de partida, recomendamos o uso de humanos para descobrir o que precisa ser feito e de máquinas para aumentar a escala e diminuir o custo unitário da execução. 5. Desenvolva seu aplicativo e valide se ele funciona. O processo de desenvolvimento de modelos RAG a partir de dados selecionados envolve várias etapas bastante técnicas, que devem ser executadas por uma equipe técnica qualificada. Mesmo depois de ter feito todo o possível para preparar os dados, é essencial que as organizações testem rigorosamente seus aplicativos RAG antes de colocá-los em produção. Isso é particularmente importante para aplicativos altamente regulamentados ou que envolvam o bem-estar humano. Uma forma de validar o modelo envolve a identificação de "50 perguntas de ouro", em que uma equipe identifica as perguntas que o RAG deve acertar, determina se ele faz isso e age de acordo. A validação deve ser feita ao longo do tempo, uma vez que os LLMs fundamentais mudam com frequência. Quando uma seguradora europeia tentou validar seu sistema de conhecimento sobre como lidar com sinistros, descobriu que os contratos dos clientes, o pessoal da central de atendimento, a base de conhecimento da empresa e o departamento de sinistros frequentemente discordavam. Isso levou a empresa a esclarecer que o departamento de sinistros "possuía" a resposta, ou seja, servia como o "padrão ouro". Seguiram-se mudanças no chatbot, nos contratos com os clientes e no treinamento do call center. 6. Dê suporte ao aplicativo e tente inculcar a qualidade contínua. Na prática, nenhum aplicativo RAG será aclamado por todos no momento em que for implantado. O aplicativo ainda pode ter alucinações, haverá bugs a serem resolvidos e algum nível de insatisfação do cliente. Descobrimos que alguns desconsideram um aplicativo RAG com bom desempenho se ele apresentar algum erro. Por fim, serão necessárias mudanças à medida que o aplicativo for usado de novas maneiras. Portanto, planeje o gerenciamento e o aprimoramento contínuos da qualidade. O plano deve incluir: Alguma quantidade de "humanos qualificados no circuito", especialmente em situações mais críticas Um meio de rastrear erros, realizar análise da causa raiz e evitá-los no futuro Esforços para entender quem são os clientes do RAG, como eles o utilizam e como definem o que é "bom" Feedback para os gerentes responsáveis pelos processos comerciais que criam dados não estruturados para melhorar as entradas futuras. Os criadores de conteúdo podem ser treinados, por exemplo, para criar documentos de maior qualidade, marcá-los à medida que os criam e adicioná-los a um repositório central. Parece que o RAG, que apresenta conteúdo proprietário, combinado com LLMs, estará conosco em um futuro próximo. É uma das melhores maneiras de obter valor da IA generativa se for possível alimentar modelos com dados não estruturados de alta qualidade. Sabemos que há muito a ser feito, mas certamente está ao alcance daqueles que se empenharem e fizerem o trabalho.

Para criar valor com IA, melhore a qualidade de seus dados não estruturados

Resumo.

Partner Center