Como a nuvem está mudando a ciência de dados

A função de "cientista de dados" está entre as 20 ocupações que mais crescem nos EUA, com 36% de crescimento projetado até 2031. Esses profissionais de dados alimentam o crescimento e a inovação necessários para resolver alguns dos maiores problemas do mundo, desde as mudanças climáticas até as doenças crônicas. No entanto, problemas comuns de infraestrutura, como a indisponibilidade ou a falta de segurança de dados essenciais, geralmente impedem a capacidade de inovação de uma organização. Uma maneira de os líderes de TI resolverem esses problemas é aproveitar a nuvem. As ferramentas e tecnologias de nuvem estão influenciando o futuro do trabalho de ciência de dados em duas áreas principais: dimensionamento de recursos e melhoria da agilidade da força de trabalho. No entanto, se as organizações quiserem fazer uso desses recursos, também precisarão desenvolver estruturas sólidas de segurança e privacidade de dados ao operar em um ambiente de nuvem. Como é, na prática, aproveitar a nuvem para o trabalho de ciência de dados da sua organização? Veja a seguir o que os líderes precisam saber. Dimensionamento de recursos para impulsionar a inovação Tradicionalmente, grande parte do trabalho de um cientista de dados é feita localmente. Os dados são baixados em uma máquina local com capacidade de computação limitada, e o trabalho do cientista de dados é amplamente desconectado de seus colegas, mesmo quando estão trabalhando nos mesmos projetos. No entanto, para que os cientistas de dados possam apoiar melhor a inovação e agregar valor às suas organizações, eles precisam de acesso fácil e seguro a informações e ferramentas de software que os ajudem a descobrir insights rapidamente e a dimensionar seus recursos. As ferramentas baseadas em nuvem para preparação e análise de dados, como o IBM Watsonx ou o Tableau, usam o poder combinado de muitas máquinas em rede para tornar a análise avançada rápida e colaborativa. Por exemplo, o planejamento para o socorro em caso de desastres causados por furacões costumava ser quase impossível no curto espaço de tempo entre a previsão da trajetória de uma tempestade e a chegada à terra. Agora, com a ajuda de ferramentas de nuvem para prever e comunicar dados de tempestades em tempo real, as equipes podem chegar ao local mais rapidamente e a duração das interrupções de energia é reduzida (em alguns casos, em 50%). Ou considere o cientista climático cujo trabalho é fazer previsões com base em várias formas de dados de streaming - desde simples estações meteorológicas terrestres que fazem algumas medições por segundo, passando por planadores e balões que geram intermitentemente terabytes de dados por dia, até grandes satélites que transmitem continuamente terabytes de dados. A análise de dados geológicos nessa escala exige sistemas de armazenamento robustos e computação maciça. Trabalhar na nuvem é atualmente a única maneira prática de fazer esse tipo de análise e, ao mesmo tempo, manter os custos baixos para a organização. O projeto de código aberto Pangeo, por exemplo, oferece aos cientistas pacotes de software interconectados e implementações para ambientes de nuvem. Além de dimensionar os recursos, as ferramentas de nuvem também permitem que os usuários individuais dimensionem seu impacto dentro de uma organização, democratizando o acesso aos dados e às ferramentas de ciência de dados. A partir da Pangeo, foram desenvolvidas empresas como a EarthMover, que permitem que equipes de todos os tamanhos gerenciem e analisem dados meteorológicos e climáticos na nuvem. Na minha própria empresa, a Anaconda, as ferramentas de nuvem usadas por departamentos individuais alimentam os dados em um painel de controle para toda a empresa. Esse painel exibe as metas atuais de nossa empresa e como cada departamento contribui para essas metas. Cada equipe usa seu próprio painel para acompanhar as metas da equipe e projetos mais táticos, como corrigir um determinado número de bugs ou enviar um novo recurso. No nível de liderança, esse painel nos permite ver rapidamente as áreas que podem precisar de atenção e investigar possíveis bloqueadores. Seja em vendas e marketing ou em operações e engenharia, esses painéis baseados na nuvem mantêm todos responsáveis e transferem conhecimento de maneira simples e eficiente. Além de dimensionar os recursos, as ferramentas de análise de dados baseadas na nuvem convidam start-ups, pequenas empresas e pesquisadores a jogar no mesmo campo que as grandes corporações, permitindo que eles obtenham insights mais profundos que ajudam a levar soluções ao mercado muito mais rapidamente. Na minha opinião, a nuvem está incentivando o talento e a criatividade, e não os recursos financeiros, a serem as forças motrizes por trás de inovações revolucionárias baseadas em dados. Viabilizando forças de trabalho ágeis de ciência de dados Cerca de 27% dos americanos trabalham remotamente hoje, em comparação com cerca de 6% em 2018. Dada a prevalência do trabalho remoto, as ferramentas em nuvem podem oferecer uma ponte valiosa para equipes distribuídas de cientistas de dados, que, de outra forma, poderiam ter dificuldades para inovar com eficácia. Plataformas como as oferecidas pela Snowflake e pela Microsoft permitem que os cientistas de dados colaborem em projetos em tempo real, compartilhando recursos e insights independentemente de suas localizações físicas. Na verdade, 88% dos tomadores de decisão nos EUA acreditam que seu investimento em tecnologias baseadas em nuvem está aumentando a eficiência e a agilidade dos negócios, e 82% acreditam que está gerando resultados positivos no desenvolvimento de novas ideias, abordagens ou metodologias. As organizações que demonstrarem suas capacidades nessas áreas representarão as próximas empresas de um bilhão de dólares. A IA agora está integrada a muitas ferramentas comuns de análise e permite que usuários com conhecimento limitado de ciência de dados iniciem funções complexas com um simples prompt. Tarefas como a criação de um gráfico compartilhável ou a visualização de um grande conjunto de dados, que antes exigiam um especialista, agora podem ser realizadas por qualquer pessoa usando ferramentas padrão de business intelligence, como o Microsoft Excel (que, sim, é uma ferramenta baseada na nuvem no Microsoft 365) ou um notebook Jupyter baseado na nuvem (um aplicativo da Web para criar e compartilhar documentos computacionais). Quero deixar claro: isso não significa que a IA está chegando para ocupar os empregos dos cientistas de dados, o que é um medo sentido por quase metade dos profissionais de ciência de dados. Na verdade, minha opinião é exatamente o oposto. Acredito que a IA aliviará os cientistas de dados das tarefas mundanas e rotineiras e das solicitações repetitivas dos usuários corporativos do dia a dia. A TI lhes dará tempo para realizar trabalhos mais criativos, complicados e impactantes. A democratização da ciência de dados que está sendo incentivada pelas ferramentas de nuvem é, em última análise, positiva para todos e pode desencadear uma nova onda de tomada de decisões orientadas por dados para as empresas. Tenha o cuidado de desenvolverestruturasde segurança e privacidadepara ambientes de nuvem Embora a nuvem esteja influenciando avanços notáveis na ciência de dados, questões como o gerenciamento de novos vetores de ataque e violações de segurança também podem ser ampliadas em um ambiente de nuvem. É preciso ter cuidado com isso. Para as organizações que estão migrando de uma arquitetura local, os protocolos existentes para o gerenciamento, a limpeza e o processamento seguros de dados podem nem sempre ser traduzidos para a nuvem. Para mitigar os riscos, os líderes de TI precisam entender as maneiras exclusivas pelas quais os dados devem ser gerenciados no ambiente de nuvem. Para muitos líderes de TI, o melhor primeiro passo para garantir a segurança e a privacidade dos dados na nuvem é obter aprovação para migrar de um servidor local para a nuvem usando um serviço de nuvem de locatário único. Isso fornecerá uma infraestrutura dedicada para maior flexibilidade, personalização e segurança. Um serviço multilocatário compartilha a infraestrutura de nuvem com outras empresas e, portanto, introduz riscos de vazamento de dados e privacidade que devem ser evitados para sistemas essenciais aos negócios. A partir daí, uma boa próxima etapa é adotar uma VPN robusta com criptografia forte, que ajudará a tornar os dados menos acessíveis a usuários não autorizados. E, finalmente, para mitigar totalmente os riscos de segurança e privacidade, os líderes de TI devem começar a implementar uma estrutura de segurança robusta que siga os padrões do setor. Duas técnicas de alta prioridade que eu incentivo os líderes de TI a considerarem adotar em sua estrutura de segurança - e que podem até ser práticas obrigatórias de gerenciamento de dados, dependendo do seu setor - são o particionamento de dados (que separa os dados mais confidenciais dos menos confidenciais e define o acesso aos dados de acordo com isso) e a criptografia em repouso (que codifica e protege os dados armazenados). A estrutura de segurança cibernética do National Institute of Standards and Technology (NIST) fornece orientação detalhada para as organizações que estão prontas para levar seus recursos de segurança para o próximo nível. Garantir a segurança e a privacidade dos dados na nuvem é desafiador e caro, mas vale cada centavo do investimento. Há sérias considerações éticas em relação ao uso e ao armazenamento dos dados dos usuários, e a falta de segurança pode levar a sérios danos financeiros ou à reputação. *** A nuvem redefiniu o cenário da ciência de dados e continuará a causar um impacto significativo nesse campo. Novas ferramentas estão democratizando o acesso aos dados, promovendo a agilidade da força de trabalho e permitindo que os usuários dimensionem seus recursos de forma dinâmica. Ao romper as barreiras das ferramentas e da computação limitadas, as tecnologias de nuvem estão capacitando os cientistas de dados a realizar projetos complexos que agregam mais valor às suas organizações. De start-ups a gigantes do setor, a nuvem se tornou um grande equalizador em que o talento e a criatividade, e não apenas os recursos financeiros, impulsionam a inovação. As forças de trabalho ágeis, não mais limitadas por restrições geográficas, estão prontas para revolucionar os setores. Com a colaboração remota possibilitada pelas ferramentas de nuvem, as equipes de ciência de dados podem se adaptar rapidamente às mudanças do mercado e promover uma cultura de inovação em que as ideias florescem e as soluções surgem mais rápido do que nunca. Ao mesmo tempo, os assistentes de IA estão democratizando ainda mais a ciência de dados, tornando as ferramentas de análise mais acessíveis e intuitivas e inspirando a curiosidade em todos os níveis de uma organização. O futuro da ciência de dados alimentada por tecnologias de nuvem é promissor. À medida que navegamos nesse cenário mutável, a segurança e a privacidade dos dados devem permanecer como prioridade máxima e os líderes de TI precisarão fazer mudanças para se adaptar com segurança a esse novo ambiente. Acredito que a nuvem não é apenas uma ferramenta; é um catalisador de mudanças. A TI permite que as organizações ajam rapidamente com base em insights orientados por dados, alimenta sua jornada rumo à inovação e as capacita a moldar um futuro mais brilhante para todos.

Como a nuvem está mudando a ciência de dados

Resumo.

Partner Center