Estudo de caso: A tecnologia de reconhecimento facial aumenta a segurança?

O guarda de segurança não conseguia ouvir Beth Williams por causa do alarme estridente. As luzes estroboscópicas de LED dançavam para cima e para baixo nas paredes azul-pó e rosa-pastel da creche Cub House. O guarda se moveu para impedir que Maria Sanchez se dirigisse a uma sala de aula para pegar sua filha. Ele estendeu o braço em direção ao peito dela. Maria parecia assustada, e Beth, fundadora e diretora da Cub House, ficou horrorizada. Ela correu até o guarda e sussurrou: "Ela está bem!" diretamente no ouvido dele. Em seguida, pegou o celular e digitou alguns números, e o alarme e as luzes pararam. Um piano voltou a tocar "Somewhere Over the Rainbow" em uma sala de aula no final do corredor. "Sinto muito por isso", disse Beth, colocando a mão no ombro de Maria.1 "Estamos testando nosso sistema de segurança de reconhecimento facial. Essa coisa estúpida fica disparando sem motivo." Um sistema defeituoso No final daquela tarde, depois que todas as crianças e seus responsáveis deixaram o prédio, Beth pediu a Charles Rivers, seu diretor de tecnologia, e a Anthony Michaels, seu chefe de segurança, que se juntassem a ela na sala dos professores. Os dois homens estavam na Cub House, uma organização sem fins lucrativos, desde 2010, quando Beth a fundou em Dayton, Ohio, sua cidade natal. A maior instalação desse tipo no estado, tinha vários espaços recreativos e educacionais para crianças de até cinco anos de idade, e os responsáveis podiam usá-la com flexibilidade. Algumas crianças frequentavam diariamente; outras vinham uma vez por mês. Mas todas as crianças e os adultos que as deixavam e pegavam deveriam ser registrados, e os adultos tinham de fornecer documentos de identidade com foto e números de placas de carro com seus nomes. Três meses antes, enquanto a recepcionista e o segurança não estavam no balcão de boas-vindas, uma senhora idosa e com problemas mentais havia entrado na instituição, assustando várias crianças e causando um tumulto entre os pais. Charles e Anthony sugeriram que Beth implementasse um sistema de segurança baseado em reconhecimento facial. O TI usaria câmeras para fotografar o rosto de cada visitante e um software para analisar a geometria do rosto, após o que cada foto receberia um código exclusivo com um nome e permissões de acesso. Se alguém não reconhecido pelo sistema ou com o rosto obscurecido entrasse no prédio, ou se um visitante registrado fosse a algum lugar não autorizado, como o banheiro de uma criança ou um escritório administrativo, um alarme soaria. Anthony disse que, graças ao status de organização sem fins lucrativos da Cub House, o fornecedor estava disposto a abrir mão dos custos iniciais para que o sistema funcionasse adequadamente, e o projeto levaria apenas algumas semanas. Charles concordou: "Tudo isso será financeiramente administrável e tecnologicamente sólido, e ajudará todos a dormir melhor à noite." Beth estava cética. Eles realmente iriam delegar o importante trabalho de garantir a segurança das crianças e dos visitantes a um sistema automatizado? O reconhecimento facial parecia assustador para ela, não era o tipo de coisa para se ter em um espaço para crianças. Ainda assim, seus colegas insistiram e ela concordou em testar o sistema e, em testes informais com sua equipe durante um intervalo de três dias, quando o centro estava fechado para visitantes, a tecnologia funcionou perfeitamente. Quando ela enviou um assistente de professor que ainda não tinha acesso total a uma área restrita, o alarme soou. Quando ela passou correndo pela recepção com o rosto entre as mãos, o alarme soou. O aplicativo de segurança em seu telefone capturou uma imagem do invasor, e Beth podia digitar uma senha para interromper o alarme. Ela fez dezenas de testes informais como esses e o sistema respondeu sem falhas. As preocupações de Beth diminuíram. Mas na manhã em que o sistema entrou em operação, foi um desastre imediato. O alarme soou em cinco ocasiões, nenhuma das quais foi uma violação de segurança. Todas as vezes, ele assustou a equipe, as crianças e os cuidadores da instituição. O quinto incidente foi o que envolveu Maria Sanchez. "Estou preocupada", disse Beth a Charles e Anthony naquela tarde. "Já recebemos reclamações. TI parece ser um grande risco para as relações com a comunidade e para a satisfação dos visitantes." "Esses são problemas típicos do primeiro dia", rebateu Charles. "Sabemos que o sistema funciona. O fornecedor me garante que vários hospitais e escolas já o testaram.2 Podemos simplesmente explicar aos pais que tudo isso está sendo feito para proteger seus filhos. E se as pessoas perceberem que estamos priorizando a segurança, elas estarão mais propensas a vir aqui. Se conseguirmos evitar um único incidente em que alguém possa se machucar, esse projeto terá valido a pena." "Mas acho que temos um problema", interveio Anthony. "Por acaso o senhor notou alguma semelhança entre as pessoas que acionaram o alarme?" Beth e Charles se entreolharam e deram de ombros. "Todas as cinco eram mulheres de pele escura",3 disse Anthony. "Os sistemas de reconhecimento facial, como qualquer outra tecnologia automatizada, dependem dos dados usados para criá-los: Se os rostos usados forem principalmente brancos e masculinos - o que descreve a maioria dos homens que programam essas coisas - o sistema cometerá mais erros ao avaliar rostos negros, pardos ou femininos. Podemos resolver esse problema, em parte, de forma técnica - certo, Charles?" Charles assentiu. "Mas o senhor pode garantir que conseguiremos resolvê-lo totalmente?" Beth ficou novamente horrorizada. Se os alarmes falsos afetassem desproporcionalmente as mulheres e as pessoas de cor - que descreviam a grande maioria das pessoas que iam ao centro todos os dias -, isso não só geraria uma enorme e frequente disrupção e um possível risco à reputação e à responsabilidade legal, como também iria contra tudo o que ela tentava ensinar às crianças sobre justiça e empatia. Dito isso, considerando o número de tiroteios em escolas4 nos Estados Unidos, os altos índices de criminalidade em Dayton e o susto com a senhora com problemas mentais, manter a Cub House segura era, sem dúvida, a prioridade número um dela e de seus clientes. "Vamos desligar o sistema por enquanto", disse Beth. "Vou dar ao senhor e ao fornecedor algumas semanas para trabalharem na correção dos alarmes falsos." As implicações legais Beth encontrou Tanya Marshall para almoçar no dia seguinte em um bistrô no centro de Dayton. As duas mulheres eram amigas desde a época em que estudavam no estado de Ohio. Tanya era agora a primeira sócia negra do maior escritório de advocacia da cidade. Ela havia incentivado Beth a construir a Casa do Leãozinho quando ela era apenas um conjunto de slides de PowerPoint. Seus dois filhos frequentavam a instituição regularmente quando ainda eram bebês, e ela era uma das conselheiras mais ativas e doadora constante da Cub House. "Eu queria falar com o senhor", disse Tanya depois que fizeram o pedido. "Maria Sanchez postou na página do Facebook dos pais da Cub House que ela e duas outras mulheres latinas foram paradas por alarmes quando entraram no centro." "Eram cinco", disse Beth. "Cinco?" "Sim, o alarme tocou para cinco mulheres de cor diferentes". Beth contou a Tanya sobre a senhora com doença mental, o software de reconhecimento facial e as falhas do software. "O sistema está sendo aperfeiçoado neste exato momento", disse ela. "É melhor a senhora não trazer isso de volta", disse Tanya. "Pelo menos não ainda. O senhor pode estar abrindo o centro para uma ação judicial se Ohio aprovar novas leis de privacidade." Ela citou ações judiciais e acordos recentes em Illinois envolvendo o Facebook, o Google e a Clearview AI. "A maioria das pessoas se sente desconfortável5 quando as empresas usam esse tipo de tecnologia", disse Tanya. "Não tenho certeza de que seria diferente para a Cub House." "Mesmo que isso nos torne mais seguros?" perguntou Beth. "E se retirarmos o sistema e houver outra violação que poderíamos ter evitado? Deus não permita que alguém entre nas instalações com uma arma! Como eu explicaria isso aos pais - que tínhamos a tecnologia para proteger melhor as crianças, mas não a usamos? Isso também não nos abriria a um processo judicial? "6 Notas de Aula do Estudo de Caso A Beth e o guarda de segurança lidaram adequadamente com essa situação? O que eles poderiam ter feito de diferente? O Martin Luther King Jr. Community Hospital, em Los Angeles, testou o software de segurança de reconhecimento facial por cinco meses. O sistema operou com 100% de confiabilidade e zero tempo de inatividade. O MIT e a Microsoft realizaram um teste para determinar a eficácia com que o software de reconhecimento facial poderia identificar o sexo das pessoas a partir de seus rostos. O software acertou mais de 99% das vezes para homens de pele clara, mas apenas 66% das vezes para mulheres de pele mais escura. Até 25 de maio, houve 27 tiroteios em escolas que resultaram em ferimentos ou mortes nos Estados Unidos em 2022. A Pew Research descobriu que apenas 36% das pessoas dizem confiar nas empresas de tecnologia para usar o reconhecimento facial de forma responsável. O senhor acha que essa tecnologia é a maneira mais eficaz de proteger a Casa Branca? E, em caso afirmativo, quais ajustes técnicos e estratégias de comunicação devem ser implementados? Tanya ficou em silêncio por um momento. "Veja bem, não estou dizendo que o senhor não pode usar o software de reconhecimento facial", disse ela. "Mas o senhor tem que pensar bem, do ponto de vista legal e ético, e tem que se certificar de que está protegido de todos os ângulos. Se as mulheres de cor começarem a ser assediadas por seguranças, o senhor pode dizer adeus à Cub House." Pronto para ir? No mês seguinte, Charles trabalhou com o fornecedor para melhorar a precisão do sistema de segurança. Eles instalaram três câmeras de alta resolução na recepção, que foram usadas para tirar fotos de vários ângulos de todos que entravam e saíam do prédio. Uma placa no balcão da recepção dizia: "Sua foto está sendo tirada para fins de segurança". O software de reconhecimento facial marcava cada foto com o nome do visitante e as permissões de acesso. Quanto mais fotos fossem anexadas a cada arquivo, maior seria a precisão do sistema no reconhecimento do rosto. Para combater diretamente os problemas com rostos femininos e de pele escura, Beth autorizou a instalação de luzes de alta potência na recepção para que as câmeras pudessem capturar melhor as distinções. Para medir como o sistema funcionaria em tempo real, Charles o usou durante o recital de verão, quando a maioria das crianças e seus responsáveis estavam na Cub House ouvindo crianças de cinco anos cantando músicas de O Mágico de Oz. Ele desativou o alarme, mas manteve as notificações ativas para que recebesse um alerta sempre que uma violação fosse registrada. Ele recebeu dois naquela noite. A primeira foi acionada quando um pai não registrado entrou no centro sem parar na recepção. O segundo foi acionado por um pai registrado que levou seu filho pequeno ao banheiro infantil para trocar fraldas. Na manhã seguinte, Charles trouxe donuts e ele, Beth e Anthony discutiram os resultados em uma mesa de piquenique no quintal da Cub House. Charles disse que estava confiante de que o sistema havia melhorado e que os alarmes falsos, embora inevitáveis, seriam menos frequentes. Ele recomendou diminuir um pouco o volume para que os alertas não fossem tão angustiantes. Ele também redigiu uma carta para a comunidade explicando o sistema e as possíveis causas dos alarmes falsos e pedindo aos pais que o perdoassem antecipadamente por qualquer inconveniente. Anthony estava satisfeito com o plano. Na pior das hipóteses, o sistema seria um incômodo. Na melhor das hipóteses, protegeria as crianças e ajudaria a equipe de segurança. Beth ainda estava preocupada com o fato de que um mês de ajustes e uma noite de testes não fossem suficientes para garantir a precisão do sistema. Um alarme mais silencioso era melhor, com certeza, mas de que adiantaria se nem todos pudessem ouvi-lo? Será que essa tecnologia realmente tornaria a Casa dos Leõezinhos mais segura? Ou abriria a empresa da Beth para outros problemas? Os especialistas respondem: Beth deve implementar um software de reconhecimento facial na Cub House? Joseph Steinberg , ex-CEO da SecureMySocial e da Green Armor Solutions, é o autor de Cybersecurity for Dummies (Segurança cibernética para leigos). Eu faria três perguntas à Beth: A tecnologia resolve o problema que a senhora está tentando resolver? Em caso afirmativo, é a melhor maneira de resolver seu problema? E ela resolve o problema sem criar novos problemas? A resposta a todas as três perguntas é não. Beth não precisa, e não deve, usar a tecnologia de reconhecimento facial como mecanismo principal para proteger a Cub House contra a entrada de pessoas não autorizadas. Há maneiras melhores de atingir seus objetivos - e essas maneiras proporcionarão mais segurança do que a tecnologia de reconhecimento facial e, ao mesmo tempo, criarão menos efeitos colaterais indesejáveis. Beth poderia, por exemplo, emitir crachás de identificação digitalizáveis para os participantes autorizados. Um guarda poderia escanear a identificação de qualquer pessoa que tentasse entrar na Cub House e comparar a aparência dos possíveis participantes com as fotos que aparecem em uma tela de computador. (O guarda, sem dúvida, se familiarizaria com as pessoas que chegam todos os dias.) Beth poderia trancar por fora e colocar um alarme em todas as portas da Casa dos Leõezinhos, exceto na entrada da frente, e dar ao guarda uma visão de câmera de todas as portas. Ela poderia até instalar dois conjuntos de portas em uma formação de armadilha para homens na entrada. Uma abordagem clássica pode ser menos sofisticada do que o reconhecimento facial, mas também deve ser mais eficaz. Dependendo de como for configurada, a tecnologia de reconhecimento facial provavelmente criará mais alarmes falsos ou permitirá que mais pessoas não autorizadas entrem na Cub House do que um guarda de segurança. Além disso, ao contrário de um guarda, esse sistema não pode impedir que um possível atirador ou outra pessoa não autorizada entre à força. O resultado final é que a Casa dos Leõezinhos provavelmente será menos segura com o sistema de reconhecimento facial de Beth do que seria se a senhora utilizasse uma abordagem alternativa e testada pelo tempo. Cedric L. Alexander é autor de In Defense of Public Service (Em defesa do serviço público ) e The New Guardians (Os novos guardiões). O reconhecimento facial é uma tecnologia útil. Nós a usamos todos os dias - para abrir nossos telefones, quando viajamos, para fins de segurança. Mas o senhor não pode testar e promover um produto com base no reconhecimento facial usando apenas pessoas brancas como sua base de sujeitos, e não pode testá-lo em uma noite durante um show, que foi o que a equipe de Beth fez. Antes de levar o sistema para a Cub House, onde é responsável pela segurança das crianças, Beth deveria ter conversado com outros fornecedores e outras pessoas que têm experiência com sistemas de reconhecimento facial. É necessário que haja dados confiáveis que comprovem a capacidade do sistema de responder com precisão. Certamente ajuda o fato de a Cub House ter adicionado iluminação e um sistema de câmeras melhor, mas a empresa da qual Beth está comprando a tecnologia realmente precisa mostrar a ela mais dados que comprovem que o sistema é preciso. Ela deve perguntar diretamente ao fornecedor: "Esse produto está sendo testado em uma ampla população de pessoas?" Em seguida, ela deve trabalhar com o fornecedor para fornecer treinamento especializado à sua equipe e deve exigir que os funcionários que usam o sistema atendam aos requisitos de certificação. Eu teria falado com os pais logo de início, não apenas em uma carta de Charles. Beth poderia ter conversado com eles individualmente ou em grupos. Ela poderia ter explicado tudo para eles: "Esta é a tecnologia que usaremos para manter seus filhos seguros. Este é o fornecedor que estamos pensando em usar. Veja como a tecnologia reduzirá a probabilidade de alguém entrar aqui e causar danos aos senhores". Quando o senhor diz às pessoas que está pensando em usar uma nova tecnologia, elas têm a oportunidade de aceitar ou de expressar suas preocupações. Em geral, as pessoas estão dispostas a participar de algo novo e inovador, especialmente se isso parecer justo e produtivo. Mas se Beth não conversar com os pais e algo der errado, ela sofrerá mais reações negativas, mesmo que Charles já tenha enviado uma carta. Nos próximos 10 ou 15 anos, os sistemas de reconhecimento facial se tornarão uma parte normal da forma como nos protegemos. Mas eles precisam ser refinados e precisamos fazer um trabalho melhor para ensinar ao público o valor da tecnologia. Os estudos de caso ficcionais da HBR apresentam problemas enfrentados por líderes em empresas reais e oferecem soluções de especialistas. Este é baseado no Estudo de Caso da Universidade da Virgínia "Ubiquitous Surveillance" (produto no. UVA-OB-1403), de David Danks e Maralee Harrell, disponível na UVA Darden Business Publishing.

Estudo de caso: A tecnologia de reconhecimento facial aumenta a segurança?

Partner Center