E se máquinas decidissem o destino de famílias? Já decidem

• 3

As chagas do sistema de proteção da criança dos Estados Unidos foram escancaradas este ano com o documentário "As mortes de Gabriel Fernández", na Netflix. Um menino de 8 anos que é doce, feliz e saudável mora com a avó desde pequeno. Em 2012, a mãe resolveu buscá-lo para que morasse com ela, o namorado e dois filhos pequenos do casal. Após 8 meses de torturas exaustivamente relatadas às autoridades por parentes, vizinhos, conhecidos e professores, Gabriel morreu em mais uma sessão de espancamento.

O fio condutor do relato é o promotor Jon Hatami, que também foi vítima de abusos na infância e não foi protegido pelo sistema. Ele decide esmiuçar cada detalhe de como se chegou à morte brutal do menino. É pior do que todos os piores pesadelos. As agressões físicas tinham requintes de crueldade, a mãe e o padrasto utilizavam espancamentos para apimentar a relação. Havia ainda humilhações terríveis como ser obrigado a comer excrementos dos animais de estimação e passar dias trancado num armário sem comer ou ir ao banheiro. O padrasto foi condenado à pena de morte e a mãe à prisão perpétua.

A grande diferença do caso Gabriel Fernández é que se abriu um processo de responsabilização dos profissionais de proteção infantil que atuaram no caso. Foram inúmeras queixas, durante 8 meses, todas elas com relatos macabros. Assistentes sociais e policiais visitaram a família inúmeras vezes mas, invariavelmente, acreditavam no relato da mãe e não examinavam o menino. Ele tinha diversas fraturas que comprovariam os abusos. Desde então, são buscadas alternativas para melhorar o sistema. Encontraram o Algoritmo.

O documentário é especificamente sobre Los Angeles e o caso Gabriel Fernández, mas aparecem ali diversas outras tragédias acobertadas pelo sistema. O principal ponto de falha é não ouvir as crianças e isso ultrapassa a fronteira dos Estados Unidos. Jurisdições em mais de 10 estados norte-americanos já adotam hoje um modelo de algoritmo para ajudar na avaliação de risco de abuso e negligência a que uma criança está exposta. Muitas outras estão dispostas a isso e já há modelos de construção das plataformas indicados como boas oportunidades pelo governo federal.

Não se trata de uma tentativa maluca, mas de usar a interação homem-máquina para melhorar um processo que tem sido falho por uma série de fatores que vão desde a subjetividade natural das pessoas até o número excessivo de casos atribuídos a cada assistente social. Os dois principais problemas encontrados são:
1. Partilha de dados entre agências do governo, já que casos envolvendo crianças têm sigilo e proteção especial.
2. Inconsistência na qualidade dos dados utilizados pelos assistentes sociais para fazer a avaliação.

A intenção é que o algoritmo trabalhe especificamente nisso, suprindo os 4 pontos que, segundo o relatório, são aqueles buscados pelos assistentes sociais nas entrevistas:

1. Estimativa de risco elevado durante ou após atendimentos preventivos.
Esses esforços buscam estimar alto risco futuro de maus-tratos, lesões graves ou fatalidade de uma criança.

2. Previsão da probabilidade de eventos repetidos.
Esta área do problema analisa a repetição de maus-tratos de crianças por perpetradores em que a unidade de análise pode ser a criança ou o perpetrador.

3. Análise das interações entre sistemas.
Esses esforços descrevem problemas que existem com pessoas ou entidades fora do bem-estar infantil e problemas que freqüentemente requerem o apoio de agências externas. Isso inclui olhar para crianças que são abusadas, que podem abusar de seus próprios filhos quando jovens pais ou avaliando o nível de risco de abuso de um bairro.

4. Fornecer informações sobre as operações do serviço de proteção.
Esta categoria final inclui esforços para ajudar organizações usam análise preditiva para olhar para suas próprias atividades, como avaliar rotatividade do responsável pelo caso ou tendências na quantidade de casos recebidos.

Nos Estados Unidos, 37% das crianças tiveram pelo menos uma investigação sobre abuso ou negligência de adultos até chegar aos 18 anos de idade. É um número assutador. Qualquer erro na apuração traz consequências nefastas. Subestimar o risco a que uma criança está exposta gera traumas eternos ou tragédias dantescas como a do menino Gabriel Fernández. Há também o outro lado, o de tentar proteger o que não precisa ser protegido. Se o risco for superestimado, uma família pode ser injustamente desfeita, com consequências para toda a vida.

"Dados os riscos, somados aos preconceitos naturais dos humanos tomadores de decisões, as análises preditivas por algoritmo têm o potencial de serem mais precisas e propiciar intervenções consistentes. No entanto, como diz o advogado Stephanie Glaberson : 'A menos que se dê uma atenção muito cuidadosa às suposições, preconceitos e realidades que compõem o algoritmo de nosso sistema de bem-estar infantil neste momento crítico, a tomada de decisão corre o risco de perpetuar e ampliar problemas existentes'.", diz Michele Guilman em seu guia Poverty Lawgorithms: A Poverty Lawyers Guide to Fighting Automated Decision-Making Harms on Low-Income Communities.

Se o algoritmo for utilizado para avaliar de forma imparcial o que nós, humanos, tendemos a ver com os olhos da nossa experiência pessoal, ele nos ajuda a tomar decisões melhores. Suponha, por exemplo, que um assistente social esteja diante de uma suspeita gerada numa família estável, que vive em um bairro de elite, tem estabilidade financeira e eles alegam ser vítimas de vingança, uma denúncia falsa.

Não há tempo hábil para investigar, é preciso decidir ali se a criança fica ou não em casa. Um sistema em que seja possível inserir diversos outros dados sobre o dia a dia da família, estado de saúde física e mental da criança, histórico de atendimentos hospitalares e histórico de atendimento por assistentes sociais pode fazer toda a diferença para quem está diante de uma decisão dessas.

Quem é, afinal, esse poderoso senhor Algoritmo?

O trabalho de Michele Guilman traz definições muito importantes para que possamos compreender em que mundo vivemos. Não são as máquinas nem a tecnologia que nos levam a uma sensação de viver a distopia em que um computador é soberano para injustiçar vidas humanas. A falta de compreensão ou a ilusão de compreender o funcionamento dos algoritmos nos fazem reféns desse sistema. Compreendendo como ele funciona, podemos identificar falhas e utilizar o melhor do progresso tecnológico.

Um ALGORITMO é um conjunto de instruções bem definidas, para uso por um computador. No contexto de tomada de decisão automatizada, um algoritmo é o conjunto de instruções que informam a um computador como completar uma tarefa pré-especificada. A tomada de decisão automatizada é uma maneira de dividir decisões complexas em tarefas distintas que um algoritmo de computador ou conjunto de algoritmos pode executar em dados digitais. Algoritmos podem variar do muito simples ao muito complexo.

Alguns algoritmos são BASEADOS EM REGRAS, o que significa o espaço do problema e as soluções potenciais são discretos e predefinidos. O computador faz exatamente o que o programador pede para fazer. Uma calculadora de vale-refeição é um exemplo deste tipo de algoritmo.

Outros algoritmos são usados em MACHINE LEARNING, que pode ou não ser baseado em regras. “Machine Learning” refere-se a uma ampla gama de técnicas algorítmicas, incluindo análises estatísticas simples e de ponta técnicas conhecidas como "Deep Learning" ou "Redes Neurais. ” No sentido mais básico, Machine Learning é um processo automatizado em que um computador analisa grandes conjuntos de dados para descobrir correlações entre esses dados, que podem ser usadas ​​para fazer previsões sobre o comportamento futuro. Somente os formulários mais avançados de Machine Learning dependem de modelos pré-especificados para analisar os dados. Designers de sistemas de Machine Learning não podem necessariamente especificar ou mesmo prever cada resultado, mas o desempenho geral do sistema é moldado por designers a partir dos conjuntos de dados e modelos usados ​​para a seleção de tarefas e objetivos que os algoritmos determinam. Quando a Netflix recomenda certos filmes aos espectadores, ela faz essas previsões são baseadas em uma forma de Machine Learning. Certos sistemas de detecção de fraude em seguridade social também contam com Machine Learning para identificar padrões suspeitos em conjuntos de dados. Machine Learning é um tipo de INTELIGÊNCIA ARTIFICIAL (IA). IA é uma ampla categoria de tecnologias que tenta se aproximar da inteligência humana.

DIGITAL PROFILING é o processamento automatizado de dados pessoais, a fim de avaliar pessoas e ou para prever seu comportamento. Algoritmos são usados ​​em perfis. Uma pontuação de crédito é um exemplo de criação de perfil, assim como um relatório de triagem de inquilinos.

A teoria na prática é outra

É tentador tratar computadores como se fossem mágica. Quando a gente compara a objetividade das máquinas com a falibilidade da natureza humana, a tendência é concluir que as decisões tomadas pelos algoritmos são mais objetivas e, portanto, mais justas.

"Contudo, pessoas programam computadores e colocam preconceitos e erros humanos e em modelos de computador. A ciência do computador diz: 'entra lixo, sai lixo'. Como a autora e professora de matemática Hannah Fry afirma: 'Algoritmos são muito parecidos com ilusões mágicas. No começo eles aparecem ser nada menos que feitiçaria, mas assim que você saiba como o truque é feito, o mistério se evapora'.", diz o guia feito para que advogados norte-americanos confrontem a Justiça nas ocasiões em que pessoas acabem prejudicadas na vida real por erros de programação, o que já é uma realidade.

A Inteligência Artificial é uma grande aliada na proteção às crianças, mas se torna uma ameaça quando os seres humanos treinados para observar e analisar famílias duvidam da própria experiência profissional quando confrontados com resultados dos algoritmos. Há exceções em tudo o que é humano. Existem casos em que o algoritmo dirá que, com base em outras experiências, a criança está fora de perigo. Em outros, também com base em experiências passadas, ele afirmará que a criança está em perigo. O que fazer quando o profissional discorda dessa avaliação ainda é um desafio.

É natural que assistentes sociais questionem a própria percepção diante dos resultados de Digital Profiling feitos por máquinas. Isso é saudável desde que consigam tomar a decisão com base na combinação dos fatos com a própria experiência. Mas contradizer o algoritmo é um risco gigantesco. Se a falha for do algoritmo, o profissional que consentiu com ela sai ileso. O profissional que confia na própria experiência e contradiz o algoritmo está lançado ao mar da incerteza.

O desafio atual é como equilibrar os reais benefícios da tecnologia com o nosso deslumbramento e reverência a ela. "Modelos matemáticos sempre têm exceções e não podem perceber fatores raros ou clínicos de risco que um profissional experiente pode notar", diz o guia da NCCD, Children's Research Center. Já há manuais extensos sobre como incorporar os benefícios da tecnologia na análise de riscos para as crianças evitando o erro de usar a tecnologia para replicar erros humanos em escalas geométricas.

O fato é que existem historicamente crianças que não foram salvas pelo sistema de proteção à infância por erros humanos e agora há as que não são salvas porque o Algoritmo é visto como uma entidade autônoma e infalível que decidiu pela não intervenção. De outro lado, também existem famílias injustamente separadas por ordem do Algoritmo, que levou em conta histórias de outras pessoas para chegar àquela decisão.

Ainda não temos esses sistemas de proteção à criança no Brasil, mas é inevitável que tenhamos porque são um avanço. É cada vez mais urgente entender que máquinas não são infalíveis porque são programadas por pessoas. Na relação homem-máquina, há que se decidir quem serve quem. Não faz sentido chamar de progresso o cenário em que pessoas são injustamente punidas porque um algoritmo decidiu assim.

Madeleine Lacsko

Madeleine Lacsko é jornalista desde a década de 90. Foi Consultora Internacional do Unicef Angola, diretora de comunicação da Change.org, assessora no Supremo Tribunal Federal e do presidente da Comissão de Direitos Humanos da Alesp. É ativista na defesa dos direitos da criança e da mulher. **Os textos da colunista não expressam, necessariamente, a opinião da Gazeta do Povo.

veja + em Madeleine Lacsko