Sociedade Algorítmica – desafios e soluções
O desafio não é escolher entre o desenvolvimento tecnológico e os direitos fundamentais, sim, estruturar os sistemas jurídicos de forma capaz de utilizar os algoritmos para melhorar a vida humana.

Fabio Luiz Gomes
Introdução
O termo Sociedade Algorítmica foi utilizada como uma categoria ampla para descrever um fenômeno social – uma sociedade que utiliza algoritmos, e desenvolver não uma expressão controlada por máquinas, mas uma formação social na qual sistemas computacionais passam a participar crescentemente, no desenvolvimento do conhecimento, na organização das atividades humanas e utilização racional das oportunidades.
Observa-se que o sistema de inteligência artificial e mecanismos automatizados de processamento de dados passam a servir de inspiração, de maneira crescente, nas decisões econômicas, políticas, administrativas e jurídicas que afetam os indivíduos.
Nestes termos, a ordem sociotécnica algorítmica configura o objetivo de explicar seus mecanismos, identificar responsabilidades e construir critérios de controle jurídico, caracteriza-se pela utilização de sistema de dados e modelos para classificar pessoas, probabilidades de comportamentos, auxiliar na distribuição de recursos e decisões.
Com essas premissas, serão desenvolvidas a seguir a configuração e o seu controle jurídico.
1. Análise do pentágono conceitual das dimensões da sociedade algorítmica
a. Algoritmização das decisões: As regras computacionais passam a recomendar, condicionar ou executar (deve haver supervisão humana), estabelecendo o desenho institucional e o regime jurídico aplicável.
Esse resultado computacional deverá constituir um subsídio técnico, no entanto a supervisão humana é essencial durante todo esse processo.
b. Dataficação informacional (matéria-prima): conversão de fatos, comportamentos, transações e fatos sociais em representações computacionais em dados estruturados, portanto, suscetíveis de análise e armazenamento, cruzamento e processamento computacional.
O grande desafio jurídico configura na legitimidade da coleta, a qualidade dos dados, a finalidade do tratamento e os limites da reutilização.
c. Agrupamento e classificação: os dados dos indivíduos são agrupados e classificados por regras estatísticas ou computacionais conforme o perfil, identificam padrões, estabelecendo probabilidades e padrões de comportamentos, atribuem indivíduos ou operações a determinadas categorias, elegibilidade ou comportamento.
Deve-se atentar, no entanto, que os critérios de classificação podem conter vieses, produzir discriminação ou associações estatísticas com critérios e resultados indevidos.
d. Utilização organizacional: organizações públicas e privadas utilizando-se dos sistemas automatizados para executar e auxiliar funções decisórias.
e. Assimetria informacional: quem desenvolve ou controla os sistemas possui, frequentemente, mais informações sobre seu funcionamento do que aqueles que executam ou buscam o auxílio em suas atividades.
Nesta dimensão, a rastreabilidade com acesso a todos os elementos, a revisão deverá ser independente e a possibilidade de contestação deverá ser efetiva.
Observa-se que há uma interdependência entre essas dimensões na construção conceitual da sociedade algorítmica, explicam como os dados se transformam em resultados decisórios e a sua utilização organizacional.
Essas dimensões não configuram etapas lineares, mas vértices analíticos distintos que se encontram em um denominador comum – conectados em um núcleo sociotécnico em que elas interagem.
A relação geométrica entre essas dimensões fixa os elementos de conexão entre elas, afinal o pentágono não representa uma sequência obrigatória, no entanto fixa um circuito de influências recíprocas.
Essa retroalimentação confere uma dinâmica própria, um erro poderá ser isolado, portanto, corrigido.
Já um erro incorporado as dimensões poderão ser repercutidas em milhares de resultados.
2. Eixo transversal de controle jurídico
As dimensões que compõe pentágono impõem a dinâmica que constroem uma sociedade algorítmica, no entanto, deverá haver em todas as dimensões uma linha transversal de controle jurídico, para que haja a reconfiguração de um erro e, assim, evita-se a contaminação dos demais.
Portanto, o eixo de controle jurídico deverá incidir sobre todos os vértices do pentágono.
Importante destacar que esse controle deverá ser preventivo e repressivo, seja no campo da legalidade e igualdade e, permitir, uma maior transparência que permita a auditabilidade e responsabilidade.
Durante todo o processo deverá o sistema permitir revisão, contestação e reparação dos dados armazenados para que haja condições jurídicas para o exercício legítimo de todo o processo informacional.
Portanto, constata-se que é superficial a mera análise da utilização ou não da inteligência artificial ou a substituição do trabalho humano, mas, antes, o elemento constitutivo é a produção dos dados, sua classificação computacional, a capacidade de influência decisória, a concentração de capacidade informacional e a transformação das relações jurídicas.
Esse eixo transversal de controle jurídico permite minorar os riscos de arbitrariedade, discriminação e opacidade. Dessa forma, a proteção dos direitos fundamentais é o elemento central do eixo de controle jurídico.
Filtrando escolhas técnicas aparentemente neutra através de uma estrutura de governança, dessa forma evita-se que a eficiência computacional venha a suprimir direitos fundamentais.
Conclusão
Como reflexão, o eixo transversal de controle jurídico é essencial para que não haja opacidade, isto é, que os sistemas automatizados venham a dificultar a identificação dos critérios auxiliares ou decisórios de que se utilize dos sistemas.
Além disso, modelos meramente matemáticos, sem a participação efetiva humana, podem ampliar as desigualdades que operam em larga escala, com riscos de se utilizarem de dados inadequados e não submetidos a mecanismos de efetivos controle.
Esse controle judicial poderá evitar que a governança algorítmica desloque a análise individual dos sujeitos para simples correlações e padrões preditivos, maquiando a maneira pelo qual se analisa o risco.
Importante destacar que erro do algoritmo por si só não resolve o problema, mas identificar que definiu os parâmetros, quais são os dados utilizados, como foi convertido em decisão e se há meios eficazes de contestar esses resultados.
Portanto, deve haver o controle da pertinência dos dados, quais são os critérios e se há efeitos discriminatórios.
A transparência também compõe esse elemento de controle e uma avaliação da proporcionalidade decisória, com isso submeter os modelos a verificação independentes, sem depender apenas dos casos que o próprio algoritmo seleciona.
O eixo de controle jurídico deverá identificar três falhas: falhas dos dados (variáveis inadequadas), falhas do modelo utilizado (resultados injustos) e falha institucional (quando não há mecanismos capazes de detectar, interromper e reparar dados).
Estabelece-se como limite ao algoritmo: não criar critérios, elegibilidade ou sanção que a lei não autoriza; deve haver pertinência, atualização e representatividade dos dados; a auditoria deverá ter acesso a todos os casos, mesmo aqueles que o algoritmo não selecionou; deverá haver supervisão humana efetiva e, por último a responsabilização e reparação dos danos (o algoritmo não deve ser um escudo para evitar responsabilidade).
O desafio não é escolher entre o desenvolvimento tecnológico e os direitos fundamentais, sim, estruturar os sistemas jurídicos de forma capaz de utilizar os algoritmos para melhorar a vida humana.
Fabio Luiz Gomes. Doutor em Direito e Professor de Direito Constitucional e Tributário.
