En la política polarizada norteamericana cada vez es menos frecuente que se llegue a acuerdos entre republicanos y demócratas. Sin embargo, la administración Trump lideró uno en 2018 en el que coincidieron la mayoría: las cárceles norteamericanas acumulan una población de presos insostenible. Aprobaron la First Step Act con el objetivo de aligerar la presión y beneficiar a miles de personas por, entre otros factores, haber participado en programas destinados a facilitar su reinserción social.
El potencial de reincidencia es uno de los requisitos más importantes para valorar el acceso a estos créditos. Y, en los últimos tres años, ganó peso específico un sistema de inteligencia artificial que realiza un informe personalizado que establece un índice en función de los datos de cada candidato al programa.
Ese algoritmo está hoy en tela de juicio y pone en peligro la ejecución de la medida. En un informe emitido a finales de 2021, el DOJ (Departamento de Justicia) admite que su herramienta algorítmica para evaluar el riesgo de que una persona en prisión vuelva a delinquir, y que por eso no tenga derecho a formar parte de los programas de “rehabilitación”, produjo resultados desiguales y sesgados. El algoritmo, conocido como Pattern (del inglés “patrón”), predijo en exceso el riesgo de que muchas personas negras, hispanas y asiáticas cometieran nuevos delitos o violaran las reglas después de salir de prisión.
Según denuncia Aamra Ahmad, asesora principal de políticas de la Unión Estadounidense de Libertades Civiles: «El Departamento de Justicia encontró que solo el 7% de las personas negras en la muestra fueron clasificadas como de nivel mínimo de riesgo en comparación con el 21% de las personas blancas». Ahora la Justicia federal se enfrenta al reto de reevaluar a las 14.000 personas en prisión que fueron agrupadas en la categoría “equivocada” por el algoritmo y a una fuerte presión de organizaciones sociales que denuncian el impacto provocado.
Este tipo de herramientas de evaluación de riesgos son comunes en muchos estados norteamericanos. Han levantado numerosas suspicacias en el pasado, como sucedió con el programa COMPAS en Florida, pero el sistema judicial siempre ha explicado que se trataba de plataformas de apoyo que cada juez podría tener en cuenta en los casos que analiza.
Sin embargo, esta es la primera vez que el sistema de justicia federal le deja mucho poder decisional al algoritmo. Es Pattern el que divide a todos los presos en dos grupos, condicionando su suerte. Por un lado, las personas que pueden participar en los programas formativos, obtener créditos y salir antes de la cárcel; y por el otro las que no pueden.
¿Qué parámetros tiene en consideración Pattern a la hora de hacer su evaluación y por qué no se han tomado medidas para mitigar los sesgos?
Para dar su puntuación, Pattern se basa en parámetros muy sencillos y a la vez controvertidos (y politizables) como los antecedentes penales de los presos, el nivel de educación o si el preso pagó restitución a sus víctimas.
En su informe de diciembre, el Departamento de Justicia concluyó que algunas de las disparidades podrían reducirse, «pero no sin incurrir en otras desventajas», como predicciones de riesgo menos precisas.
Aún así, está consultando con expertos sobre cómo hacer que el algoritmo sea más justo y ya está en marcha otra revisión de Pattern.
La prensa norteamericana, además, deja entender que el Departamento de Justicia terminó la primera versión de Pattern a toda prisa debido a un plazo ajustado del Congreso, y esto podría haber influenciado el resultado final.
La opinión pública y de los expertos (tanto en el campo de la IA como en el campo jurídico) está dividida: hay quién exige más transparencia en el mecanismo de puntuación de la máquina, quién pide que se ajusten los puntos de corte entre las categorías de riesgo (lo que permitiría que más presos obtuvieran créditos para la liberación), los que están totalmente a favor del uso de un algoritmo “que tiene menos sesgos y prejuicios que los humanos”, y los que creen que se deba suspender el uso de Pattern de forma inmediata (como las las más de 150 organizaciones y activistas que advirtieron contra el software defectuoso en 2020).
En nuestro podcast sobre Inteligencia Artificial, dedicamos un episodio a la enorme dificultad de trasladar la ética a los algoritmos. Cuando se cruzan varias condiciones y objetivos, los sistemas de inteligencia artificial ponen de manifiesto las contradicciones humanas. Las autoridades quieren reducir el número de presos, no desean que la raza o cualquier otro rasgo étnico influya en el proceso, se pretende que sea justo, que valore un fenómeno tan interpretable como el de la reincidencia y todo con un universo de datos que reflejan una realidad histórica y social con un marco moral ya superado…
¿No le estaremos pidiendo demasiado a la inteligencia, aunque sea artificial?
In the polarized politics of North America, Republicans and Democrats have become increasingly more unlikely to reach an agreement on anything. However, in 2018, the Trump Administration led one success story in this regard when a majority agreement was reached that North American prisons housed an unsustainable population. The First Step Act was approved to alleviate some pressure and benefit thousands of people after taking part in social reintegration programs, among other things.
Recidivism potential is one of the most important risks to look at when assessing possible access to these points credits and, in the last three years, the system has been leaning harder on an artificial intelligence system that produces a personalized report to establish an index based on data from each program candidate.
This algorithm is now being questioned and jeopardizing the implementation of this measure. In a report issued in late 2021, the DOJ (Department of Justice) admitted that its algorithmic tool for assessing the risk that an individual in prison would re-offend – therefore removing any entitlement to take part in these “rehabilitation” programs – was producing unbalanced and biased results. Known as ‘Pattern’, the algorithm was predicting an excessive risk that many black, Hispanic and Asian individuals would re-offend or break the rules following their release from prison.
According to claims by Aamra Ahmad, a senior policy adviser with the American Civil Liberties Union, “the Department of Justice found that only 7% of black individuals in the sample were classified as minimum risk level, compared with 21% of white individuals”. The federal justice system now faces the challenge of reassessing the 14,000 people in prison who were grouped into the “wrong” category by this algorithm, as well as strong pressure from social organizations complaining against the impact it has caused.
Using this kind of risk assessment tool is common in many US states. A great deal of suspicion has been raised in the past (as was the case with the COMPAS program in Florida) but the judicial system has always explained that these tools were support platforms that each judge could take into consideration when examining individual cases.
However, this is the first time that the federal justice system has handed such decision-making power to an algorithm. ‘Pattern’ divides all prisoners into two groups, thereby deciding their future. On the one hand, those who can take part in training programs, obtain credits and leave prison earlier; and, on the other hand, those who cannot.
What parameters does ‘Pattern’ consider when making its assessment and why were measures not taken to mitigate bias?
To produce a score, ‘Pattern’ is based on very simple and yet controversial (and politicized) parameters, such as the criminal records of prisoners, level of education and whether the prisoner paid restitution to their victims.
In its December report, the Department of Justice concluded that some of the disparities could be reduced “but not without leading to other disadvantages”, such as less precise risk predictions.
Even so, it is consulting with experts on how to make sure the algorithm is fairer and another review of ‘Pattern’ is already under way.
The North American press also implies that the Department of Justice finished the first version of ‘Pattern’ in a rush due to a tight deadline imposed by Congress, and this could have influenced the final result.
Public and expert opinion (both in the field of AI and the law) is divided. There are those who are demanding more transparency in the scoring mechanism used by the machine, those asking for adjustments to be made to the cut-off points between risk categories (which would enable more prisoners to obtain credits for their release), those who are totally in favor of using an algorithm “with less bias and prejudice than a human being” and those who believe that the use of ‘Pattern’ should be suspended immediately (such as the more than 150 organizations and activists that warned against the defective software in 2020).
In our podcast on Artificial Intelligence, we dedicate an episode to the enormous difficulty of transferring ethics over to algorithms. When various conditions and objectives cross paths, artificial intelligence systems seem to clearly highlight the contradictory nature of the human condition. Authorities want to reduce the number of prisoners and they do not want race or any other ethnic trait to influence the process. Everyone wants a fair system; one that assesses such a subjective phenomenon as recidivism risk. And we want it all to be based on a data universe that reflects a historical and social reality with a moral framework that is already firmly in place…
Are we not asking too much of intelligence, even artificial intelligence?
Na política polarizada norte-americana, os compromissos entre republicanos e democratas são cada vez mais raros. No entanto, a administração Trump liderou um em 2018 que foi consensual para a maioria: as prisões norte-americanas acumulam uma população de presos insustentável. Aprovaram o First Step Act com o objetivo de aliviar a pressão e beneficiar milhares de pessoas por, entre outros fatores, terem participado em programas destinados a facilitar a sua reintegração social.
O potencial de reincidência é um dos requisitos mais importantes para avaliar o acesso a estes créditos. E, nos últimos três anos, um sistema de inteligência artificial que produz um relatório personalizado que estabelece um índice baseado nos dados de cada candidato ao programa ganhou um peso específico.
Esse algoritmo está agora em questão e compromete a implementação da medida. Num relatório emitido no final de 2021, o DOJ (Departamento de Justiça) admite que a sua ferramenta algorítmica para avaliar o risco de uma pessoa na prisão reincidir, e, portanto, não ser elegível para programas de “reabilitação”, produziu resultados desiguais e tendenciosos. O algoritmo, conhecido como Pattern (do inglês “padrão”), previu em excesso o risco de muitos pretos, hispânicos e asiáticos cometerem novos crimes ou violarem regras após saírem da prisão.
De acordo com Aamra Ahmad, assessora principal de políticas da União Americana pelas Liberdades Civis: “O Departamento de Justiça constatou que apenas 7% dos pretos na amostragem foram classificados como de nível de risco mínimo em comparação com 21% dos brancos”. Agora, a justiça federal enfrenta o desafio de reavaliar as 14 000 pessoas na prisão que foram agrupadas na categoria “errada” pelo algoritmo e uma forte pressão de organizações sociais que denunciam o impacto provocado.
Este tipo de ferramentas de avaliação de risco são comuns em muitos estados norte-americanos. Levantaram inúmeras suspeitas no passado, como foi o caso do programa COMPAS, na Florida, mas o sistema judicial sempre explicou que eram plataformas de apoio que cada juiz podia ter em conta nos casos que analisasse.
No entanto, esta é a primeira vez que o sistema de justiça federal deixa muito poder de decisão ao algoritmo. É o Pattern que divide todos os presos em dois grupos, condicionando o seu destino. Por um lado, aqueles que podem participar nos programas de formação, obter créditos e sair mais cedo da prisão; por outro lado, aqueles que não podem.
Que parâmetros é que o Pattern tem em consideração ao fazer a sua avaliação e por que é que não foram tomadas medidas para mitigar os desvios?
A pontuação do Pattern baseia-se em parâmetros muito simples mas controversos (e politizáveis), tais como o registo criminal dos presos, o nível de educação ou se o preso pagou indemnização às suas vítimas.
No seu relatório de dezembro, o Departamento de Justiça concluiu que algumas das disparidades poderiam ser reduzidas, “mas não sem incorrer noutras desvantagens”, tais como previsões de risco menos precisas.
Ainda assim, está a consultar peritos sobre como tornar o algoritmo mais justo e já está em curso outra revisão do Pattern.
A imprensa norte-americana também dá a entender que o Departamento de Justiça terminou a primeira versão do Pattern à pressa devido a um prazo apertado do Congresso, e isto pode ter influenciado o resultado final.
A opinião pública e dos peritos (tanto no campo da IA como no campo jurídico) divide-se: há quem exija mais transparência no mecanismo de pontuação da máquina, quem peça que os pontos de corte entre as categorias de risco sejam ajustados (o que permitiria a mais presos obter créditos para a libertação), quem seja completamente a favor da utilização de um algoritmo “que tenha menos desvios e preconceitos do que os humanos”, e quem acredite que a utilização do Pattern deve ser suspensa imediatamente (tais como as mais de 150 organizações e ativistas que alertaram contra o software defeituoso em 2020).
No nosso podcast sobre Inteligência Artificial, dedicámos um episódio à enorme dificuldade de transferir a ética para os algoritmos. Quando várias condições e objetivos se cruzam, os sistemas de inteligência artificial revelam as contradições humanas. As autoridades querem reduzir o número de presos, não querem que a raça ou qualquer outra característica étnica influencie o processo, pretende-se que seja justo, que se avalie um fenómeno tão interpretável como o da reincidência, e tudo isto com um universo de dados que refletem uma realidade histórica e social com um quadro moral já ultrapassado…
Não estaremos a pedir demasiado à inteligência, ainda que seja artificial?
Na política polarizada norte-americana cada vez é menos frequente que se chegue a acordos entre republicanos e democratas. No entanto, a administração Trump liderou um acordo em 2018 no qual coincidiu a maioria: as cadeias norte-americanas acumulam uma população de presos insustentável. Aprovaram a First Step Act com o objetivo de aliviar a pressão e beneficiar a milhares de pessoas por, entre outros fatores, haver participado em programas destinados a facilitar sua reinserção social.
O potencial de reincidência é um dos requisitos mais importantes para valorar o aceso a estes créditos. E, nos últimos três anos, ganhou peso específico um sistema de inteligência artificial que realiza um relatório personalizado que estabelece um índice em função dos dados de cada candidato ao programa.
Esse algoritmo está hoje sob julgamento e coloca em perigo a execução da medida. Em um relatório emitido no final de 2021, o DOJ (Departamento de Justiça) admite que sua ferramenta algorítmica para avaliar o risco de que uma pessoa em prisão volte a delinquir, e que por isso não tenha direito a formar parte dos programas de “reabilitação”, produziu resultados desiguais e tendenciosos. O algoritmo, conhecido como Pattern (em inglês “padrão”), previu em excesso o risco de que muitas pessoas negras, hispânicas e asiáticas cometessem novos delitos ou violassem as regras depois de sair de prisão.
De acordo com a denúncia de Aamra Ahmade, assessora principal de políticas da União Norte americana de Liberdades Civis: «O Departamento de Justiça descobriu que somente 7% das pessoas negras na mostra foram classificadas como de nível mínimo de risco em comparação com 21% das pessoas brancas». Agora a Justiça federal se enfrenta ao desafio de reavaliar as 14.000 pessoas presas que foram agrupadas na categoria “equivocada” pelo algoritmo e a uma forte pressão de organizações sociais que denunciam o impacto provocado.
Este tipo de ferramentas de avaliação de riscos é comum em muitos estados norte-americanos. Gerou numerosas suspeitas no passado, como sucedeu com o programa COMPAS na Florida, mas o sistema judicial sempre explicou que se tratava de plataformas de apoio que cada juiz poderia considerar nos casos que analisa.
No entanto, esta é a primeira vez que o sistema de justiça federal deixa muito poder decisional ao algoritmo. É o Pattern que divide a todos os presos em dois grupos, condicionando sua sorte. Por um lado, as pessoas que podem participar nos programas de treinamento, obter créditos e sair antes da cadeia; e pelo outro as que não podem.
Que parâmetros tem em consideração Pattern na hora de fazer sua avaliação e por que não se tomou medidas para mitigar as tendências?
Para dar sua pontuação, o Pattern se baseia em parâmetros muito simples e ao mesmo tempo controvertidos (e politizáveis) como os antecedentes penais dos presos, o nível de educação ou se o preso pagou restituição a suas vítimas.
Em seu relatório de dezembro, o Departamento de Justiça concluiu que algumas das disparidades poderiam reduzir-se, «mas não sem incorrer em outras desvantagens», como predições de risco menos precisas.
Mesmo assim, está estudando com especialistas sobre como fazer com que o algoritmo seja mais justo e já está sendo realizada outra revisão do Pattern.
A imprensa norte-americana, além disso, deixa entender que o Departamento de Justiça terminou a primeira versão do Pattern com pressa devido a um prazo ajustado do Congresso, e isso poderia haver influenciado o resultado final.
A opinião pública e dos especialistas (tanto no campo da IA como no campo jurídico) está dividida: há quem exige mais transparência no mecanismo de pontuação da máquina, quem pede que se ajustem os pontos de corte entre as categorias de risco (o que permitiria que mais presos obtivessem créditos para a liberação), os que estão totalmente a favor do uso de um algoritmo “que é menos tendencioso e tem menos prejuízos que os humanos”, e os que acreditam que se deva suspender o uso do Pattern de forma imediata (como as mais de 150 organizações e ativistas que advertiram contra o software defeituoso em 2020).
Em nosso podcast sobre Inteligência Artificial, dedicamos um episódio à enorme dificuldade de trasladar a ética aos algoritmos. Quando se cruzam várias condições e objetivos, os sistemas de inteligência artificial expõem as contradições humanas. As autoridades querem reduzir o número de presos, não desejam que a raça ou qualquer outro traço étnico influa no processo, se pretende que seja justo, que valore um fenômeno tão interpretável como o da reincidência e todo com um universo de dados que refletem uma realidade histórica e social com um marco moral superado…
