La inteligencia artificial ya está ayudando a determinar tu futuro: desde tus preferencias de visualización en Netflix y tu idoneidad para obtener una hipoteca hasta tu compatibilidad con un posible empleador. Pero ¿podemos convenir, al menos por ahora, en que dejar que una IA determine tu culpabilidad o inocencia en un tribunal es ir demasiado lejos?
Preocupantemente, parece que esto ya podría estar ocurriendo. Cuando el presidente de la Corte Suprema de Estados Unidos, John Roberts, asistió recientemente a un evento, le preguntaron si podía imaginar un día «en que máquinas inteligentes, impulsadas por inteligencia artificial, ayuden a determinar los hechos en los tribunales o, más controvertidamente aún, a tomar decisiones judiciales». Respondió: «Ese día ya ha llegado y está ejerciendo una presión considerable sobre la forma en que la judicatura hace las cosas».
Roberts quizá se refería al caso reciente de Eric Loomis, quien fue condenado a seis años de prisiónal menos en parte por recomendación de un software propietario y secreto de una empresa privada. Loomis, que tiene antecedentes penales y fue condenado por huir de la policía en un automóvil robado, sostiene ahora que se violó su derecho al debido proceso, ya que ni él ni sus representantes pudieron examinar ni cuestionar el algoritmo que sustentó la recomendación.
El informe fue elaborado con un producto de software llamado Compas, que Nortpointe Inc comercializa y vendea los tribunales. El programa es una manifestación de una nueva tendencia en la investigación sobre IA: sistemas diseñados para ayudar a los jueces a tomar decisiones «mejores» —o, al menos, más centradas en los datos— en los tribunales.
Aunque los detalles concretos del informe de Loomis siguen bajo reserva, es probable que el documento contenga gráficos y diagramas que cuantifiquen su vida, su comportamiento y la probabilidad de que reincida. También podría incluir su edad, raza, identidad de género, hábitos de navegación y, no sé… las medidas de su cráneo. La cuestión es que no lo sabemos.
Lo que sí sabemos es que el fiscal del caso le dijo al juezque Loomis presentaba «un alto riesgo de violencia, un alto riesgo de reincidencia y un alto riesgo antes del juicio». Son elementos habituales a la hora de dictar una sentencia. El juez coincidió y le dijo a Loomis que, según la evaluación de Compas, se lo había «identificado como una persona que representa un alto riesgo para la comunidad».
La Corte Suprema de Wisconsin condenó a Loomis y añadió que el informe de Compas había aportado información valiosa para su decisión, aunque matizó que habría recibido la misma condena sin él. Pero ¿cómo podemos saberlo con certeza? ¿Qué sesgos cognitivos intervienen cuando un sistema «inteligente» y todopoderoso como Compas sugiere lo que debería hacer un juez?
Uso desconocido
Aclaremos algo: lo que hizo el tribunal de Wisconsin no tiene nada de «ilegal»; dadas las circunstancias, simplemente fue una mala idea. Otros tribunales pueden hacer lo mismo.
Preocupantemente, en realidad no sabemos hasta qué punto se están usando la IA y otros algoritmos al dictar sentencias. Mi propia investigación indica que varias jurisdicciones están «probando» sistemas como Compas en ensayos cerrados, pero no pueden revelar detalles de sus alianzas ni dónde y cuándo se usan. También sabemos que varias empresas emergentes de IA compiten por crear sistemas similares.
Sin embargo, el uso de la IA en el ámbito jurídico no empieza ni termina con las sentencias: comienza con la investigación. Ya se ha desarrollado un sistema llamado VALCRI pararealizar en apenas unos segundos las tareas más laboriosas del trabajo de un analista criminal: examinar toneladas de datos, como mensajes de texto, informes de laboratorio y documentos policiales, para señalar elementos que podrían justificar una investigación más exhaustiva.
La Policía de West Midlands, en el Reino Unido, probará VALCRIdurante los próximos tres años con datos anonimizados, que suman unos 6,5 millones de registros. La policía de Amberes, Bélgica, está llevando a cabo una prueba similar. Sin embargo, proyectos anteriores de IA y aprendizaje profundo con conjuntos de datos masivos han resultado problemáticos.
¿Beneficios para unos pocos?
La tecnología ha aportado muchos beneficios a los tribunales, desde las fotocopiadoras hasta la identificación mediante huellas de ADN y las sofisticadas técnicas de vigilancia. Pero eso no significa que cualquier tecnología suponga una mejora.
Aunque el uso de la IA en las investigaciones y al dictar sentencias podría ayudar a ahorrar tiempo y dinero, plantea cuestiones espinosas. Un informe de ProPublica sobre Compas dejó claroque los acusados negros del condado de Broward, Florida, «tenían muchas más probabilidades que los acusados blancos de ser juzgados erróneamente como personas con una mayor tasa de reincidencia». Un trabajo reciente de Joanna Bryson, profesora de informática en la Universidad de Bath, destaca que incluso las IA más «sofisticadas» pueden heredar los prejuicios raciales y de género de quienes las crean.
Además, ¿qué sentido tiene delegar, al menos en parte, las decisiones sobre asuntos exclusivamente humanos en un algoritmo? ¿Por qué nos tomamos la molestia de seleccionar jurados formados por nuestros pares? El criterio jurídico nunca ha sido la perfección, sino lo mejor que nos permiten nuestras capacidades como simples seres humanos. Nos equivocamos, pero con el tiempo y la práctica aprendemos a no repetir los mismos errores y perfeccionamos constantemente el sistema.
Lo que Compas y sistemas similares representan es la «caja negra» del sistema jurídico. Hay que oponerse a ello con firmeza. Los sistemas jurídicos dependen de la continuidad de la información, la transparencia y la posibilidad de revisión. Como sociedad, no queremos un sistema de justicia que aliente a las empresas emergentes de IA a competir por ofrecer productos con la mayor rapidez, al menor costo y de la forma más exclusiva posible. Algunos observadores de la IA llevan años anticipando esta situación; ahora ha llegado, y es una idea terrible.
Una versión de Compas de código abierto y sujeta a revisión supondría una mejora. Sin embargo, antes de empezar a delegar responsabilidades en algoritmos, debemos asegurarnos de elevar primero los estándares del sistema de justicia. La IA no debería ser simplemente una excusa para no invertir.
Aunque la IA ofrece grandes oportunidades de ganar dinero, también presenta muchas oportunidades reales. Puede mejorar muchas cosas si la usamos bien y nos aseguramos de que sus beneficios lleguen a todos, en lugar de afianzar el poder en la cúspide de la pirámide.
Ahora mismo no tengo soluciones perfectas para todos estos problemas. Pero sí sé que, cuando se trata del papel de la IA en el ámbito jurídico, debemos preguntarnos en qué contexto se usa, con qué fines y bajo qué supervisión efectiva. Hasta que podamos responder esas preguntas con certeza, seamos muy, muy escépticos. O, como mínimo, conozcamos a muy buenos abogados.
