Maria Lorena Flórez Rojas

Recientes fallos en Colombia y Países Bajos han abordado las implicaciones del uso de herramientas de IA, como ChatGPT, en la toma de decisiones judiciales. En esta publicación, me gustaría compartir algunas reflexiones y preguntas para que podamos discutir más a fondo este tema.

Contexto: Resumen de Ambos Casos

Colombia

La Corte Constitucional de Colombia revisó un caso que involucraba a un juez en Cartagena que utilizó ChatGPT para redactar el razonamiento de una sentencia en una tutela relacionada con los derechos fundamentales de un menor. En primera instancia, el juez usó ChatGPT para asistir en la toma de decisiones, formulando varias preguntas a la IA sobre obligaciones legales y precedentes relacionados con exenciones de tarifas para niños con autismo. Las respuestas del chatbot fueron incluidas en la sentencia, aunque el juez aclaró que el aporte de la IA se utilizó para agilizar el proceso de redacción, no para reemplazar el razonamiento judicial. (Acá una entrada previa sobre este caso)

Países Bajos

Un juez de un tribunal bajo en Nijmegen, Países Bajos, admitió haber utilizado ChatGPT para recopilar información al decidir sobre un caso. El juez consultó al chatbot sobre paneles solares y utilizó la respuesta generada en el veredicto como fuente de información para determinar la compensación en una disputa legal entre dos propietarios. El juez del distrito usó ChatGPT para estimar la vida útil promedio de los paneles solares y el precio promedio actual de la electricidad.

Comentario Considerando Ambas Decisiones

Es importante destacar que el caso de Países Bajos es probablemente la primera decisión judicial que reconoce explícitamente el uso de un LLM.¹ Sin embargo, la sentencia no aborda por qué el juez eligió usar esta herramientas sobre otras o cómo se utilizó. En contraste, el caso colombiano se trata de una decisión y análisis de la Corte Constitucional sobre un juez que usó un LLM con fines similares: como fuente de información.

Los LLMs como ChatGPT se están utilizando cada vez más en diversos entornos profesionales, incluido el campo legal. Sin embargo, es crucial entender que los LLMs no son fuentes confiables de información fáctica, sino generadores de texto sofisticados que producen respuestas plausibles basadas en patrones en sus datos de entrenamiento. Si bien pueden ser herramientas útiles para la lluvia de ideas, redacción y resumen, no deben tratarse como fuentes autorizadas de información legal o precedentes.

La atracción de los LLMs para jueces y profesionales del derecho radica en su capacidad para procesar y sintetizar rápidamente grandes cantidades de información, lo que podría ahorrar tiempo y esfuerzo en la investigación y redacción legal. Sin embargo, esta conveniencia conlleva riesgos significativos. Los LLMs pueden producir información fabricada de manera confiada y pueden no estar actualizados con los últimos desarrollos legales,² considerando las fechas de ingreso de los datos de entrenamiento. Sus resultados también pueden estar sesgados o ser inconsistentes, reflejando sesgos en sus datos de entrenamiento o peculiaridades en su proceso de generación.

Por estas razones, es importante que los jueces no solo revelen su uso de LLMs, sino que también demuestren que dicho uso es proporcional y apropiado para el caso en cuestión. Los jueces deben explicar por qué decidieron consultar chatbots en lugar de otras fuentes. La Corte Constitucional de Colombia enfatizó que los jueces pueden usar sistemas de IA de manera razonada y considerada, asegurando la protección de los derechos fundamentales y adhiriéndose a directrices éticas. Sin embargo, la IA no debe reemplazar las tareas judiciales esenciales que requieren razonamiento humano, como interpretar hechos, evaluar pruebas y tomar decisiones. Usar IA para estas tareas fundamentales podría violar la autonomía judicial y el debido proceso.³

Como profesora, enfatizo personalmente a los estudiantes la importancia de métodos de investigación. Aunque las herramientas de IA pueden ser útiles, la investigación principal debe realizarse utilizando fuentes más legítimas y precisas. También subrayo la importancia de revelar el uso de IA y realizar un análisis consciente de por qué se necesita y si es la alternativa más eficiente en términos de costo y beneficios.

Medir el umbral en el que los LLMs pasan de ser herramientas auxiliares a fuentes autorizadas es un desafío y depende del contexto. Los factores a considerar incluyen la frecuencia del uso de LLMs, la medida en que se verifican los resultados contra fuentes primarias, y si el contenido generado por los LLM se cita explícitamente en opiniones legales. Un indicador preocupante sería si los jueces comienzan a priorizar los resultados de LLMs sobre las fuentes legales establecidas o no evalúan críticamente la información generada por LLMs. Algunos abogan por auditorías regulares de opiniones judiciales para detectar contenido generado por LLM no verificado, ¿ayudaría esto a monitorear esta tendencia? ¿Esto generaría doble trabajo?

Para mantener la integridad del sistema legal, es crucial que los jueces y diversos profesionales reciban capacitación exhaustiva sobre las capacidades y limitaciones de los LLMs. Deben ser alentados a usar estas herramientas como complementos, no como sustitutos, de los métodos tradicionales de investigación legal. Se deben establecer pautas claras para el uso adecuado de los LLMs en entornos legales, enfatizando la necesidad de supervisión humana, verificación de hechos y transparencia sobre la asistencia de IA. Este aspecto fue enfatizado por la Corte Constitucional de Colombia al mencionar que el principio de transparencia impone a los jueces el deber de explicar claramente el uso, alcance y ubicación de los resultados generados por IA en sus procedimientos o decisiones. El principio de responsabilidad requiere que el funcionario que usa la herramienta de IA esté capacitado en el tema, comprenda plenamente sus riesgos, pueda dar cuenta del origen, idoneidad y necesidad del uso de IA y, lo más importante, verifique la información proporcionada por la IA. Además, la Corte mencionó que los jueces que usan estas herramientas deben establecer las razones por las cuales se debe usar el sistema de IA, es decir, un análisis de necesidad y adecuación del sistema.⁴

En mi opinión, el enfoque de la Corte careció de una postura más directa sobre el uso de IA en el poder judicial en algunos aspectos. La Corte debería haber enfatizado que promover la IA en el sistema judicial no significa confiar en chatbots genéricos, sino utilizar herramientas más sofisticadas que ayuden con el trabajo de fondo.⁵ En cuanto a la información legal y las fuentes de información, se debe realizar un análisis exhaustivo de costo-beneficio. Este análisis debe considerar el alto consumo de energía y agua asociado con cada consulta de IA, especialmente cuando los jueces pueden investigar estos aspectos utilizando otras fuentes de información que son menos costosas y más efectivas.

Además de la inexactitud de los resultados de los LLMs, investigaciones recientes han identificado un fenómeno llamado ‘colapso de modelos,’ donde el uso de contenido generado por modelos en el entrenamiento causa defectos irreversibles en los modelos posteriores.⁶ Este efecto puede llevar a la desaparición de extremos en la distribución de contenido original y puede resultar en modelos que malinterpreten la realidad con el tiempo.⁷ Esto subraya la importancia de mantener datos diversos y genuinos generados por humanos en los conjuntos de entrenamiento.

Sorprendentemente, en el caso de los Países Bajos, el juez nunca explicó por qué decidió usar este chatbot, cómo se empleó o qué preguntas específicas se formularon. Esto es particularmente notable dado que los Países Bajos introdujeron la Evaluación de Impacto de Derechos Fundamentales y Algoritmos (FRAIA) en 2021.⁸ La FRAIA está diseñada para ayudar a identificar riesgos para los derechos humanos en el uso de algoritmos e implementar medidas para abordar estos riesgos. En este caso, el juez no parece haber utilizado esta guía para justificar por qué esta herramienta de IA era necesaria o por qué se consideró una mejor fuente de información que las alternativas tradicionales. Esta omisión plantea preguntas sobre el proceso de toma de decisiones y el cumplimiento de las directrices establecidas para el uso de algoritmos en contextos judiciales. Por otro lado, la Corte colombiana parece más visionaria, ofreciendo un análisis en profundidad del potencial de la IA y emitiendo directrices extensas para su uso. Destaca que la IA debe complementar, y no reemplazar, el juicio humano, buscando integrar la IA en el sistema judicial mientras se protegen los derechos fundamentales. La Corte Constitucional declaró que en el caso no se afectó el debido proceso porque la interacción con el chatbot ocurrió después de la decisión del juez. La Corte estableció que la IA debe usarse siguiendo directrices y principios como transparencia, debido proceso y rendición de cuentas.

Sin embargo, vale la pena cuestionar por qué los jueces dedican tiempo y recursos a chatbots para encontrar información cuando podrían estar utilizando herramientas de investigación más relevantes y confiables disponibles para ellos. Los chatbots pueden, en última instancia, eliminar parte del toque personal y el carácter de las decisiones judiciales, lo cual es un aspecto importante de la conexión entre los ciudadanos y el sistema judicial. Los esfuerzos deberían centrarse en otras herramientas que ayuden con tareas administrativas como la traducción, etiquetado y clasificación, pero los chatbots ciertamente no son fuentes apropiadas de información legal, especialmente considerando el potencial de datos incorrectos en internet que estos modelos pueden usar en su entrenamiento.

Como conclusión personal, si bien las herramientas de IA como los LLMs tienen el potencial de asistir en el campo legal, su uso debe ser cuidadosamente regulado y monitoreado. Los jueces y profesionales del derecho deben priorizar fuentes tradicionales y confiables de información y utilizar la IA como una herramienta complementaria solo cuando sea apropiado (necesidad y proporcionalidad).

1. Al menos el primer caso en el que el juez negó abiertamente el uso de ChatGPT. ↩︎
2. Las llamadas alucinaciones. Usama Fayyad ha criticado el término «alucinación», que indica que es engañoso y personifica grandes modelos de lenguaje, y que es vago. Stening, Tanner (10 de noviembre de 2023). «¿Qué hacen realmente los chatbots de IA cuando ‘alucinan’? He aquí por qué a los expertos no les gusta el término». Northeastern Global News. Consultado el 4 de agosto de 2024. ↩︎
3. Corte Constitucional de Colombia. Sentencia T-323 de 2024. Párrs. 295-296. ↩︎
4. Ibíd. Párrs. 297-299. ↩︎
5. Ibíd. Párrs. 371-372. ↩︎
6. Ilia Shumailov y otros, ‘The Curse of Recursion: Training on Generated Data Makes Models Forget’ [2024] Ciencias de la Computación. ↩︎
7. Como ejemplo de colapso de un modelo, considere un escenario en el que un modelo de IA se entrena inicialmente con datos históricos precisos sobre la Segunda Guerra Mundial. En las generaciones posteriores, este modelo se utiliza para generar contenido que luego se incorpora a los datos de entrenamiento para los modelos más nuevos. Con el tiempo, las imprecisiones o sesgos sutiles en el contenido generado pueden amplificarse. Por ejemplo, si el modelo genera ocasionalmente contenido que menciona una cantidad desproporcionadamente alta de soldados alemanes negros en la Segunda Guerra Mundial (lo cual es históricamente inexacto), esta información errónea podría volverse más frecuente en conjuntos de entrenamiento posteriores. A medida que este proceso continúa a lo largo de varias generaciones de modelos, la «cola» de la distribución que representa información precisa sobre la composición racial del ejército alemán podría desaparecer gradualmente. ↩︎
8. Government of The Netherlands. ‘Fundamental Rights and Algorithms Impact Assessment (FRAIA)’. <https://www.government.nl/documents/reports/2021/07/31/impact-assessment-fundamental-rights-and-algorithms&gt; ↩︎