Como la profesora María Lorena Flórez y yo reportamos a comienzo de este año, un juez colombiano utilizó ChatGPT para obtener cuatro respuestas a consultas sobre asuntos constitucionales y luego copió y pegó dichas repuestas en la parte motiva de una sentencia por medio de la cual resolvió, en segunda instancia, sobre un fallo de primera de tutela en la cual estaba en juego el derecho fundamental a la salud de un niño diagnosticado con trastorno de espectro autista (Expediente T-9.301.656).

El 15 de mayo de 2023, Ana Bejarano Ricaurte, Susana Echavarría Medina, Catalina Moreno Arocha, Juanita Castro Hernández y Jonathan Bock presentaron ante la Defensoría Delegada para Asuntos Constitucionales y Legales de la Defensoría del Pueblo una solicitud de insistencia dado que una Sala de Selección de la Corte Constitucional no había seleccionado el expediente para revisión. En la solicitud, se describe el caso, la manera como el juez de segunda instancia utilizó ChatGPT, se explica cómo funcionan los modelos de lenguaje de gran escala (LLMs), se detallan sus limitaciones, y se argumenta porqué el fallo de tutela debió haber sido seleccionado por la Corte Constitucional. [La solicitud está disponible acá.]

El 30 de mayo de 2023, la Directora Nacional de Recursos y Acciones Judiciales de la Defensoría del Pueblo, Rubby Cecilia Durán Maldonado, presentó ante la Corte Constitucional solicitud de insistencia respecto del Expediente T-9.301.656. En la solicitud, además de presentar nuevamente los hechos del caso, la Directora centra su argumento en la vulneración al derecho al debido proceso asociado al tipo de uso que el juez de segunda instancia le dio a la tecnología:

«No se desconoce que el espíritu de la norma es facilitar el acceso a la justicia, así como el ejercicio de la actividad del juez, a veces tan engorroso por el número de asuntos sometidos a su conocimiento, pero tal normativa no implica que se pueda hacer uso indiscriminado de cualquier TICs, o que permitida, pueda aplicarse sin control o regulación, puesto que ello daría lugar a un cambio de las reglas de juego para el administrado, dando paso a una posible vulneración del derecho al debido proceso. (…)

La literatura sobre la inteligencia artificial, así como múltiples pronunciamientos judiciales en el mundo, han alertado sobre los riesgos de errores y de excesos que podría conllevar un uso sin control y regulación de estas herramientas. No son pocos los cuestionamientos hechos a la utilización del chatbot, vertida en la sentencia de tutela de segunda instancia analizada, puesto que fue noticia al ser la primera en la que se dejó la constancia de haber acudido a ChatGPT.»

[La solicitud está disponible acá.]

Posteriormente, mediante auto del 30 de junio de 2023, la Sala de Selección de Tutelas Número Seis de la Corte Constitucional accedió a seleccionar el expediente y actualmente están bajo estudio de la Sala Segunda de Revisión, presidida por el Magistrado Juan Carlos Cortés González.

Más recientemente, mediante auto del 22 de agosto de 2023, el Magistrado Ponente decretó pruebas y ofició, entre otros al MinTIC, OpenAI, colegios de jueces y fiscales, representantes de organizaciones de la sociedad civil, y académicos/as.

[La auto está disponible acá.]

La profesora María Lorena Flórez (Universidad de Groningen) y quien escribe esta nota recibimos el Oficio No. OPT-A-312 de 2023 de la Secretaría General de la Corte Constitucional en el cual solicitaba que contestáramos una serie de preguntas que son pertinentes para decidir el caso. La profesora Flórez y yo decidimos trabajar conjuntamente en las respuestas y produjimos un solo texto que radicamos el día de ayer, 8 de septiembre de 2023.

Por tratarse de un tema sumamente interesante y pertinente para discutir públicamente, hemos decidido compartir por este medio nuestras respuestas a las preguntas de la Corte Constitucional:

Dado que se trata de un documento relativamente extenso, también transcribimos a continuación un cuadro sinóptico que resume nuestras posiciones:

Cuadro sinóptico de las respuestas de Juan David Gutiérrez y María Lorena Flórez al Oficio No. OPT-A-312/2023

Pregunta	Resumen de nuestra respuesta
“a) ¿Cuáles estima son las implicaciones de utilizar herramientas de inteligencia artificial generativas en la sustanciación de decisiones judiciales?”	Determinados usos de las IA generativas pueden tener implicaciones negativas en tres ámbitos: 1) Individuales, 2) Sociales y 3) Organizacionales. 1) Individuales: a) Privacidad y asuntos relacionados con la protección de los datos personales. b) Juicio justo y debido proceso. c) Posible riesgo a la integridad física y mental del usuario. d) Discriminación. 2) Sociales: a) Afectaciones en materia de ciber-seguridad y seguridad en la información. b) Disparidad de recursos para el acceso a la tecnología. 3) Organizacionales: a) Transparencia y explicabilidad. b) Capacidades digitales. c) Pérdidas financieras. d) Riesgo reputacional. e) Integración con otros sistemas.
“¿Considera que, en cambio, acarrea riesgos respecto de los derechos fundamentales, en especial, el derecho al debido proceso?”	Sí, determinados usos de las IA generativas pueden generar riesgos respecto de los derechos fundamentales, en especial, el derecho al debido proceso.
“¿Considera que el uso de este tipo de herramientas de inteligencia artificial trae beneficios en la materialización del derecho de acceso a la administración de justicia y la eficiencia en el trabajo de los jueces?”	Aunque en situaciones muy puntuales estos sistemas pueden contribuir al derecho de acceso a la administración de justicia y a la eficiencia en el trabajo de los jueces, consideramos que los potenciales impactos negativos asociados pueden ser muy superiores a los potenciales beneficios.
“¿Considera que el uso de estas herramientas afecta la independencia del juez?”	Sí, hay preocupaciones razonables sobre la afectación negativa a la independencia del juez asociadas al uso de estas tecnologías.
“b) ¿Conoce ejemplos nacionales o internacionales en los que se ha promovido o ejecutado el uso de herramientas de inteligencia artificial para la sustanciación de decisiones judiciales o se hayan proferido lineamientos o protocolos al respecto? ¿En qué ha consistido esta promoción o cómo se ha regulado el uso de estas herramientas?”	Sí, hay varios ejemplos internacionales y nacionales en los que organizaciones públicas y privadas han desarrollado lineamientos para el uso de IA en general y de IA generativa en particular. Algunos de estos fueron elaborados exclusivamente para el sector justicia y otros para ámbitos más amplios (pero pertinentes para la labor de un juez). En resumen, los lineamientos orientan el uso de dichos sistemas a partir de principios y heurísticas a partir de las cuales aconsejan y desaconsejan determinados usos. Además, algunos de estos lineamientos expresamente explican cuáles son los beneficios, límites y riesgos asociados a determinados usos de las IA generativas.
“c) ¿Considera pertinente el uso de herramientas de inteligencia artificial generativas en la sustanciación de sentencias judiciales? O, en cambio, ¿cree que debería restringirse o prohibirse su uso en este contexto? Explique la razón de su respuesta.”	Dado que los sistemas basados en LLMs actualmente ofrecidos al público por empresas no son confiables, no consideramos pertinente que los jueces utilicen este tipo de sistemas para la sustanciación de sentencias judiciales. Sin embargo, consideramos que su uso no debería prohibirse de manera generalizada, sino que la rama judicial debería restringir el uso de herramientas que no cumplan con estándares mínimos que cumplan, entre otros, con la legislación de protección de datos personales. Aunque recomendamos que sean los jueces quienes determinen, caso a caso, la idoneidad de la herramienta para realizar determinadas tareas, consideramos que dicho uso debería ser orientado por guías preparadas por la propia rama judicial.
“d) ¿Qué recomendaciones haría para desarrollar un marco destinado al buen uso de herramientas de inteligencia artificial para apoyar la sustanciación de decisiones judiciales?”	Los lineamientos listados en la respuesta a la pregunta b) ofrecen buenos ejemplos de cómo puede orientarse a los jueces y funcionarios del despacho en el uso de GenAI para aprovechar sus potenciales beneficios y prevenir los potenciales efectos negativos. Sin embargo, en este documento incluimos algunas sugerencias puntuales basadas en dichos lineamientos y en las reglas actualmente propuestas en el Proyecto de Ley de IA de la Unión Europea. En este documento sugerimos que la rama judicial elabore: 1) Orientaciones sobre la debida planificación y preparación para la adopción de GenAI. 2)Orientaciones sobre la adquisición de sistemas o licencias de sistemas proveídas por terceros. 3) Lineamientos para el uso responsable de GenAI por parte de jueces y funcionarios judiciales.