Por: Anna Mills y Lauren M. E. Goodlad (CC BY NC 4.0)

Traducido por: Juan David Gutiérrez. Texto original en inglés disponible acá.

Los Modelos de Lenguaje a Gran Escala [LLMs, por sus siglas en inglés], como ChatGPT, son sofisticados modelos estadísticos que predicen secuencias de palabras probables en respuesta a una consulta a pesar de que no “entienden” el lenguaje en ningún sentido similar al humano. A través de un intenso minado, modelaje y memorización de vastos almacenes de datos lingüísticos «raspados» de Internet [en inglés, web scrapping], estos generadores de textos ofrecen algunos párrafos con cada consulta que se asemejan a la escritura humana. Este texto sintético no es directamente “plagiado” de algún original, y usualmente está bien elaborado gramatical y sintácticamente.

Desde una perspectiva de integridad académica, esto significa que la escritura generada por “IA”:

1) no es fácilmente identificable para el ojo no entrenado

2) no se ajusta al “plagio” tal y como es típicamente entendido ese término por profesores y estudiantes; y,

3) motiva a los estudiantes a pensar en la escritura como una labor específica desconectada del aprendizaje y de la aplicación de pensamiento crítico.

Muchos profesores que asignan actividades de escritura están, comprensiblemente, preocupados de que los estudiantes usen ChatGPT u otros generadores de texto para saltarse los procesos de aprendizaje y pensamiento para la cual fueron diseñadas sus tareas de escritura.

En el futuro, los productores de modelos de lenguaje pueden ofrecer herramientas para identifica textos generados por sus sistemas. Esas herramientas pueden surgir independientemente, como una reciente app que asegura que puede identificar textos producidos por ChatGPT. También es posible que los reguladores gubernamentales y otras entidades formuladoras de política pública puede involucrarse en la supervisión del uso de los LLMs en entornos educativos. Los colegios de la ciudad de Nueva York ya prohibieron ChatGPT, y muchos expertos argumentan que el abuso de los LLMs puede extenderse más allá del impacto en los estudiantes.

Como profesora y autora de libros de textos, una de nosotras (Anna Mills) ha estado recogiendo múltiples perspectivas sobre el tópico para el Writing Across the Curriculum. Otra de nosotras (Lauren Goodlad) preside la iniciativa Critical AI @ Rutgers y es editora de Critical AI. Aunque las dos sentimos que el uso no supervisado de LLMs para para las tareas de los estudiantes va en detrimento del aprendizaje, creemos que, en el corto plazo, la combinación de las prácticas descritas a continuación disuadirá efectivamente a los estudiantes de presentar como propios escritos generados por máquinas. Como mínimo, cualquier estudiante que esté determinado a usar generación de textos va a encontrar obstáculos significativos.

Nosotras creemos que, en el largo plazo, los profesores deben ayudar a sus estudiantes a desarrollar conciencia crítica sobre los modelos de máquinas generadoras: cómo funcionan, por qué su contenido frecuentemente es sesgado, falso o simplista; y qué implicaciones sociales, intelectuales y ambientales puede haber. Pero esa clase de preparación toma tiempo, entre otras cosas porque el periodismo sobre este tema suele estar impulsado por los “ciberanzuelos” [clickbait], y el discurso de la “IA” tiende a ser jerga, cargado de exageraciones [hype-laden] y mezclado con la ciencia ficción. (Ofrecemos algunos enlaces idóneos abajo.) Mientras tanto, las siguientes prácticas podrían ayudar a proteger la integridad académica y el aprendizaje de los estudiantes. Al menos algunas de estas prácticas también podrían enriquecer su forma de enseñar.

Prácticas comunes que pueden ser actualizados en el actual contexto

• Fomentar la motivación intrínseca. La mayoría de los educadores se esfuerzas para que sus tareas sean atractivas, pero vale la pena enfatizar que los estudiantes que se sientan conectados con su escritura serán los menos interesados en tercerizar su trabajo a través de un proceso automatizado.
• Resaltar cómo el proceso de escritura ayuda los estudiantes a aprender. Haga explícito que el objetivo de escribir no es un producto o una nota sino un proceso que empodera el pensamiento crítico. Escribir, leer e investigar son actividades que están entrelazadas y que ayudan a la gente a comunicar más claramente, desarrollar pensamiento original, evaluar aseveraciones, y formar juicios.
• Actualizar las políticas de integridad académica para hacerlas explícitas en cuanto al uso de herramientas de escritura automatizada. Las políticas de integridad académica y los códigos de honor podrán especificar cuándo, si es el caso, la asistencia de escritura automatizada es apropiada (los profesores podrían querer consultar las políticas departamentales o institucionales).
• Solicitar a los estudiantes que afirmen que sus entregas son obras suyas y no de otra persona ni de algún sistema automatizado. Esta práctica ha sido usada desde hace tiempo para disuadir el plagio y puede adaptarse para incluir la generación de texto. Una de nosotras les pide los estudiantes que agreguen la siguiente declaración junto con sus iniciales cuando entregan trabajo escrito: “Yo certifico que esta tarea representa mi propio trabajo. No he usado ninguna ayuda ni fuente no autorizada o no reconocida para completarla, incluyendo sistemas gratuitos o comerciales o servicios ofrecidos en Internet”

Prácticas que recomendamos

• Informe a los estudiantes que existen detectores para identificar texto generado por “IA” y que están mejorando. Aunque no se debería depender de estas herramientas como si fueran una “bala de plata”, los estudiantes deberían saber que la detección es posible. Sin embargo, los profesores que usen estas herramientas como una de verificar potenciales violaciones a la política [de integridad académica] deberían tener en cuenta que estos detectores pueden producir falsos positivos y falsos negativos. Estudiantes deberían saber que esta tecnología está evolucionando rápidamente: futuros detectores podrán identificar retroactivamente texto autogenerado en el pasado. Nadie debería entregar texto autogenerado como propio con la expectativa de que este engaño no será descubierto.
• Asigne tareas para las cuales los sistemas más avanzados, como ChatGPT, no son buenos. Las tareas que se presentan a continuación son imposibles de realizar de manera confiable a través de ChatGPT, o requieren que el estudiante supervise y edite de formas que implican experticia, capacidades retóricas y tiempo significativo. Por tanto, los estudiantes que simplemente están interesados en obtener una buena nota con el menor esfuerzo probablemente encontrarán dichas tareas difíciles de automatizar. Estos requerimientos pueden hacer a las tareas más robustas en otras formas.
• Requerimiento de fuentes y citaciones verificables. Actualmente ChatGPT fabrica fuentes y citaciones (aunque ocasionalmente identifica autores o títulos reales). GPT-3 tiende aún más a este tipo de “alucinación”. Los estudiantes que usen cualquiera de esos modelos tendrán que buscar los insumos fuente y las citaciones por su cuenta.
• Análisis de las especificaciones de imágenes, audios y videos. Los estudiantes tendrían que describir en detalle este tipo de medios para generar productos automatizados derivados de ellos.
• Análisis de textos más extensos (demasiado largos para las limitadas ventanas de consulta de los sistemas automatizados). Aunque existen herramientas para resumir textos largos, usarlas añade un obstáculo adicional a la automatización facilista. Este tipo programas pueden introducir errores que facilita la detección de textos automatizados.
• Análisis que se basa en la discusión en clase. Asignar este criterio obliga al estudiante a introducir apuntes de la discusión de clase, lo cual involucra tiempo y esfuerzo.
• Análisis de eventos recientes que no hacen parte de los datos usados para entrenar el sistema. Los estudiantes tendrían que realizar su propia investigación y luego ingresar esa información al sistema automatizado.
• Tareas que articulan relaciones matizadas [nuanced] entre ideas. Este tipo de tareas pueden involucrar la comparación entre dos pasajes que los estudiantes mismos escojan de dos textos asignados. Podría requerirse a los estudiantes que expliquen: a) por qué escogieron los pasajes; b) cómo los pasajes escogidos iluminan la totalidad de los textos respecto de los cuales fueron extraídos; c) cómo se comparan los dos pasajes escogidos de acuerdo con instrucciones asociadas en los temas o contenido del curso. Los LLMs usualmente no pueden hacer un buen trabajo de explicar cómo un pasaje particular ilumina la totalidad del texto del cual fue extraído. Además, los resultados de ChatGPT cuando compara o contrasta son superficiales frecuentemente. Típicamente el sistema el sistema descompone una tarea de comparación lógica en pequeños pedazos, transmite información superficial sobre cada uno de esos pedazos, y luego “compara” y “contrasta” mediante fórmulas en formas que son notablemente superficiales o repetitivas.
• Asignar escritura en clase como suplemento o como punto de partida para tareas para llevar a casa. Es más probable que los estudiantes completen una tarea sin asistencia automatizada si la empezaron a escribir en clase. (Nota: La escritura en clase, digital o a mano, puede generar desventajas para estudiantes con ansiedades y discapacidades).

Prácticas adicionales que usted podría querer realizar

• Asignar pasos en el proceso de escritura y/o reflexión sobre dicho proceso. Muchos instructores ya incluyen este tipo de prácticas en sus aproximaciones a enseñar escritura. Note que ChatGPT puede producir resultados que tienen la forma de “lluvia de ideas”, esquemas y borradores. También puede proveer comentario en el estilo de revisión de pares o autoanálisis. Sin embargo, los estudiantes tendrían que coordinar múltiples entregas de trabajo automatizado para poder completar este tipo de tarea con un generador de texto.
• Realizar conferencias individuales sobre escritura de estudiantes o pedirles a los estudiantes que hagan entregas de audio/video con reflexiones sobre su escritura. A medida que hablamos con estudiantes sobre su escritura o que los escuchamos hablar sobre esta, podemos tener un mejor entendimiento de su pensamiento.
• Si usted tiene curiosidad respecto de la tecnología, pruebe sus propias tareas de escritura. Una vez usted se inscriba para tener una cuenta, es sencillo probar una tarea usando ChatGPT introduciendo las instrucciones y otra información requerida (como texto corto). Los usuarios de estos modelos pueden mejorar los resultados solicitándole al modelo que agregue o revise. (Anna ha compilado una serie de ejemplos).

Prácticas que usted podría querer implementar una vez aprenda más sobre modelos de lenguaje

• Enséñeles a sus estudiantes a usar generadores de texto e “IA”. Es más probable que los estudiantes les den un mal uso a los generadores de texto si confían mucho en ellos. El término “Inteligencia Artificial” (“IA”) se convertido en una herramienta de mercadeo para promocionar [hyping] productos. A pesar de lo impresionantes que son, estos sistemas no son inteligentes en el sentido convencional del término. Son modelos estadísticos elaborados que dependen en cantidades masivas de datos – que frecuentemente han sido raspados de manera indiscriminada de Internet y usados sin conocimiento ni consentimiento. Por muy mágicos que parezcan los generadores de texto no entienden el lenguaje (ni ninguna otra cosa) de la forma como lo hacen los humanos. Por esta misma razón, los LLMs usualmente imitan los prejuicios dañinos, las concepciones erradas, y los sesgos encontrados en los datos raspados del Internet. (Ver abajo los recursos sobre algunas introducciones preliminares a la materia.)
• Muéstreles a los estudiantes ejemplos de imprecisión, sesgos, y de problemas de lógica y de estilo de los productos automatizados. Podemos construir las habilidades cognitivas de los estudiantes modelando y motivando este tipo de crítica. Dado que las redes sociales y el Internet están llenos de perfiles falsos que usan texto sintético, sería beneficioso alertar a los estudiantes sobre los problemas intrínsecos de este tipo de escritura. (Ver el “Rastreador de Errores de ChatGPT/LLM” dispuesto por Gary Marcus y Ernest Davis.) Note que enseñar a los estudiantes sobre los LLMs en esta forma es una práctica diferente a la de usar ChatGPT como medio para enseñar a los estudiantes cómo escribir (una práctica que algunos están recomendando pero que nosotras consideramos tiene limitado valor). Dado que ChatGPT hace un buen trabajo respecto de la gramática y la sintaxis, pero genera contenido formulista, derivativo, o inexacto, parece ser una base pobre para construir las habilidades de los estudiantes y puede eludir su pensamiento independiente. La herramienta parece más beneficiosa para aquellos que ya han tenido bastante experiencia escribiendo – no para aquellos que están aprendiendo a desarrollar ideas, organizar su pensamiento, apoyar sus propuestas a partir de evidencia, realizar investigación independiente, etc.
• Únase a discusiones con colegas profesores, personas que elaboran política pública y de la industria para explorar regulaciones y herramientas que pueden ayudar a los educadores a apoyar el aprendizaje de estudiantes en la era de los generadores de texto de “IA”.

Prácticas que no recomendamos

• Requerir entregas escritas a mano. Escribir a mano es difícil para muchos estudiantes, especialmente aquellos con alguna discapacidad y para estudiantes que usan programas informáticos de voz-a-texto. Algunos estudios muestran cómo los estudiantes recuerdan las cosas mejor cuando toman notas con bolígrafo y papel en vez de computadores portátiles y otros dispositivos. Escribir con la mano puede ser ofrecida como una opción para algunas tareas.
• Adoptar herramientas de vigilancia. Algunas están abogando por programas informáticos que registren todo el proceso de escritura del estudiante – sistemas que han mostrado ser sesgados e inexactos. Ese tipo de herramientas de vigilancia lucrativas son altamente intrusivas y (como los modelos de lenguaje mismos) son potencialmente explotadoras. Además, pueden ser inefectivas e inequitativas.
• Adoptar sistemas entrenados para reconocer la escritura específica de los estudiantes. En teoría es posible determinar la autoría de un texto mediante el entrenamiento de un sistema que reconozca los patrones de selección de palabras y sintaxis de un estudiante en particular. Como los sistemas de vigilancia mencionados arriba, este tipo de tecnología tiende a ser poco confiable, explotadora y abusiva.

Otras fuentes sobre generadores de texto

Nota: El buen periodismo sobre los modelos de lenguaje es sorprendemente difícil de encontrar porque la tecnología es muy nueva y el bombo [hype] está en todas partes. Aquí hay algunas piezas cortas confiables.

• “ChatGPT Advice Academics Can Use Now” editado por Susan Dagostino, Inside Higher Ed, Enero 12, 2023 
• “University students recruit AI to write essays for them. Now what?” por Katyanna Quach, The Register, Diciembre 27, 2022 
• “How to spot AI-generated text” por Melissa Heikkilä, MIT Technology Review, Diciembre 19, 2022 
• The Road to AI We Can Trust, Substack de Gary Marcus, científico cognitivo e investigador de IA que escribe frecuente y lúcidamente sobre este tópico. Ver también Gary Marcus y Ernest Davis, “GPT-3, Bloviator: OpenAI’s Language Generator Has No Idea What It’s Talking About” (2020).

El siguiente artículo académico se ha convertido en un clásico:

• “On the Dangers of Stochastic Parrots” por Emily M. Bender, Timnit Gebru, et al, FAccT ’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, March 2021. Association for Computing Machinery, doi: 10.1145/3442188.
• Un blog post que resume y discute el ensayo arriba mencionado, derivado de un taller sobre el ensayo en Critical AI @ Rutgers workshop: resume los argumentos clave, reanuda la discusión, e incluye enlaces a presentaciones grabadas en video por la humanista digital Katherine Bode (ANU) y el científico computacional e investigador de PNL Matthew Stone (Rutgers).

Una muestra de recursos sobre “IA” en general (Actualizado 1/19)

• AINow Institute, A New Lexicon, 
• Emily M. Bender, “On NYT Magazine on AI” (distinguida lignuista de la Universidad de Washington que responde golpe-a-golpe a un texto engañoso del New York Times feature).
• Ruha Benjamin, “Assessing Risk, Automating Racism” Science (2019).
• Frederico Bianchi et al. “Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale.” Arxiv 2022.
• Meredith Broussard, Artificial Unintelligence: How Computers Misunderstand the World  MIT Press (2018), 
• Timnit Gebru, “Is Ethical AI Possible?” (podcast con la coautora de “Stochastic Parrots” y directora del DAIR Institute). 
• Andrew Hundt et al. “Robots Enact Malignant Stereotypes.” 2022 ACM Conference on Fairness, Accountability, and Transparency (FAccT 22). 743-756.
• Frank Pasquale, New Laws of Robotics: Defending Human Expertise in the Age of AI. Harvard UP, 2020.
• Billy Perrigo. “OpenAI Used Kenyan Workers on Less than $2 Per Hour to Make ChatGPT Less Toxic.” Time January 18, 2023.
• Meredith Whittaker, “The Steep Cost of Capture” Interactions 28.6 (Diciembre 2021): 50-55.

Para compartir sus ideas u ofrecer recomendaciones por favor siéntase libre de escribir a una o a las dos autoras:

Anna Mills: armills@marin.edu

Lauren Goodlad: lauren.goodlad@rutgers.edu

Adicionalmente, la Modern Language Association y el College Conference on Composition and Communication han convocado un grupo de trabajo sobre este tópico (Anna es una integrante). Cualquiera que esté interesado en contactar al grupo trabajo puede escribirle a Paula Krebs (directora MLA) o Holly Hassel (directora CCCC).