Los investigadores proponen una corrección de sesgos para GPT-3 y otros modelos de lenguaje

El aprendizaje de pocas oportunidades, o la capacidad de aprender tareas a partir de algunos ejemplos, es un aspecto clave de la inteligencia humana. Grandes modelos de lenguaje natural de IA como OpenAI GPT-3 puede realizar un aprendizaje de pocos disparos sin realizar ajustes precisos. Pero a pesar de la promesa de un aprendizaje de pocas oportunidades, nueva investigación encuentra que la precisión de los modelos de lenguaje, en particular GPT-3, puede ser “altamente inestable” sin calibración.

La investigación, que fue escrita en coautoría por científicos de UC Berkeley, UC Irvine y la Universidad de Maryland, es la última en encontrar fallas en GPT-3 y otros modelos similares. La propia OpenAI señala que GPT-3 coloca palabras como “travieso” o “chupado” cerca de pronombres femeninos y “Islam” cerca de palabras como “terrorismo”. Un papel por el Ph.D. de la Universidad de Stanford. candidato y Gradio el fundador Abubakar Abid detalló las tendencias anti-musulmanas del texto generado por GPT-3. Y el Centro sobre Terrorismo, Extremismo y Contraterrorismo del Instituto Middlebury de Estudios Internacionales afirma que GPT-3 podría generar de manera confiable texto “informativo” e “influyente” que podría “radicalizar a las personas en ideologías y comportamientos violentos de extrema derecha”.

Partiendo del supuesto de que GPT-3 es susceptible a ciertos tipos de inestabilidad, los investigadores compararon el modelo a través de la API de OpenAI usando ejemplos de entrenamiento de conjuntos de datos para clasificación de texto, recuperación de hechos y extracción de información. Los ejemplos estaban en una variedad de formatos y ordenaciones diferentes, incluidas plantillas de preguntas y respuestas, plantillas de estilo de conversación e indicaciones que se parecían a páginas web particulares.

En sus experimentos, los investigadores encontraron que las diferentes opciones con respecto al formato y el orden podrían conducir a fluctuaciones en la precisión. Por ejemplo, cambiar el orden de los ejemplos de entrenamiento mientras GPT-3 clasificaba su sentimiento provocó un cambio en la precisión de casi casualidad (54%) a casi de vanguardia (93%). Curiosamente, agregar más ejemplos de entrenamiento a los ejemplos de entrenamiento no necesariamente redujo la variación en la precisión, y algunos ejemplos de entrenamiento incluso perjudicaron la precisión.

Los investigadores dicen que identificaron tres escollos que llevan a modelos de lenguaje como GPT-3 a estar sesgados hacia ciertas respuestas: sesgo de etiqueta mayoritaria, sesgo de actualidad y sesgo de token común. La mayoría de los sesgos de etiquetas y actualidad llevan al modelo a predecir las respuestas que aparecen con frecuencia o cerca del final de un mensaje. Por otro lado, el sesgo de token común lleva al modelo a preferir respuestas frecuentes en sus datos previos al entrenamiento, por ejemplo, “Estados Unidos” sobre “Santa Lucía”.

Los investigadores intentaron contrarrestar estos sesgos “calibrando” la distribución de salida, estimando el sesgo del modelo hacia ciertas respuestas introduciendo entradas ficticias que no tenían contenido (por ejemplo, “N / A”). Ajustaron los parámetros de calibración para que la entrada sin contenido tuviera puntuaciones uniformes para cada respuesta, lo que, según afirman, proporcionó una buena configuración de los parámetros sin datos de entrenamiento adicionales.

Los resultados de los experimentos muestran que la calibración mejoró constantemente la precisión de GPT-3 en todos los formatos y ejemplos, al tiempo que hizo que la precisión fuera más estable. “A través de un análisis detallado, identificamos que esta volatilidad surge de sesgos en los modelos de lenguaje, por ejemplo, su tendencia a generar tokens recientes o comunes”, escribieron los coautores en un artículo que describe su trabajo. “Usamos estos conocimientos para desarrollar la calibración contextual, un procedimiento simple para ajustar las probabilidades de salida del modelo, que mejora la precisión, reduce la varianza y, en general, hace que herramientas como GPT-3 sean más efectivas para los usuarios finales”.