El generador de texto GPT-3 ha demostrado ser experto en producir código, blogsy, err, fanatismo. Pero, ¿es la IA un buen estudiante?
Sitio de recursos educativos EduRef ha intentado averiguarlo probando las habilidades de redacción de ensayos del sistema.
La empresa contrató a un panel de profesores para crear guías de redacción para ensayos sobre historia, métodos de investigación, escritura creativa y derecho de Estados Unidos.
Alimentaron las indicaciones a GPT-3 y también se las dieron a un grupo de graduados universitarios recientes y estudiantes de pregrado.
Luego, el panel calificó los artículos anónimos para probar si la IA puede obtener mejores calificaciones que los alumnos humanos.
Algunos de los resultados podrían poner nerviosos a los profesores y entusiasmar a los estudiantes sin escrúpulos. Pero otros mostraron que GPT-3 todavía tiene mucho que aprender.
[Read: How do you build a pet-friendly gadget? We asked experts and animal owners]
Las calificaciones más altas de GPT-3 fueron B-menos para un ensayo de historia sobre el excepcionalismo estadounidense y un memorando de política para una clase de derecho.
Sus rivales humanos obtuvieron calificaciones similares por sus artículos de historia: una B y una C +. Pero solo uno de cada tres estudiantes obtuvo una calificación más alta que la IA para la asignación de derecho.
GPT-3 también recibió una C sólida por su papel de métodos de investigación sobre la eficacia de la vacuna COVID-19, mientras que los estudiantes obtuvieron una B y una D.
Sin embargo, las habilidades de escritura creativa de la IA no podían igualar sus habilidades técnicas. Su historia recibió el fracaso solitario del modelo, mientras que las calificaciones de los estudiantes escritores variaron de A a D +.
En general, GPT-3 mostró un dominio impresionante de la gramática, la sintaxis y la frecuencia de las palabras. Pero no logró elaborar una narrativa sólida para la tarea de escritura creativa.
El gerente de proyecto, Sam Larson, le dijo a TNW que esto podría deberse a cómo GPT-3 recuerda la información:
La tarea creativa pedía recuerdos e historias utilizando los cinco sentidos, con los que GPT-3 no tiene experiencia directa, por lo que (probablemente) tendría que iterar a través de un tipo diferente de búsqueda de información, que el mensaje no fue diseñado para activar. La IA se basa en un repositorio de eventos, historia e información legal (porque extrae su predicción de lenguaje de bases de datos fácilmente disponibles). Entonces, para los temas de derecho e historia, es útil y relevante citar estos datos para esos temas. Pero la escritura creativa se basa más en la imaginación y la síntesis de pensamientos en ideas, en lugar de una regurgitación de datos preexistentes.
Aún así, lo que le faltaba al GPT-3 en el arte lo compensaba en velocidad. El modelo pasó entre tres y 20 minutos generando contenido para cada tarea, mientras que los humanos tardaron tres días en promedio.
Evaluar la evaluación
EduRef enfatizó que el experimento fue solo un estudio exploratorio. Los resultados de GPT-3 se editaron ligeramente para su extensión y repetición, aunque su contenido, información fáctica y gramática no se modificaron.
Además, AI produjo dos artículos para las asignaciones de historia, investigación y derecho. Larson luego eligió cuáles usar:
El que fuera más parecido a un ensayo fue el que elegí para ampliar. Uno de los dos generalmente terminaba simplemente repitiendo el mensaje o generando una versión más larga del mensaje, por lo que elegir la ‘respuesta’ más parecida a un ensayo fue bastante sencillo.
Larson dijo que la tarea de escritura creativa requería una interferencia humana adicional:
Finalmente cedí y lo animé con un líder de ‘Érase una vez …’ y me dio la pista de que quería una historia real. Después de un par de generaciones, tuve dos variaciones que parecían ensayos creativos, pero una se atascó en un bucle que describía la misma escena una y otra vez, ¡así que elegí la otra!
No obstante, Lorson, que es un académico, quedó impresionado por el desempeño de GPT. Espera que este tipo de contenido generado por IA brinde a los instructores y los responsables de la formulación de políticas hacen una pausa para pensar en cómo cuantifican lo que hace que un estudiante tenga éxito.
Pero los estudiantes pueden estar más interesados en la capacidad de la IA para prestarles una mano de ayuda tortuosa.
Source: The Next Web by feedproxy.google.com.
*The article has been translated based on the content of The Next Web by feedproxy.google.com. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!
*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.
*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!
