OpenAI presenta un modelo que puede resumir libros de cualquier extensión

los Transform Technology Summits comienza el 13 de octubre con Low-Code / Sin Code: Habilitación de la agilidad empresarial. ¡Regístrate ahora!


OpenAI tiene desarrollado un modelo de IA que puede resumir libros de longitud arbitraria. Una versión mejorada del laboratorio de investigación GPT-3, el modelo funciona resumiendo primero pequeñas secciones de un libro y luego resumiendo esos resúmenes en resúmenes de nivel superior, siguiendo un paradigma que OpenAI llama “descomposición recursiva de tareas”.

Resumir documentos del tamaño de un libro podría ser valioso en la empresa, especialmente para las industrias con mucha documentación, como el desarrollo de software. A encuesta de SearchYourCloud descubrió que los trabajadores realizan hasta ocho búsquedas para encontrar el documento correcto, y McKinsey informes que los empleados dedican 1,8 horas al día, 9,3 horas a la semana, en promedio, a buscar y recopilar información relacionada con el trabajo.

“OpenAI cree que esta es una ‘receta’ eficaz que puede usarse para ayudar a los humanos a supervisar muchas otras tareas”, dijo un portavoz a VentureBeat por correo electrónico. “Una solución escalable para problema de alineación necesita trabajar en tareas que son difíciles de evaluar para los humanos o que requieren mucho tiempo “.

Resumen impulsado por IA

OpenAI está lejos de ser el primero en aplicar la IA al problema del resumen. Startups como Cebador Utilice técnicas de aprendizaje automático para ayudar a analizar y cotejar una gran cantidad de documentos en varios idiomas. Google tiene investigado métodos de resumen que pueden generar resúmenes abstractos de párrafos, como tiene Microsoft. Y Facebook es según se informa desarrollar una herramienta de inteligencia artificial que resuma artículos de noticias para que los usuarios no tengan que leerlos.

El nuevo modelo de OpenAI se basa en la investigación anterior de la compañía, que descubrió que entrenar un modelo con aprendizaje reforzado a partir de la retroalimentación humana ayudó a alinear los resúmenes del modelo con las preferencias de las personas en publicaciones y artículos breves. El aprendizaje por refuerzo implica entrenar un sistema para realizar una tarea, por ejemplo, resumir un texto, recompensando los comportamientos deseados y / o castigando los no deseados.

Para crear el modelo, OpenAI combinó el aprendizaje por refuerzo con la descomposición recursiva de tareas, que divide de manera procedimental una tarea difícil (p. Ej., Resumir un texto largo) en otras más simples e individuales (p. Ej., Resumir varios fragmentos más cortos). Esta descomposición permite a los humanos evaluar rápidamente los resúmenes del modelo mediante el uso de resúmenes de partes más pequeñas de libros. Además, permite que el modelo resuma libros de cualquier extensión, desde decenas de páginas hasta cientos o miles.

Resúmenes de libros de OpenAI

Arriba: OpenAI afirma que su nuevo modelo, una versión mejorada de GPT-3, puede resumir libros como Alicia en el país de las maravillas.

Crédito de la imagen: OpenAI

OpenAI entrenó el modelo en un subconjunto de los libros en el conjunto de datos de entrenamiento de GPT-3, que eran en su mayoría de ficción y contenían más de 100,000 palabras en promedio. Para evaluar el modelo, los investigadores del laboratorio tomaron los 40 libros más populares publicados en 2020 (según Goodreads) y asignaron a dos personas para que leyeran cada libro y escribieran un resumen, y luego calificaran los resúmenes tanto del modelo como entre sí.

Si bien el modelo generó con éxito resúmenes “a nivel de libro” que contienen gran parte de la información importante, a veces también generó declaraciones inexactas debido a la falta de contexto, OpenAI concede en un papel. Además, los resúmenes del modelo a menudo se leen más como una lista de eventos del libro que como un resumen coherente, revelando las limitaciones de la descomposición de tareas. La descomposición de tareas supone que las partes separadas de una tarea se pueden completar de forma independiente, una regla que puede no ser cierta para resumir libros. Por ejemplo, puede ser difícil detectar casos en los que los detalles anteriores del libro se revelen más tarde como importantes, como ocurre con los libros de misterio.

“Este trabajo es parte de nuestra investigación en curso sobre la alineación de sistemas avanzados de IA, que es clave para nuestra misión”, escribieron los investigadores de OpenAI Jeffrey Wu, Ryan Lowe y Jan Leike en una publicación de blog. “Nuestro progreso en el resumen de libros es el primer trabajo empírico a gran escala sobre técnicas de alineación a escala. En el futuro, estamos investigando mejores formas de ayudar a los humanos a evaluar el comportamiento del modelo, con el objetivo de encontrar técnicas que se adapten a la alineación de la inteligencia artificial general “.

OpenAI no ha proporcionado el código fuente ni el conjunto de datos de entrenamiento para el modelo. Nos comunicamos con la compañía para ver cuándo, o si, planea hacerlos públicos.

VentureBeat

La misión de VentureBeat es ser una plaza urbana digital para que los responsables de la toma de decisiones técnicas obtengan conocimientos sobre tecnología transformadora y realicen transacciones. Nuestro sitio ofrece información esencial sobre tecnologías y estrategias de datos para guiarlo a medida que dirige sus organizaciones. Te invitamos a convertirte en miembro de nuestra comunidad, para acceder a:
  • información actualizada sobre los temas de su interés
  • nuestros boletines
  • contenido exclusivo de líderes de opinión y acceso con descuento a nuestros preciados eventos, como Transformar 2021: Aprende más
  • funciones de red y más
Hágase miembro

Source: VentureBeat by feedproxy.google.com.

*The article has been translated based on the content of VentureBeat by feedproxy.google.com. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!

*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.

*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!