El primer producto GPT-3 de Microsoft apunta al futuro comercial de OpenAI

Uno de los aspectos más destacados de Build, la conferencia anual de desarrollo de software de Microsoft, fue la presentación de una herramienta que utiliza el aprendizaje profundo para generar código fuente para aplicaciones de oficina. La herramienta usa GPT-3, un modelo de lenguaje masivo desarrollado por OpenAI el año pasado y se puso a disposición de desarrolladores, investigadores y empresas emergentes seleccionados en una interfaz de programación de aplicaciones de pago.

Muchos han promocionado GPT-3 como la próxima generación tecnología de inteligencia artificial que marcará el comienzo de una nueva generación de aplicaciones y nuevas empresas. Desde el lanzamiento de GPT-3, muchos desarrolladores han encontrado usos interesantes e innovadores para el modelo de lenguaje. Y varias startups han declarado que usarán GPT-3 para construir productos nuevos o aumentar los existentes. Pero creando un negocio rentable y sostenible en torno a GPT-3 sigue siendo un desafío.

El primer producto de Microsoft con tecnología GPT-3 proporciona importantes pistas sobre el negocio de los grandes modelos de lenguaje y el futuro de la relación cada vez más profunda del gigante tecnológico con OpenAI.

¿Un modelo de aprendizaje de pocos disparos que debe ajustarse?

Crédito: Blog de Microsoft Power Apps
Microsoft usa GPT-3 para traducir comandos de lenguaje natural a consultas de datos

De acuerdo a el Blog de Microsoft, “Por ejemplo, las nuevas funciones impulsadas por IA permitirán a un empleado que cree una aplicación de comercio electrónico para describir un objetivo de programación utilizando un lenguaje conversacional como ‘encontrar productos donde el nombre comience con’ niños ”. Un modelo GPT-3 perfeccionado [emphasis mine] luego ofrece opciones para transformar el comando en una fórmula de Microsoft Power Fx, el lenguaje de programación de código abierto de Power Platform “.

No encontré detalles técnicos sobre la versión ajustada de GPT-3 que usó Microsoft. Pero generalmente hay dos razones por las que debería ajustar un aprendizaje profundo modelo. En el primer caso, el modelo no realiza la tarea de destino con la precisión deseada, por lo que debe ajustarlo entrenando con ejemplos para esa tarea específica.

En el segundo caso, su modelo puede realizar la tarea prevista, pero es computacionalmente ineficiente. GPT-3 es un modelo de aprendizaje profundo muy grande con 175 mil millones de parámetros, y los costos de ejecutarlo son enormes. Por lo tanto, se puede optimizar una versión más pequeña del modelo para realizar la tarea de generación de código con la misma precisión a una fracción del costo computacional. Una posible compensación será que el modelo tendrá un rendimiento deficiente en otras tareas (como la respuesta a preguntas). Pero en el caso de Microsoft, la penalización será irrelevante.

En cualquier caso, una versión ajustada del modelo de aprendizaje profundo parece estar en desacuerdo con la idea original discutida en el Papel GPT-3, acertadamente titulado, “Los modelos lingüísticos son aprendices con pocas posibilidades”.

Aquí hay una cita del resumen del artículo: “Aquí mostramos que la ampliación de los modelos de lenguaje mejora en gran medida el rendimiento independiente de la tarea, en pocas oportunidades, a veces incluso alcanzando la competitividad con enfoques de ajuste fino de última generación anteriores”. Esto básicamente significa que, si construyes un modelo de lenguaje lo suficientemente grande, podrá realizar muchas tareas sin la necesidad de reconfigurar o modificar su red neuronal.

Entonces, ¿cuál es el punto del modelo de aprendizaje automático de pocas oportunidades que debe ajustarse para nuevas tareas? Aquí es donde chocan los mundos de la investigación científica y la IA aplicada.

Investigación académica vs IA comercial

Crédito: Ben Dickson

Existe una línea clara entre la investigación académica y el desarrollo de productos comerciales. En la investigación académica de IA, el objetivo es ampliar los límites de la ciencia. Esto es exactamente lo que hizo GPT-3. Los investigadores de OpenAI demostraron que con suficientes parámetros y datos de entrenamiento, un solo modelo de aprendizaje profundo podría realizar varias tareas sin necesidad de reentrenamiento. Y han probado el modelo en varios puntos de referencia de procesamiento de lenguaje natural populares.

Pero en el desarrollo de productos comerciales, no se está ejecutando en comparación con puntos de referencia como GLUE y SQuAD. Debe resolver un problema específico, resolverlo diez veces mejor que los titulares y ser capaz de ejecutarlo a escala y de manera rentable.

Por lo tanto, si tiene un modelo de aprendizaje profundo grande y costoso que puede realizar diez tareas diferentes con una precisión del 90 por ciento, es un gran logro científico. Pero cuando ya hay diez redes neuronales más ligeras que realizan cada una de esas tareas con una precisión del 99 por ciento y una fracción del precio, entonces su modelo de comercio universal no podrá competir en un mercado impulsado por las ganancias.

Aquí hay una cita interesante del blog de Microsoft que confirma los desafíos de aplicar GPT-3 a problemas comerciales reales: “Este descubrimiento de las vastas capacidades de GPT-3 amplió los límites de lo que es posible en el aprendizaje del lenguaje natural, dijo Eric Boyd, vicepresidente corporativo de Microsoft para Azure AI. Pero Todavía había preguntas abiertas sobre si un modelo tan grande y complejo podría implementarse de manera rentable a escala para satisfacer las necesidades comerciales del mundo real. [emphasis mine]. “

Y esas preguntas fueron respondidas con la optimización del modelo para esa tarea específica. Dado que Microsoft quería resolver un problema muy específico, el modelo GPT-3 completo sería una exageración que desperdiciaría recursos costosos.

Por lo tanto, el sencillo GPT-3 de vainilla es más un logro científico que una plataforma confiable para el desarrollo de productos. Pero con los recursos y la configuración adecuados, puede convertirse en una herramienta valiosa para la diferenciación del mercado, que es lo que está haciendo Microsoft.

La ventaja de Microsoft

En un mundo ideal, OpenAI habría lanzado sus propios productos y generado ingresos para financiar su propia investigación. Pero la verdad es que desarrollar un producto rentable es mucho más difícil que lanzar un servicio de API de pago, incluso si el director ejecutivo de su empresa es Sam Altman, ex presidente de Y Combinator y una leyenda del desarrollo de productos.

Y es por eso que OpenAI contó con la ayuda de Microsoft, una decisión que tendrá implicaciones a largo plazo para el laboratorio de investigación de IA. En julio de 2019, Microsoft realizó una inversión de mil millones de dólares en OpenAI, con algunas condiciones.

Desde OpenAI entrada en el blog que declaró la inversión de Microsoft: “OpenAI está produciendo una secuencia de tecnologías de IA cada vez más poderosas, que requiere mucho capital para poder computacional. La forma más obvia de cubrir los costos es construir un producto, pero eso significaría cambiar nuestro enfoque [emphasis mine]. En cambio, tenemos la intención de licenciar algunas de nuestras tecnologías anteriores a AGI, y Microsoft se convertirá en nuestro socio preferido para comercializarlas “.

Por sí solo, OpenAI tendría dificultades para encontrar una manera de ingresar a un mercado existente o crear un nuevo mercado para GPT-3.

Por otro lado, Microsoft ya tiene las piezas necesarias para atajar el camino de OpenAI hacia la rentabilidad. Microsoft posee Azure, la segunda infraestructura en la nube más grande, y está en una posición adecuada para subsidiar los costos de capacitación y ejecución de los modelos de aprendizaje profundo de OpenAI.

Pero lo más importante, y por eso creo que OpenAI eligió a Microsoft en lugar de Amazon, es el alcance de Microsoft en diferentes industrias. Miles de organizaciones y millones de usuarios utilizan las aplicaciones de pago de Microsoft, como Office, Teams, Dynamics y Power Apps. Estas aplicaciones proporcionan plataformas perfectas para integrar GPT-3.

La ventaja de mercado de Microsoft es totalmente evidente en su primera aplicación para GPT-3. Es un caso de uso muy simple dirigido a una audiencia no técnica. No se supone que haga una lógica de programación complicada. Simplemente convierte consultas de lenguaje natural en fórmulas de datos en Power Fx.

Esta trivial aplicación es irrelevante para la mayoría de los desarrolladores experimentados, a quienes les resultará mucho más fácil escribir directamente sus consultas que describirlas en prosa. Pero Microsoft tiene muchos clientes en industrias no tecnológicas y sus Power Apps están diseñadas para usuarios que no tienen experiencia en codificación o que están aprendiendo a codificar. Para ellos, GPT-3 puede marcar una gran diferencia y ayudar a reducir la barrera para desarrollar aplicaciones simples que resuelvan problemas comerciales.

Microsoft tiene otro factor que trabaja a su favor. Tiene acceso exclusivo asegurado al código y la arquitectura de GPT-3. Mientras que otras empresas solo pueden interactuar con GPT-3 a través de la API de pago, Microsoft puede personalizarlo e integrarlo directamente en sus aplicaciones para hacerlo eficiente y escalable.

Al poner la API de GPT-3 a disposición de empresas emergentes y desarrolladores, OpenAI creó un entorno para descubrir todo tipo de aplicaciones con grandes modelos de lenguaje. Mientras tanto, Microsoft estaba sentado, observando todos los diferentes experimentos con creciente interés.

La API GPT-3 sirvió básicamente como un proyecto de investigación de productos para Microsoft. Cualquiera que sea el caso de uso que cualquier empresa encuentre para GPT-3, Microsoft podrá hacerlo más rápido, más barato y con mayor precisión gracias a su acceso exclusivo al modelo de lenguaje. Esto le da a Microsoft una ventaja única para dominar la mayoría de los mercados que toman forma alrededor de GPT-3. Y esta es la razón por la que creo que la mayoría de las empresas que crean productos sobre la API de GPT-3 están condenados al fracaso.

Fondo de puesta en marcha de OpenAI

Y ahora, Microsoft y OpenAI están llevando su asociación al siguiente nivel. En la Build Conference, Altman declaró un fondo de $ 100 millones, el OpenAI Startup Fund, a través del cual invertirá en empresas de IA en etapa inicial.

“Planeamos hacer grandes apuestas iniciales en un número relativamente pequeño de empresas, probablemente no más de 10”, dijo Altman en un video pregrabado reproducido en la conferencia.

¿En qué tipo de empresas invertirá el fondo? “Estamos buscando nuevas empresas en campos donde la IA pueda tener el impacto positivo más profundo, como la atención médica, el cambio climático y la educación”, dijo Altman, a lo que agregó: “También estamos entusiasmados con los mercados en los que la IA puede impulsar a lo grande saltos en la productividad como la asistencia personal y la búsqueda semántica “. La primera parte parece estar en línea con la misión de OpenAI de utilizar la IA para el mejoramiento de la humanidad. Pero la segunda parte parece ser el tipo de aplicaciones generadoras de beneficios que Microsoft está explorando.

También de la página del fondo: “El fondo es administrado por OpenAI, con inversiones de Microsoft y otros socios de OpenAI. Además del capital, las empresas del OpenAI Startup Fund obtendrán acceso anticipado a futuros sistemas OpenAI, soporte de nuestro equipo y créditos en Azure “.

Entonces, básicamente, parece que OpenAI se está convirtiendo en un proxy de marketing para la nube Azure de Microsoft y ayudará a detectar nuevas empresas de inteligencia artificial que podrían calificar para la adquisición por parte de Microsoft en el futuro. Esto profundizará la asociación de OpenAI con Microsoft y se asegurará de que el laboratorio continúe obteniendo fondos del gigante tecnológico. Pero también llevará a OpenAI un paso más hacia convertirse en una entidad comercial y eventualmente en una subsidiaria de Microsoft. ¿Cómo afectará esto al objetivo a largo plazo del laboratorio de investigación de investigación científica sobre inteligencia artificial general sigue siendo una pregunta abierta.

Este artículo fue publicado originalmente por Ben Dickson en TechTalks, una publicación que examina las tendencias en tecnología, cómo afectan la forma en que vivimos y hacemos negocios, y los problemas que resuelven. Pero también discutimos el lado malo de la tecnología, las implicaciones más oscuras de la nueva tecnología y lo que debemos tener en cuenta. Puedes leer el artículo original aquí.


Source: The Next Web by feedproxy.google.com.

*The article has been translated based on the content of The Next Web by feedproxy.google.com. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!

*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.

*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!