De esta forma los desarrolladores pueden integrar oficialmente ChatGPT en sus productos y servicios.
OpenAI ha anunciado que ahora permite que los desarrolladores externos integren ChatGPT en sus aplicaciones y servicios a través de una API y que hacerlo será significativamente más económico que usar sus modelos de lenguaje existentes.
Además, la compañía está haciendo que Whisper, su modelo de voz a texto impulsado por IA, esté disponible para su uso a través de una API y está realizando algunos cambios importantes en sus términos de servicio para desarrolladores.
API para ChatGPT: mucho más que una interfaz de chat con IA
OpenAI dice que su API ChatGPT se puede usar para algo más que crear una interfaz de chat impulsada por IA, aunque también destaca varias compañías que la han estado usando para ese propósito, incluida la función My AI de Snap, que se anunció a principios de esta semana. La compañía dice que su nueva familia de modelos, llamada gpt-3.5-turbo, es el «mejor modelo para muchos casos de uso que no son de chat».
Vale la pena señalar que es probable que el modelo no sea el mismo que está usando Bing, que Microsoft ha llamado un «nuevo modelo de lenguaje grande OpenAI de próxima generación» que es «aún más rápido, más preciso y más capaz» que ChatGPT y GPT- 3.5. Sin embargo, dada la cantidad de dinero que la empresa ha invertido en OpenAI, no sorprende que tenga acceso a tecnología que no está disponible para el desarrollador promedio. Microsoft también está usando una buena dosis de su propia tecnología para Bing.
OpenAI ofrece 1000 tokens por $0,002 y dice que es «10 veces más barato que nuestros modelos GPT-3.5 existentes», gracias en parte a «una serie de optimizaciones en todo el sistema». Si bien 1,000 parece mucho, vale la pena señalar que enviar un fragmento de texto para que responda la API podría costar varios tokens. («Tokens» son los bloques de texto en los que el sistema divide oraciones y palabras para predecir qué texto debe generar a continuación).
Según la documentación de OpenAI, «¡ChatGPT es genial!» toma seis tokens: su API lo divide en «Chat», «G», «PT», «es», «genial» y «!». La compañía proporciona una herramienta para verificar cuántos tokens se necesitarán para interpretar una cadena de texto y dice que una regla general es que «un token generalmente corresponde a ~ 4 caracteres» en inglés.
La compañía dice que los desarrolladores también podrán obtener una instancia dedicada de ChatGPT si están ejecutando una cantidad monstruosa de datos a través de la API. Su publicación dice que hacerlo le dará más control sobre el modelo que está utilizando, cuánto tiempo desea que se tarde en responder a las solicitudes y cuánto tiempo pueden durar las conversaciones con el bot.
API para Whisper
Si bien es probable que ChatGPT atraiga la mayor atención, OpenAI también ha anunciado otra nueva API para Whisper, su modelo de voz a texto. La compañía dice que puede usarlo para transcribir o traducir audio a un costo de $0.006 por minuto. Técnicamente, el modelo Whisper es de código abierto, por lo que puedes ejecutarlo en tu propio hardware sin pagar nada.
Sin embargo, es probable que OpenAI tenga acceso a hardware más potente, por lo que si está buscando un cambio rápido o necesita hacer una transcripción en dispositivos de menor potencia como teléfonos, usar la API puede ser el camino a seguir.
OpenAI también está anunciando algunos cambios de política que, según dice, se basan en los comentarios de los desarrolladores. Uno grande dice que ya no usará los datos enviados a través de la API para entrenar sus modelos a menos que los clientes aprueben explícitamente ese uso.
En otras palabras, se está pasando de un sistema de opt-out a uno de opt-in. Este cambio podría ayudar a aliviar algunas preocupaciones sobre poner información patentada en el bot, ya que algunas empresas han prohibido a los empleados usar la tecnología por completo. Si está aprendiendo de la entrada del usuario, sería una mala idea ingresar secretos comerciales, ya que siempre existe la posibilidad de que pueda escupir esos datos a otra persona.
La compañía también dice que está trabajando para mejorar su tiempo de actividad y que «la principal prioridad de su equipo de ingeniería ahora es la estabilidad de los casos de uso de producción».
