Groq AI: Conoce a el chatbot que responde al segundo

Uno de los grandes problemas a los que nos enfrentamos en el campo de la inteligencia artificial es, sobre todo, el tiempo necesario para generar texto tras introducir una sugerencia. Aquí es donde entra en juego Groq AI, que no debe confundirse con Grok, el iA presentado a X por Elon Musk. Groq es un proyecto iniciado por Jonathon Ross en 2016 con la misión de no competir con GPT-4 ni con ningún LLM. Ni con ChatGPT ni con Gemini. Sus objetivos van más allá de resolver uno de los problemas que enfrenta la industria. ¡Sigue leyendo para saber más!

¿Qué es Groq AI y para qué sirve?

El principal objetivo de Groq AI es crear chips especiales para inteligencia artificial, llamados unidades de procesamiento del lenguaje (LPU), que proporcionen una generación de texto extremadamente rápida. Esto deja en segundo lugar a otras opciones, como los chips personalizados de grandes empresas como NVIDIA.

Como dice su creador, Groq AI  te permite chatear de forma natural como si fueras un humano. Esto se logra gracias a la velocidad extremadamente rápida que ofrece este chip, lo que evita tener que esperar varios segundos para generar una respuesta. Esto puede recordarnos que estamos ante una inteligencia artificial, y la verdad es que los humanos somos impacientes cuando se trata de espontaneidad.

Y puedes probar esta velocidad en la versión demo de Groq AI tras introducir la pista e incluso compararla con GPT 3.5. Pero esta enorme velocidad no tiene ninguna ventaja. Además, su uso es mucho más económico. Esto coloca a las GPU en una muy mala posición en lo que respecta a la inteligencia artificial.

No hay duda de que es único por la rapidez con la procesa documentos de tamaño considerable. Actualmente se pueden probar dos modelos en esta demo: Llama 2 70B o Mixtral 8x7B-32K. Ambos ofrecen velocidades de descarga increíbles, además de explicaciones en el texto generado, que depende del modelo en sí y no del hardware.

Una cosa es segura: esta tecnología necesitará atraer la atención de empresas como OpenAI, que claramente van por detrás en velocidad y tienen un largo camino por recorrer para alcanzar el nivel que creemos posible.

La velocidad abre todas las posibilidades

Los programadores de Groq AI están trabajando en aplicaciones que permitan la improvisación musical en tiempo real generada por inteligencia artificial o acelerar el proceso de creación de chips. Otros miembros de la comunidad de IA imaginan aplicaciones aún más profundas.

Andrew Ng, fundador del grupo de investigación Google Brain y ahora director ejecutivo y fundador de Landing AI, dice que los mayores consumidores de LLM súper rápidos pueden no ser humanos sino agentes autónomos: los humanos solo pueden leer a una cierta velocidad, por lo que si es rápido.

Los críticos que probaron el sistema Groq, que requiere más tokens por usuario que el enfoque estándar, argumentaron que la implementación sería demasiado costosa una vez que llegara al final de su fase de demostración. ChatGPT Plus cuesta $20 por mes. ¿Cuánto más pagaría alguien por respuestas más rápidas?

Todas las empresas quieren que pagues 20 dólares al mes para disfrutar del mejor chatbot de IA. A quién se los entregue dependerá de qué características y funciones sean importantes para usted.

¿Podrá Groq superar la escasez de chips?

Otro obstáculo potencial: si los chips Groq se vuelven populares, ¿cómo puede la empresa abastecer a sus clientes durante una escasez global? Grock tiene actualmente contratos de fabricación de chips en una fundición en Malta, Nueva York. Recientemente recibió mil millones de dólares en fondos del gobierno de EE. UU. en virtud de la Ley de Ciencia y Chips respaldada por Biden.

Sin embargo, esta fábrica no puede producir chips a una escala como la TSMC de Taiwán, la fundición más grande del mundo. Ross afirmó sin rodeos que, si bien Groq está en camino de aumentar la cantidad de chips que produce, mejorar el software de los chips será un factor mucho más importante.

Con una velocidad casi similar a la de Groq, el equipo de relaciones públicas de Goliath me envió un comunicado diciendo que la ventaja de la IA de Nvidia no radica sólo en sus chips sino en otros servicios que ofrece a los clientes, como software de IA, memoria, redes y otros servicios.

En cualquier caso, Ross dijo que no compite con Nvidia sino que ofrece una experiencia alternativa y no sólo velocidad. Su misión es garantizar que Grok logre resultados honestos que no se vean empañados por opiniones políticas o presiones de intereses comerciales:

¿Cómo funciona Groq AI?

Groq, una empresa que crea hardware especializado para ejecutar modelos de lenguaje de inteligencia artificial, tiene la misión de crear una inteligencia artificial más rápida: 75 veces más rápida, para ser exactos, de lo que los humanos normales pueden escribir. La velocidad es importante cuando se utiliza la IA.

Cuando habla con un chatbot de IA, desea que la información aparezca en tiempo real. Si les pide que escriban un correo electrónico, querrá recibir una respuesta en segundos para poder enviarlo y pasar a la siguiente tarea.

Groq (no debe confundirse con el chatbot Grok de Elon Musk, y no, realmente no les gustan esos nombres) se especializa en desarrollar procesadores de alto rendimiento y soluciones de software para inteligencia artificial, aprendizaje automático (ML) y aplicaciones informáticas de alto rendimiento. Groq utiliza hardware diferente al de sus competidores, y el hardware que utilizan está diseñado para el software que ejecutan, y no al revés.

Crearon chips llamados unidades de procesamiento del lenguaje (LPU) que fueron diseñados para manejar modos de lenguaje grandes (LLM). Otros motores de IA suelen utilizar unidades de procesamiento de gráficos (GPU) que, como su nombre indica, están optimizadas para el procesamiento de gráficos en paralelo.

Incluso cuando utilizan chatbots, las empresas de inteligencia artificial también utilizan GPU porque pueden realizar cálculos técnicos rápidamente y, en general, son bastante eficientes. Siguiendo los pasos de los chatbots, los LLM como GPT-3 (uno de los modelos utilizados por ChatGPT) funcionan analizando pistas y generando texto basado en una serie de predicciones sobre la siguiente palabra a seguir después de la palabra anterior.

Debido a que las LMU de Groq están diseñadas específicamente para procesar flujos de datos (como ADN, música, código, lenguaje natural), funcionan mucho mejor que las GPU. La compañía afirma que sus usuarios han utilizado sus herramientas y API para ejecutar LLM a velocidades hasta 10 veces más rápidas que las alternativas basadas en GPU.