Llama 3 AI: Esta es la nueva versión de la IA de Meta 

Le explicaremos qué es Llama 3 AI y sus novedades: la nueva versión del sistema de inteligencia artificial Meta. De esta manera, si nunca has oído hablar de esta inteligencia artificial podrás aprender sobre ella y si ya la conoces podrás conocer la información más reciente al respecto. 

Para ello comenzaremos explicándote qué es Llama y qué tiene actualmente Llama 3. Luego pasamos a contarte cuáles son sus nuevas características y presta atención porque serán relevantes relacionadas con algunos súper productos como Facebook, Instagram o Whatsapp. 

¿Qué es Llama 3 AI?

Llama 3 AI es el nombre que Meta le dio a su modelo de lenguaje de inteligencia artificial. Su nombre significa “Large AI Meta Language Model”, que traducido al español sonará como: “Large AI Meta Language Model”. Como tal, es rival de la empresa matriz Facebook y compite con otros modelos como GPT-4 o Google Gemini.

Como todo modelo de inteligencia artificial, su desarrollo se encuentra en una fase activa y cada cierto tiempo se lanzan nuevas versiones que mejoran la versión anterior. Llama 3 AI es la última versión, presentada hace unas horas, en abril de 2024. 

De hecho, cuando Facebook lanzó no tenían previsto ofrecer este modelo a los usuarios finales, sólo a los investigadores, pero ahora ya hablan de presentarlo. en algunas de sus aplicaciones. Esto se debe a que el modelo Llama 3 AI es utilizado por Meta AI, un chatbot de inteligencia artificial creado por la empresa. 

Entonces, así como GPT es el modelo de IA utilizado por Chat GPT, Llama 3 AI es lo que encontrarás en Meta AI, y con cada nuevo lanzamiento, las capacidades de este robot de conversación de IA aumentarán. Por último, debes saber que Llama 3 AI utiliza una licencia comunitaria» para el desarrollo, permitiendo que otros desarrolladores accedan a ella. Es similar al código abierto, de hecho Meta lo anuncia como tal, pero un poco diferente y más cerrado. Sin embargo, aquí hay un pequeño agujero.

¿Cuáles son las mejoras de Llama 3 AI?

Una de las principales mejoras internas de Llama 3 AI es la impresionante expansión del conjunto de datos de entrenamiento, que es siete veces mayor que el utilizado en Llama 3 AI 2, alcanzando los 15 billones de tokens. Este ensamblado contiene una gran parte de código y datos en idiomas distintos al inglés, lo que mejorará enormemente sus resultados cuando se utilice en otros idiomas.

Llama 3 AI también destaca por su potencia informática y está disponible en dos modelos diferentes. Dispone de una versión con 8000 millones de parámetros (8B) y otra versión con 70000 millones de parámetros (70B), superando en diversas pruebas a versiones equivalentes como GPT-3.5, Mistral 7B, Gemini Pro 1.5 o Claude 3 Sonnets. 

Además, Meta también anunció que habrá otra versión más potente equipada con 400.000 millones de parámetros (400B). Para los usuarios habituales, sin embargo, la gran novedad de Llama 3 AI es su disponibilidad. Esto es gracias a Meta AI, que pondrá este modelo a disposición de cualquier usuario que quiera utilizarlo de diferentes formas. 

Para empezar, Meta AI ahora tiene una versión web que integra directamente Llama 3 AI. La web es meta.ai y la idea es que se pueda acceder a esta IA a través de un navegador desde cualquier dispositivo, cuando quieras. Además, Meta AI aparecerá en Facebook, Instagram y WhatsApp como un chatbot integrado. 

Podemos hacerle cualquier pregunta a este bot e incluso pedirle que nos cree una imagen. Además, Meta facilita la entrega de su modelo en las principales plataformas en la nube como AWS, Google Cloud y Microsoft Azure. La mala noticia que rodea la llegada de Meta AI a navegadores y aplicaciones de redes sociales es que aún no hay una fecha clara para su disponibilidad en España y para los usuarios españoles. 

Rendimiento avanzado

Los nuevos modelos LLaMa 3 en las categorías 8B y 70B representan un gran paso adelante respecto al LLaMA 2, lanzado en julio de 2023, y marcan una nueva dirección para los modelos LLM en estas escalas. Con mejoras previas y posteriores a la capacitación, el modelo de lenguaje redujo significativamente la tasa de falsos rechazos, mejoró la coherencia y aumentó la diversidad de las respuestas del modelo. 

Al desarrollar LLaMA 3, la empresa prioriza el rendimiento del modelo frente a los puntos de referencia estándar y buscó optimizar el rendimiento en escenarios del mundo real. Para lograrlo, se desarrolló un nuevo conjunto de evaluación de sujetos humanos de alta calidad. Esta evaluación contiene 1.800 preguntas que cubren 12 casos de uso clave: pedir consejo, generar ideas, clasificar, responder preguntas cerradas, codificar, escritura creativa, recuperación, expresar personalidad, responder preguntas abiertas, razonar, reescribir y resumir.

Para evitar el sobreajuste de modelos en este conjunto de revisión, Meta ha restringido el acceso a sus propios grupos de modelos. Además, para desarrollar un excelente modelo de lenguaje, Meta adoptó una filosofía de diseño que se centra en cuatro aspectos clave: arquitectura del modelo, datos previos al entrenamiento, extensión previa al entrenamiento e instrucciones de ajuste.

En este sentido, LLaMA 3 funciona con una arquitectura transformadora de decodificador único relativamente estándar, que es una tecnología central en los campos del aprendizaje profundo y el procesamiento del lenguaje natural. 

En comparación con LLaMA 2, el nuevo modelo de lenguaje incluye varias mejoras clave, como un diccionario de 128.000 tokens que codifica el lenguaje de manera mucho más eficiente. Esto mejora significativamente el rendimiento del modelo. Un token es una unidad indivisible o componente básico de un idioma, que puede ser una palabra, un número o un símbolo.

¿Con qué datos se entrena LLaMA 3 AI?

Meta tiene un gran conjunto de datos de entrenamiento de alta calidad para entrenar modelos de lenguaje. Según sus principios, invirtió en datos previos al entrenamiento utilizando más de 15 billones de tokens recopilados de fuentes públicas.

El conjunto de datos de entrenamiento es siete veces mayor que el conjunto de datos utilizado en LLaMA 2 y contiene cuatro veces más códigos. Para prepararse para futuras aplicaciones multilingües, más del 5 % del conjunto de datos de pre entrenamiento de LLaMA 3 incluye datos de idiomas distintos del inglés de alta calidad, que cubren más de 30 idiomas. 

Sin embargo, la empresa no garantiza el mismo nivel de rendimiento en estos idiomas que en inglés. Para garantizar la más alta calidad de datos durante el entrenamiento de LLaMA 3, Meta ha desarrollado varios procedimientos de filtrado de datos, incluidos filtros heurísticos, filtros NSFW, de duplicación semántica y clasificadores de texto para predecir la calidad de los datos.

Meta también realizó extensos experimentos para evaluar las mejores formas de combinar datos de varias fuentes en el conjunto de datos final previo al entrenamiento. Estas pruebas nos permiten elegir combinaciones de datos que garanticen que LLaMA 3 funcione bien en una variedad de casos de uso, como cuestionarios, STEM, codificación, conocimiento histórico y más.