Chat RTX AI: NVIDIA lanza su propio chatbot de IA

La inteligencia artificial ha marcado un antes y un después en la historia de la tecnología ya que realmente hace nuestra vida más fácil. Recientemente la reconocida empresa NVIDIA anunció el lanzamiento de su chatbot local Chat RTX AI. Se espera que dentro de sus características sobresalgan la seguridad y privacidad y esto es algo que le ha llamado la atención al ojo público. ¡Continúa leyendo para saber más!

¿Qué es Chat RTX AI?

Esta es una demostración técnica completamente gratuita actualmente disponible para descargar combinada con un chatbot personalizable. Puede funcionar tanto con Llama2 13B INT4 como con Mistral 7B INT4, es decir, con dos de los modelos de lenguaje de inteligencia artificial más populares en la actualidad. El primero utiliza 13 mil millones de parámetros y el segundo 7 mil millones de parámetros (recordemos que mil millones anglosajones equivalen a mil millones europeos).

Chat RTX AI utiliza Recall Augmented Generation (RAG), una técnica que mejora la precisión y confiabilidad de los modelos generativos de IA con datos obtenidos de fuentes externas. También se utiliza el software NVIDIA TensorRT-LLM, una biblioteca fácil de integrar que aprovecha al máximo la potencia informática en tareas relacionadas con la IA de los núcleos Tensor, incluidas las tarjetas gráficas GeForce RTX, y puede aumentar cuatro veces el rendimiento.

¿Cómo funciona el chat RTX AI?

El proceso es muy simple y este es exactamente uno de los grandes valores que aporta esta demostración técnica. Acercando el modelo AI del chatbot incluso a los usuarios menos experimentados, aplica ajustes y procesos de configuración automáticos. 

Simplemente descarga haciendo clic en este enlace e inicia el proceso de instalación, que como dije se hará automáticamente. Una vez completado aparecerá en el escritorio el icono de acceso directo y al hacer doble clic sobre él se abrirá la consola de comandos que automáticamente nos llevará a la pestaña del navegador que tenemos por defecto. Allí podremos empezar a disfrutarlo.

La interfaz es muy sencilla, tenemos un apartado en la parte inferior donde podemos escribir cualquier duda o elegir entre las sugerencias que nos ofrece la plantilla personalizada con su base de datos Preinstalada. También podrás cambiar con un simple clic entre los modelos de IA disponibles, Llama2 si utilizas un PC potente o Mistral si tienes una configuración más modesta.

En la esquina superior derecha podemos seleccionar la fuente que “alimentará” el modelo de IA. Esta fuente puede ser un Chat con base de datos RTX preinstalada, y también podemos cambiar a nuestro propio conjunto de archivos .txt, .PDF y .doc, o incluso utilizar enlaces a vídeos y listas de reproducción de YouTube.

Características de Chat RTX AI

Chat RTX AI es una demostración, como explica NVIDIA. Esto significa que el software no está 100% completo y puede tener algunos errores. Sin embargo, esta es una alternativa muy interesante que puede ayudar a agilizar tareas, como buscar datos específicos en documentos almacenados en una PC o crear un resumen de videos subidos a YouTube.

Esta app tiene una interfaz minimalista y su funcionamiento no es nada complicado. Una vez instalado, los usuarios pueden elegir entre dos modelos de idiomas principales (LLM) para admitir Chat con RTX: Mistral, del startup francés del mismo nombre, o LLaMA 2, de Meta.

Luego deben seleccionar una carpeta que contenga los documentos que desean escanear con el software NVIDIA y listo. Ahora podrán hacer preguntas a los chatbots, al igual que cuando usan aplicaciones como ChatGPT, Gemini o Copilot. La inteligencia artificial se encargará de analizar los archivos que se le proporcionen y extraerá la respuesta.

Entonces, por ejemplo, si Chat RTX escanea una carpeta que contiene archivos relacionados con tus próximas vacaciones, puedes pedirle que te diga la fecha y hora de tu vuelo. El chatbot de NVIDIA no sólo te proporcionará comentarios informativos en formato de texto, sino que también vinculará los documentos de los que extrae datos para que puedas abrirlos rápidamente.

Usando el mismo ejemplo, si ha definido un cronograma de actividades para su viaje y está en formato PDF, puede hacer que extraiga esta información y la resuma en segundos. Sin embargo, Chat RTX también es capaz de trabajar con elementos que no están almacenados localmente, como videos de YouTube.

¿Cómo se puede usar Chat RTX?

El chat con RTX también se puede utilizar para escanear archivos PDF y verificar datos. Las respuestas de los chatbots se entregan sin la latencia que normalmente ocurre con los chatbots basados ​​en la nube.Tal como está, Chat with RTX es una de las primeras demostraciones para desarrolladores. 

La aplicación instala un servidor web y una versión Python en la máquina local y utiliza el modelo Mistral o Llama 2 para procesar datos. Para acelerar el procesamiento de consultas, el chatbot utiliza núcleos Tensor de las GPU de Nvidia. La línea de comando muestra información de procesamiento y códigos de error.

NVIDIA te permite crear tu propio ChatGPT con Chat RTX

Si en lugar de utilizar datos locales quieres extraer información de vídeos alojados en YouTube, Chat RTX te permite hacerlo sin problema. Simplemente copie el enlace y péguelo en la aplicación NVIDIA. La IA se encargará de procesar el contenido para que puedas hacer preguntas al respecto. Además, al igual que los documentos, puede crear un resumen y proporcionarlo en formato de texto.

En el anuncio promocional de este software, NVIDIA menciona que esta aplicación funciona con «video destacado». Aunque no profundiza más en este tema, es razonable pensar que los resultados variarán en función del contenido. Para decirlo de manera más simple: no se sorprenda si la aplicación falla con bastante frecuencia cuando usa esta función.

Como decíamos al principio, Chat RTX requiere una GPU NVIDIA en tu ordenador. El chatbot es compatible con todos los modelos de las series RTX 30 y RTX 40 con un mínimo de 8 GB de VRAM. Otros requisitos para instalarlo son tener Windows 11, al menos 16 GB de RAM y controlador de tarjeta gráfica versión 535.11 o superior.

Si bien es posible aprovechar al máximo la aplicación, necesitarás una PC bastante potente. Como mencionó Tom Warren de The Verge, la aplicación ocupa alrededor de 40 GB de almacenamiento y utiliza una versión de Python que consume alrededor de 3 GB de RAM cuando se ejecuta. Por último, cabe aclarar que, si utilizas la aplicación con datos locales, esta información no se subirá a la nube y no saldrá de tu computadora.

Limitaciones de Chat RTX

A pesar de que es una app prometedora, Chat with RTX todavía tiene sus limitaciones. Por ejemplo, la herramienta no recuerda conversaciones anteriores por lo que puede limitar la continuidad de las mismas. Además, la veracidad de sus respuestas puede verse influenciada por varios factores, como la redacción de la pregunta, el rendimiento del modelo seleccionado y el tamaño del conjunto de datos ajustado.

Sin embargo, la iniciativa de Nvidia destaca por facilitar la ejecución de modelos de IA localmente, una tendencia creciente según el Foro Económico Mundial, que predice un aumento «significativo» del número de dispositivos asequibles capaces de ejecutar modelos GenAI sin conexión. Las ventajas son claras: mayor seguridad porque los datos procesados ​​nunca salen del dispositivo; Reduce la latencia y es más rentable que los modelos alojados en la nube.