Anthropic es el encargado del desarrollo del programa de inteligencia artificial Cortex, en el 2021. El equipo fundador está conformado por Daniela Amodei, Dario Amodei, Sam McCandlish, Chris Olah, Jared Kaplan, Sam McCandlish y Jack Clarke.
Cortex tiene como objetivo es la creación de un modelo de lenguaje avanzado, más útil y seguro. A diferencia de otros grandes modelos como GPT-3, Cortex ha sido diseñado específicamente teniendo en cuenta el impacto y los beneficios de la inteligencia artificial.
Este programa representa un gran paso adelante hacia una inteligencia artificial más beneficiosa, segura y mejor alineada a los intereses y valores humanos.
A medida que este tipo de modelos responsables y transparentes ganen tracción, la sociedad podrá aprovechar todo el potencial de la IA reduciendo considerablemente los riesgos sobre privacidad, seguridad y ética.
Anthropic está sentando un camino ejemplar para el desarrollo de sistemas de IA que refuercen, en lugar de socavar, el bienestar humano a largo plazo.
Origen e historia de Cortex
La investigación detrás de Cortex comenzó en 2016 en OpenAI, donde varios de los fundadores de Anthropic trabajaban en ese momento.
Este equipo publicó un documento en el 2019, llamado «Una técnica para construir modelos de lenguaje éticos». En este documento se sentaron las bases de dicho trabajo, lo que después se convertiría en Cortex.
Asimismo, dichos fundadores abandonaron OpenAI en el 2021, para iniciar la fundación de Anthropic. El propósito era una IA más útil, segura y conectada a los valores humanos. Recaudaron $124 millones en financiación para respaldar este objetivo.
¿Cómo funciona Cortex?
Cortex es un modelo de lenguaje autorecursivo, lo que significa que puede iterar y mejorarse continuamente a sí mismo. Fue entrenado supervisada y reforzadamente en una gran cantidad de texto para aprender a generar sus propias respuestas.
Modelo de lenguaje
El núcleo de Cortex es un modelo de secuencia a secuencia masivo que transforma una entrada de texto en una salida de texto. Utiliza la arquitectura Transformer, similar a modelos como GPT-3 y BERT.
Fue entrenado en una gran variedad de fuentes de datos, incluyendo libros, Wikipedia, noticias y conversaciones. Esto le permite generar texto coherente sobre una amplia gama de temas.
Autorecursión
Lo que distingue a Cortex de otros modelos de lenguaje es su capacidad de autorecursión. Puede iterar sobre sus propias respuestas, editándolas y mejorándolas progresivamente.
Esto se logra entrenando a Cortex para predecir cómo debería mejorar sus propias respuestas iniciales cuando se le da retroalimentación. Con esta capacidad, Cortex puede refinar iterativamente lo que genera hasta que se alcance la calidad deseada.
Entrenamiento reforzado
Además del entrenamiento supervisado en grandes conjuntos de datos, Cortex también se entrena reforzadamente para optimizar determinadas métricas. Por ejemplo, se le aplican penalizaciones si genera contenido tóxico, falso o sesgado.
Por otro lado, se le recompensa si sus respuestas son útiles, veraces y seguras. Esto alinea mejor a Cortex con las preferencias humanas y los valores que Anthropic considera importantes.
Características y capacidades de Cortex
Cortex tiene una amplia gama de capacidades permitidas por su arquitectura autorecursiva y su extenso entrenamiento. Como por ejemplo:
Generación de texto
Al igual que otros modelos de lenguaje, Cortex puede generar texto sobre una gran variedad de temas de forma coherente y convincente.
Puede escribir historias creativas, poemas, código informático y más. También es muy hábil para reformular o expandir texto proporcionado. Por ejemplo, puede extender un breve resumen a un ensayo completo o convertir viñetas en una narración fluida.
Preguntas y respuestas
Cortex sobresale en tareas de preguntas y respuestas. Puede responder preguntas factuales consultando su conocimiento interno pero también hacer deducciones lógicas e inferencias a partir del contexto. Si no tiene suficiente información para responder una pregunta con confianza, es capaz de decir «No lo sé».
Esta sinceridad sobre los límites de su conocimiento es una característica clave para mantener la seguridad.
Diálogo
Una de las capacidades distintivas de Cortex en comparación con otros modelos de lenguaje es su habilidad para el diálogo. Puede tener conversaciones que abarcan múltiples turnos de ida y vuelta. Mantiene un contexto de la conversación y se refiere a él para dar respuestas consistentes.
También hace preguntas clarificadoras cuando es necesario antes de responder.
Corrección de errores de Cortex
Gracias a su arquitectura autorecursiva, Cortex es muy bueno detectando y corrigiendo sus propios errores. Cuando recibe retroalimentación de que una respuesta anterior era inadecuada, puede editarla y mejorarla.
Esta capacidad de aprendizaje y auto-mejora a partir de críticas es esencial para aumentar su precisión y alineamiento con el tiempo.
Control y alineamiento de valores del programa Cortex
Dado el potencial de los modelos avanzados de IA para causar daños si no se controlan correctamente, Anthropic ha prestado especial atención a la seguridad y el alineamiento de valores en el desarrollo de Cortex.
Técnicas de alineamiento
Implementan varias técnicas pioneras para promover valores positivos y desalentar comportamientos dañinos:
- Entrenamiento supervisado: Cortex se entrena en grandes cantidades de datos anotados por humanos para moldear su funcionamiento.
- Penalización: Se aplican sanciones negativas durante el entrenamiento si muestra toxicidad, sesgo o información falsa.
- Recompensas positivas: Se refuerzan comportamientos prosociales mediante recompensas durante el aprendizaje reforzado.
- Intervención humana: Los entrenadores humanos proporcionan retroalimentación mejorando las respuestas erradas.
Políticas de moderación de contenido de Cortex
Anthropic también establece políticas claras sobre el tipo de contenido que Cortex no debe generar bajo ninguna circunstancia, incluyendo:
- Contenido ilegal o que promueva actividades ilegales
- Incitación al odio, acoso o discriminación
- Desinformación deliberada o teorías de conspiración
- Violaciones de privacidad o datos personales confidenciales
- Contenido para adultos violento o explícito
Estas políticas actúan como salvaguardas adicionales sobre lo que Cortex puede producir después de su implementación.
Usos actuales y futuros de Cortex
Cortex actualmente solo está disponible para unos pocos socios y clientes seleccionados mientras Anthropic recopila comentarios sobre su rendimiento. Pero
tiene el potencial de ser utilizado para una amplia gama de aplicaciones en el futuro.Asistente de escritura
La capacidad de generación de texto de alta calidad de Cortex lo convierte en una herramienta prometedora para ayudar en la escritura. Ya sea para escribir borradores, corregir gramática o sugerir ideas creativas, puede mejorar la productividad.
Atención al cliente automatizada
Cortex podría utilizarse para sistemas de atención al cliente automatizados. Sus habilidades conversacionales permitirían experiencias más satisfactorias de resolución de consultas por parte de los clientes.
Educación personalizada
Dada su capacidad para responder preguntas y participar en diálogos de seguimiento,
Cortex podría ser muy valioso en aplicaciones educativas. Por ejemplo, como tutor virtual adaptativo para estudiantes.
Con el tiempo, se espera ver a Cortex impulsando innovaciones en estos y muchos otros campos a medida que se expande su implementación. Este representa la próxima frontera de los modelos de lenguaje de IA seguros y avanzados.
Gracias a su arquitectura autorecursiva y técnicas pioneras de alineamiento de valores, puede igualar las capacidades de los modelos más grandes al tiempo que mitiga muchos riesgos.
Aunque su acceso sigue siendo limitado
actualmente, tiene el potencial transformador para habilitar nuevas aplicaciones en áreas como la escritura, el servicio al cliente y la educación personalizada en el futuro.
Con el liderazgo responsable de Anthropic guiando su desarrollo, esperamos ver a Cortex estableciendo el estándar para el progreso ético de la IA en la próxima década y más allá.
Comparación de Cortex con otros programas de IA
Para entender mejor los beneficios de Cortex, es útil compararlo con algunos de los chatbots y modelos de lenguaje más reconocidos actualmente:
Contraste con ChatGPT
En noviembre del 2022, ChatGPT de OpenAI ganó mucha popularidad, al momento de su lanzamiento.
Esta posee grandes capacidades para poder mantener diálogos y responder las preguntas necesarias de distintos temas. Sin embargo, adolece de algunos problemas:
No tiene un panel de control
Los usuarios no pueden personalizar o limitar su comportamiento. Esto puede ser problemático si da información falsa, sesgada o peligrosa.
No está entrenado en principios éticos
ChatGPT a veces muestra prejuicios, falta de imparcialidad e inconsistencias que son difíciles de detectar. Cortex está construido desde la base sobre principios de honestidad y beneficio.
Menor comprensión del lenguaje natural
Cortex tiene más capacidad para entender el contexto y matices de las conversaciones, gracias a Constitucional AI y su arquitectura menos especializada que ChatGPT.
Beneficios que aporta Cortex
Gracias a su arquitectura y principios de diseño únicos, Cortex trae varios beneficios tanto para usuarios individuales como para la sociedad:
Mayor seguridad y confiabilidad
Al estar entrenado sobre valores éticos y tener un panel de control, Cortex es más seguro, fiable y predecible que otros chatbots.
Esto es crucial cuando se trata de tomar decisiones, dar recomendaciones o interactuar con humanos.
Cortex reduce el riesgo de efectos adversos
Modelos más opacos y sin supervisión tienen mayor probabilidad de mostrar sesgos, difundir desinformación o fomentar otros efectos dañinos sin intención. Cortex está construido para maximizar el beneficio social.
Más innovaciones responsables en IA
Al publicar investigaciones y trabajar de forma transparente, Cortex ayuda a impulsar el campo de la IA segura y confiable, sentando estándares para que otros modelos también incorporen principios éticos desde su concepción.
Diálogos más enriquecedores
La capacidad única de Cortex para el lenguaje natural, gracias a Constitucional AI, facilita conversaciones más interesantes, con argumentos más matizados, admitiendo dudas y discrepancias de forma honesta cuando no tiene certeza sobre algún tema.
Desventajas del programa Cortex
Filtraciones de datos confidenciales
Dado que Cortex recopila grandes cantidades de datos personales para entrenar sus modelos de IA, existe la posibilidad de filtraciones masivas de información confidencial.
Esto podría exponer detalles muy sensibles sobre la vida de las personas.
Uso de los datos con otros propósitos
Además, no hay garantías claras sobre el uso que Anthropic podría dar a todos esos datos más allá del entrenamiento de modelos de IA.
La información recogida se podría emplear con otros propósitos comerciales sin un consentimiento adecuado.
Vulnerabilidades frente a ataques informáticos
Los enormos conjuntos de datos reunidos por Cortex también generan importantes riesgos de ciberataques.
Al centralizar tal cantidad de información sensible, se crean vulnerabilidades frente a hackers con intenciones delictivas.
Posibilidad de aumentar sesgos sociales
Otra gran desventaja de Cortex es su potencial para exacerbar sesgos sociales dañinos ya existentes.
Reforzamiento de estereotipos
Pese a los esfuerzos de Anthropic por evitarlo, es posible que los modelos de IA de Cortex terminen reforzando estereotipos negativos sobre grupos minoritarios al basarse en los amplios conjuntos de datos que utilizan para su entrenamiento.
Profundización de brechas sociales
Del mismo modo, es probable que Cortex refleje y amplifique brechas sociales preexistentes, como las diferencias entre distintos grupos étnicos y clases sociales.
En lugar de atenuar estos problemas, la IA podría profundizarlos aún más.
Decisiones sesgadas
También existe el peligro de que las predicciones y recomendaciones automatizadas de Cortex introduzcan importantes sesgos perjudiciales a la hora de orientar decisiones cruciales en ámbitos como la salud, las finanzas o la justicia criminal.
Rentabilización de los modelos lingüísticos
Asimismo, la forma en que Anthropic pretender rentabilizar los modelos lingüísticos de Cortex resulta problemática.
Limitación del acceso abierto Pese a basarse en enormes cantidades de datos proporcionados por voluntarios, la empresa planea restringir el acceso abierto a Cortex una vez que complete su desarrollo. Esto limitaría severamente su beneficio público.
Uso comercial exclusivo
En lugar de permitir
aplicaciones amplias de interés general, Anthropic concentraría el uso de Cortex en clientes comerciales que puedan pagar caras licencias corporativas.
Sus avances en IA quedarían así principalmente en manos de quienes más puedan beneficiarse económicamente.
Retroceso en términos de transparencia
Este giro hacia la privatización comercial marca también un retroceso en términos de transparencia si se compara con proyectos OpenAI previos como GPT-3, los cuales permiten un acceso público mucho mayor a sus plataformas.
Riesgos de manipulación ideológica de Cortex
Por último, el desarrollo de Cortex tampoco está exento de ciertos peligros de manipulación ideológica por parte de Anthropic.
Influencia sobre los valores de IA
Más allá de las buenas intenciones expresadas, quienes financian y gestionan el programa están en una posición privilegiada para moldear los valores éticos integrados en sus sistemas de IA. Esta influencia podría distorsionarse para servir a intereses particulares.
Restricción del pensamiento divergente
Del mismo modo, las directivas internas de Cortex podrían utilizarse sutilmente para restringir formas de pensamiento divergente que desafíen posturas mayoritarias dentro de la compañía y la élite tecnológica.
Riesgo de autoritarismo algorítmico
Si estas tendencias no se contrarrestan, Cortex podría ser un paso más hacia una suerte de «autoritarismo algorítmico», donde el diseño de los sistemas de IA refleje cada vez más las visiones elitistas de un puñado de organizaciones poderosas.
