Elon Musk avanza en la IA con el lanzamiento de Colossus, el sistema de entrenamiento más poderoso del mundo
Elon Musk ha dado un paso significativo en el desarrollo de la inteligencia artificial (IA) con la implementación de Colossus, el sistema de entrenamiento de IA más potente hasta la fecha. Este avance fue llevado a cabo por su startup xAI, lanzada en julio pasado, con el propósito de crear un modelo de lenguaje que compita con los principales actores del sector, como OpenAI.
Colossus: Un sistema colosal impulsado por GPUs Nvidia
Colossus está alimentado por 100.000 unidades de procesamiento gráfico (GPU) Nvidia H100, con la meta de expandirse hasta 200.000 GPUs en los próximos meses, de las cuales 50.000 serán las avanzadas Nvidia H200, según Musk. La capacidad de procesamiento de este sistema posiciona a xAI como un competidor serio en el ámbito de la IA, compitiendo directamente con otras grandes empresas como Meta y OpenAI. Musk también destacó la colaboración de varias empresas y proveedores en este proyecto, incluyendo a Nvidia, y expresó su agradecimiento a través de su plataforma X.
El objetivo principal de este sistema es entrenar Grok, el próximo modelo de lenguaje grande (LLM) de xAI, que promete estar disponible en su versión Grok-3 para diciembre. Se espera que este modelo compita con GPT-4, el sistema creado por OpenAI, lo que coloca a xAI en una carrera tecnológica junto a otros gigantes.
La sede en Memphis y el desafío medioambiental
En junio, xAI eligió Memphis, Tennessee, como el lugar donde se instalaría su supercomputadora Colossus. Esta decisión fue acompañada por la colaboración de empresas como Dell Technologies y Super Micro Computer en la construcción de esta infraestructura. El CEO de Dell, Michael Dell, felicitó a Musk por este logro y destacó la importancia de su colaboración en este avance tecnológico.
Sin embargo, no todo ha sido sin complicaciones. Según informes de Silicon Angle, la startup enfrenta críticas de defensores locales en Memphis, quienes acusan a xAI de contribuir al aumento de la contaminación en la ciudad. Esto se debe a las turbinas de gas que alimentan la infraestructura de Colossus, lo que ha generado niveles de esmog que superan los estándares nacionales de calidad del aire. Grupos ambientalistas han solicitado al departamento de salud que investigue si xAI está operando sin los permisos ambientales necesarios.
Un salto en la velocidad y capacidad de procesamiento
Una de las mayores fortalezas de Colossus es su velocidad. De acuerdo con Silicon Angle, el sistema ha logrado superar a otros sistemas de IA de alta gama, como el Aurora del Departamento de Energía de Estados Unidos, alcanzando una velocidad máxima de 10.6 exaflops con el 87% de su hardware en funcionamiento durante una prueba realizada en mayo. Este desempeño ha sido posible gracias al uso de GPUs Nvidia H100, que representan una mejora significativa respecto a generaciones anteriores. Estas GPUs, equipadas con el Transformer Engine, están optimizadas para la arquitectura Transformer, que es esencial para los modelos de lenguaje de IA.
La Nvidia H100 puede ejecutar modelos de lenguaje hasta 30 veces más rápido que las versiones anteriores, lo que permite un procesamiento mucho más eficiente y rápido. Además, la próxima generación de GPUs, la H200, promete aumentar aún más la velocidad gracias a mejoras como el uso de memoria HBM3e y una capacidad de memoria de 141 gigabytes.
xAI: Financiación y desafíos por delante
xAI ha obtenido un importante respaldo financiero, recaudando 6 mil millones de dólares en una ronda de financiación Serie B en mayo. Esta ronda contó con la participación de inversionistas destacados como Andreessen Horowitz y Sequoia Capital, elevando la valoración de la empresa a 24 mil millones de dólares.
A pesar del éxito financiero y los avances tecnológicos, los desafíos ambientales representan un obstáculo en el camino de xAI. Las demandas de grupos ambientalistas podrían retrasar o complicar las operaciones de la startup, que se enfrenta a la necesidad de equilibrar el avance tecnológico con la responsabilidad ambiental.
