La société d’intelligence artificielle xAI, fondée par Elon Musk, a franchi une étape majeure avec le lancement de Colossus, le plus grand superordinateur GPU Nvidia au monde. Situé à Memphis, Tennessee, Colossus a été construit en seulement 122 jours. Il est destiné à entraîner les modèles de langage de Grok (chatbot d’IA générative) de xAI.
Équipé de 100 000 GPU Nvidia H100, ce système surpasse l’ordinateur Aurora du ministère de l’Énergie des États-Unis qui détenait auparavant le titre de système d’entraînement IA le plus rapide. La puissance de calcul de Colossus serait supérieure de 30 %.
Pourquoi Musk est-il intéressé ?
L’intérêt de Musk pour l’IA provient de son ambition de diriger la révolution IA tout en atténuant les risques associés à l’IA non réglementée. Colossus joue un rôle clé dans la mission de xAI : concurrencer des géants de l’industrie comme OpenAI et Google DeepMind. Les modèles Grok, entraînés grâce à Colossus, visent à devenir les nouveaux leaders des modèles de langage (LLM). Grok-3 devrait surpasser GPT-4 d’OpenAI.
Musk envisage également que Colossus soit une ressource pour les systèmes autonomes et robotiques de Tesla. Il pourrait également entraîner les systèmes IA du robot humanoïde Optimus de Tesla avec lequel Musk prévoit de générer jusqu’à 1 000 milliards de dollars de revenus annuels.
Le lien stratégique entre xAI et Tesla devient ainsi limpide et Colossus en est au cœur.
Pourquoi est-ce si important ?
Le lancement de Colossus est un jalon majeur dans la course à l’IA. Avec 100 000 GPU, ce système est le superordinateur IA le plus puissant au monde, surpassant les 10,6 exaflops d’Aurora. De plus, xAI prévoit de doubler la capacité de Colossus dans les mois à venir en ajoutant 50 000 GPU Nvidia H200 (deux fois plus puissants que les H100 actuels). Colossus pourrait devenir un élément essentiel pour les applications IA multimodales et cross-modales.
L’importance de Colossus pour l’IA multimodale et cross-modale
La puissance de calcul de Colossus est indispensable pour faire progresser l’IA multimodale combinant différents types de données (texte, images, données capteurs). Cette capacité est essentielle pour développer des modèles d’IA capables d’effectuer des tâches complexes nécessitant plusieurs types d’entrée (dans les domaines des véhicules autonomes, de la robotique et des systèmes de santé). Les capacités cross-modales, où le système peut transférer des apprentissages entre différents types de données (par exemple, interpréter, ensemble du texte et des images), bénéficieront également de la puissance de Colossus.
Colossus est-il ouvert à d’autres ou réservé à xAI ?
Actuellement, Colossus est principalement dédié aux projets internes de xAI, en particulier au développement et à l’entraînement des modèles de langage Grok. Contrairement à OpenAI et d’autres entreprises qui offrent un accès API à des développeurs externes, xAI semble pour l’instant garder Colossus exclusivement pour ses propres initiatives. Cependant, Tesla devrait bénéficier largement de Colossus, Musk ayant proposé un investissement de 5 milliards de dollars de Tesla dans xAI.
Considérations environnementales et éthiques
Bien que Colossus représente une percée technologique, il soulève également des préoccupations environnementales et éthiques. Des rapports suggèrent que l’installation consomme jusqu’à 1 million de gallons d’eau par jour pour refroidir ses serveurs et nécessite 150 mégawatts d’énergie. Cela ne peut que susciter des inquiétudes quant à la durabilité des opérations IA à grande échelle…
De plus, la concentration de cette capacité IA aussi puissante dans des « mains privées » a déclenché des débats sur la gouvernance de l’IA, la protection de la vie privée et l’impact sociétal de ces systèmes IA avancés. À mesure que l’IA devient de plus en plus intégrée dans des systèmes critiques, de la conduite autonome à la robotique, la pression augmente pour garantir que ces technologies soient développées de manière bénéfique à l’ensemble de la société.
Réactions des acteurs clés et de la presse
L’industrie technologique a réagi avec un mélange d’admiration et de prudence. Nvidia, dont les GPU alimentent Colossus, a salué l’échelle et la rapidité du système, tandis que Cathie Wood d’ARK Invest a qualifié cela d’accomplissement. Cependant, des préoccupations persistent quant aux implications éthiques de la concentration d’une telle puissance IA dans une seule entreprise.
Colossus est un game-changer dans le monde de l’IA en se positionnant à la pointe du développement de l’IA mais en soulevant également de nombreuses questions éthiques, sociétales et environnementales.
