Training von LLMs

Elon Musk nimmt Giga-Rechenzentrum in Betrieb

Uhr
von Yannick Chavanne und Rodolphe Koller und Übersetzung: Alexandra Hüsler, rja

Elon Musks Firma xAI hat für das Training von LLMs in Memphis in den USA einen gigantischen Supercomputer gebaut. Der mit bereits 100’000 Nvidia-Prozessoren ausgestattete Colossus könnte seine Leistung in den nächsten Monaten verdoppeln.

(Source: NickArt / stock.adobe.com)
(Source: NickArt / stock.adobe.com)

Elon Musk hat das Rechenzentrum Colossus in Betrieb genommen. Auf X preist er es als den grössten GPU-Supercomputer der Welt an. Nvidia unterstützt diese Behauptung Musks in den sozialen Medien.

Das von Musk 2023 gegründete Startup xAI befindet sich in Memphis, in den USA. Das Rechenzentrum sei in nur 122 Tagen gebaut worden und beherberge bisher 100’000 Nvidia Hopper H100-Prozessoren. Es wird erwartet, dass die Kapazität auf 200.000 Prozessoren erhöht wird und zudem 50.000 GPUs der nächsten Generation der H200-Serie dazukommen sollen. Die Hauptaufgabe von Colossus wird darin bestehen, Grok 3, die nächste Version von xAIs Sprachmodell, zu trainieren.

Kontroverse um Energiebedarf

Das Rechenzentrum in Memphis sorgte im August 2024 schon für Kontroversen. Das Southern Environmental Law Center vertritt Gemeindegruppen und Anwohner von Memphis, von denen viele direkt vom Ausbau von xAI und dessen negativen Folgen betroffen sein werden. Das Center fordert im Namen der Betroffenen die Stadt und Memphis Light, Gas and Water auf, das Projekt zu überarbeiten.

Die NGO kritisiert insbesondere eine intransparent besiegelte Vereinbarung und die Finanzierung der Subventionen für xAI aus öffentlichen Geldern. Sie kritisiert zudem, dass der Energiebedarf von 150 Megawatt jenem von 100.000 Haushalten entspricht, während die Stadt bereits unter Stromversorgungsproblemen leide.

 

Elon Musks Firma xAI trainiert Grok mit Beiträgen von X-Nutzenden, ohne diese ausdrücklich um Erlaubnis gefragt zu haben. Die irische Datenschutzbehörde verlangt Antworten und die Gründe für diesen Schritt.  Mehr dazu lesen Sie hier

Webcode
kN9dnEWQ