Cerebras fordert Nvidia heraus, indem es einen KI-Inferenzdienst einführt

Cerebras Systems kündigte am Dienstag eine KI-Inferenzlösung für Entwickler an. Nach Angaben des Unternehmens handelt es sich um eine viel schnellere Inferenzlösung, 20-mal schneller als die Angebote von Nvidia.

Cerebras wird Zugriff auf seine größeren Chips gewähren, um KI-Anwendungen auszuführen, die nach Angaben des Unternehmens auch günstiger sind als Nvidia-GPUs. Auf die branchenüblichen Nvidia-GPUs wird häufig über Cloud-Dienstanbieter zugegriffen, um große Sprachmodelle wie ChatGPT auszuführen. Der Zugang ist für viele kleine Unternehmen meist nicht einfach und teuer. 

Cerebras behauptet, dass seine neuen Chips eine Leistung liefern können, die über GPUs hinausgeht

Bei der KI-Inferenz handelt es sich um den Prozess, bei dem ein bereits trainiertes KI-Modell betrieben wird, um eine Ausgabe zu erhalten, beispielsweise Antworten von Chatbots und die Lösung verschiedener Aufgaben. Inferenzdienste sind das Rückgrat heutiger KI-Anwendungen, da sie im täglichen Betrieb auf sie angewiesen sind, um Benutzern die Arbeit zu erleichtern.

Laut Cerebras ist Inferenz das am schnellsten wachsende Segment der KI-Branche, da es 40 % aller KI-bezogenen Arbeitslasten im Cloud Computing ausmacht. Andrew Feldman, CEO von Cerebras, sagte, dass die übergroßen Chips des Unternehmens mehr Leistung liefern als eine GPU. GPUs können dieses Niveau nicht erreichen, sagte er. Feldman sprach in einem Interview mit Reuters.

Er fügte hinzu,

„Wir machen es mit höchster Genauigkeit und bieten es zum niedrigsten Preis an.“ Quelle: Reuters .

Der CEO sagte, dass die bestehenden KI-Inferenzdienste nicht für alle Kunden zufriedenstellend seien. Einer separaten Gruppe von Reportern in San Francisco sagte er, dass das Unternehmen „allerlei Interesse“ an schnelleren und kostengünstigeren Lösungen sehe. 

Bisher dominierte Nvidia mit seinen Goldstandard-Chips und der Programmierumgebung Compute Unified Device Architecture (CUDA) den KI-Computing-Markt. Dies hat Nvidia dabei geholfen, Entwickler durch die Bereitstellung einer breiten Palette an Tools an sein Ökosystem zu binden.

Cerbras-Chips verfügen über 7000-mal mehr Speicher als Nvidia H100-GPUs

Cerebras sagte, sein Hochgeschwindigkeits-Inferenzdienst sei ein Wendepunkt für die KI-Branche. Die neuen, tellergroßen Chips des Unternehmens heißen Wafer Scale Engines. Sie können 1000 Token pro Sekunde verarbeiten, was nach Angaben des Unternehmens mit der Einführung des Breitband-Internets vergleichbar sei.

Nach Angaben des Unternehmens liefern die neuen Chips unterschiedliche Leistungsmengen für verschiedene KI-Modelle. Für Llama 3.1 8B können die neuen Chips bis zu 1800 Token pro Sekunde verarbeiten, während sie für Llama 3.1 70B 450 Token pro Sekunde verarbeiten können.

Cerebras bietet Inferenzdienste für 10 Cent pro eine Million Token an, was weniger ist als die auf GPUs basierenden Dienste. In der Regel beeinträchtigen alternative Ansätze nach Ansicht der Industrie die Genauigkeit gegenüber der Leistung, während die neuen Chips von Cerebra nach Angaben des Unternehmens in der Lage sind, die Genauigkeit beizubehalten.

Cerebras sagte, es werde KI-Inferenzprodukte in verschiedenen Formen anbieten. Das Unternehmen plant die Einführung eines Inferenzdienstes über seine Cloud und einen Entwicklerschlüssel. Das Unternehmen wird die neuen Chips auch an Rechenzentrumskunden und solche verkaufen, die ihre eigenen Systeme betreiben möchten.

Die neuen Wafer Scale Engine-Chips verfügen über eigene integrierte Kühl- und Stromversorgungsmodule und sind Teil eines Cerebras-Rechenzentrumssystems namens CS-3. Berichten zufolge ist das Cerebras CS-3-System das Rückgrat des Inferenzdienstes des Unternehmens.

Das System verfügt über 7000-mal mehr Speicherkapazität als Nvidia H100-GPUs. Dies löst auch das grundlegende Problem der Speicherbandbreite, das viele Chiphersteller zu lösen versuchen.

Cerbras arbeitet auch daran, ein börsennotiertes Unternehmen zu werden. Zu diesem Zweck hat sie diesen Monat einen dent Prospekt bei der Securities and Exchange Commission (SEC) eingereicht.