©Pure Storage

Von autonomen Fahrzeugen bis hin zur Genomforschung verschiebt KI die Grenzen des Möglichen – die geeignete Speicherinfrastruktur trägt dazu bei, diese Entdeckungen zu beschleunigen

Im Wettlauf um die künstliche Intelligenz gibt die Speichertechnologie den Takt vor. Während Algorithmen und Rechenleistung im Rampenlicht stehen, sind es die Speicherinfrastrukturen, die KI-Durchbrüche ermöglichen. Die ersten KI-Bemühungen wurden durch die algorithmische Komplexität und Datenknappheit eingeschränkt, aber mit fortschreitender Entwicklung der Algorithmen traten Speicherengpässe auf.

Hochleistungsspeicher ermöglichten Durchbrüche wie GPT-3, das Petabytes an Speicherplatz benötigte. Mit dem Fortschritt der KI stellte jede Innovationswelle neue Anforderungen an die Speicherung. Dies trieb die Weiterentwicklung von Kapazität, Geschwindigkeit und Skalierbarkeit voran, um immer komplexere Modelle und größere Datensätze zu bewältigen.

Speicher – oder Storage – unterstützt nicht nur speziell KI. Die Branche brachte wegweisende Technologien hervor, um die weltweit ständig wachsenden Datenmengen, insbesondere bei KI, effizient und in großem Maßstab zu verwalten. Gerade KI-Anwendungen wie etwa im Bereich des autonomen Fahrens sind auf Storage-Plattformen angewiesen, die in der Lage sind, Petabytes an Sensordaten in Echtzeit zu verarbeiten. Die Genomforschung benötigt ebenso einen schnellen Zugriff auf riesige Datensätze, um Entdeckungen zu beschleunigen. Da KI die Grenzen des Datenmanagements immer weiter verschiebt, stehen herkömmliche Speichersysteme jedoch vor wachsenden Herausforderungen, mit diesen Anforderungen Schritt zu halten. Dies macht den Bedarf an speziell entwickelten Lösungen deutlich.

Wie KI-Workloads herkömmliche Speichersysteme belasten

KI-Anwendungen verwalten Datensätze, die von Terabytes bis zu Hunderten von Petabytes reichen, was die Fähigkeiten herkömmlicher Speichersysteme wie NAS (Network Attached Storage), SAN (Storage Area Network) und veraltetem DAS (Direct Attached Storage) bei Weitem übersteigt. Diese Systeme, die für präzise, transaktionale Workloads/Arbeitslasten wie die Erstellung von Berichten oder das Abrufen bestimmter Datensätze ausgelegt sind, haben mit den aggregationsintensiven Anforderungen der Data Science und den umfassenden, schnellen Zugriffsmustern von KI/ML-Arbeitslasten zu kämpfen. Das Modelltraining, das eine massive, stapelweise Datenabfrage über ganze Datensätze hinweg erfordert, verdeutlicht diese Diskrepanz. Die starren Architekturen, Kapazitätsbeschränkungen und der unzureichende Durchsatz herkömmlicher Infrastrukturen machen sie für den Umfang und die Geschwindigkeit der KI ungeeignet.

Echtzeitanalysen und Entscheidungsfindung sind für KI-Workloads unerlässlich, aber herkömmliche Speicherarchitekturen verursachen häufig Engpässe mit unzureichenden IOPS (Input/Output Operations Per Second), da sie für moderate Transaktionsaufgaben und nicht für die intensiven, parallelen Lese-/Schreib-Anforderungen von KI ausgelegt sind. Darüber hinaus verzögert eine hohe Latenz durch rotierende Festplatten oder veraltete Caching-Mechanismen den Datenzugriff, was die Zeit bis zur Erkenntnis verlängert und die Effizienz von KI-Prozessen verringert.

KI-Systeme verarbeiten sowohl strukturierte als auch unstrukturierte Daten, einschließlich Text, Bilder, Audio und Video, aber herkömmliche Speicherlösungen haben mit dieser Vielfalt zu kämpfen. Sie sind oft für strukturierte Daten optimiert, was zu einem langsamen Abruf und einer ineffizienten Verarbeitung unstrukturierter Formate führt. Darüber hinaus erschweren eine schlechte Indexierung und Metadatenverwaltung die effektive Organisation und Suche in verschiedenen Datensätzen. Herkömmliche Systeme haben auch Leistungsprobleme mit kleinen Dateien, wie sie beim Training von Sprachmodellen üblich sind, da ein hoher Metadaten-Overhead zu Verzögerungen und längeren Verarbeitungszeiten führt.

Die kumulative Wirkung dieser Herausforderungen führt dazu, dass herkömmliche Speicherarchitekturen nicht mit den Anforderungen moderner KI-Workloads Schritt halten können. Ihnen fehlt die Agilität, Leistung und Skalierbarkeit, die erforderlich ist, um die vielfältigen und umfangreichen Datenanforderungen von KI zu unterstützen. Diese Einschränkungen unterstreichen den Bedarf an fortschrittlichen Speicherlösungen, die für die einzigartigen Herausforderungen von KI-Anwendungen ausgelegt sind, wie z. B. schnelle Skalierbarkeit, hoher Durchsatz, geringe Latenz und vielfältige Datenverarbeitung.

Die wichtigsten Speicherherausforderungen der KI

KI-Workloads stellen einzigartige Anforderungen an Speichersysteme, und die Bewältigung dieser Herausforderungen erfordert fortschrittliche Funktionen in den folgenden Bereichen:

  • Einheitliche Datenkonsolidierung: Datensilos fragmentieren wertvolle Informationen. Daher ist eine Konsolidierung erforderlich in einer einheitlichen Plattform, die verschiedene KI-Workloads für nahtlose Verarbeitung und Training unterstützt.
  • Skalierbare Leistung und Kapazität: Eine robuste Speicherplattform muss verschiedene I/O-Profile verwalten und von Terabyte bis Exabyte skalieren können, um einen Zugriff mit geringer Latenz und hohem Durchsatz zu gewährleisten. Eine unterbrechungsfrei skalierbare Plattform ermöglicht eine nahtlose Erweiterung der KI-Workloads bei steigendem Datenbedarf und sorgt so für einen reibungslosen, unterbrechungsfreien Betrieb.
  • Flexibilität bei der Skalierung nach oben und nach unten: Die Verarbeitung von Transaktionszugriffen mit geringer Latenz für Vektordatenbanken und Workloads sowie mit hoher Parallelität für Training und Inferenz erfordert eine Plattform, die beide Funktionen bietet.
  • Zuverlässigkeit und kontinuierliche Verfügbarkeit: Da KI für Unternehmen immer wichtiger wird, ist eine Verfügbarkeit von 99,9999 Prozent unerlässlich. Eine Speicherplattform muss unterbrechungsfreie Upgrades und Hardware-Aktualisierungen unterstützen und einen kontinuierlichen Betrieb ohne für Endbenutzer spürbare Ausfallzeiten gewährleisten.

Optimierte Speicherung für die gesamte KI-Pipeline

Effektive Speicherlösungen sind in jeder Phase der KI-Pipeline, von der Datenkuratierung bis hin zum Training und zur Inferenz, unerlässlich, da sie einen effizienten und skalierbaren Betrieb von KI-Workloads ermöglichen. KI-Pipelines erfordern Speicher, der latenzempfindliche Aufgaben nahtlos bewältigen kann, sich an hohe Anforderungen an die Gleichzeitigkeit anpassen lässt, verschiedene Datentypen unterstützt und die Leistung in verteilten Umgebungen aufrechterhält.

In der Phase der Datenkuratierung beginnt die Verwaltung von Datensätzen im Petabyte- bis Exabyte-Bereich mit der Aufnahme (Ingestion). Hierbei muss die Speicherung nahtlos skaliert werden, um massive Datenmengen zu bewältigen und gleichzeitig einen hohen Durchsatz zu gewährleisten.

Echtzeitanwendungen, wie z. B. autonomes Fahren, erfordern Speicher mit geringer Latenz, der eingehende Daten sofort verarbeiten kann. DirectFlash-Module (DFMs) zeichnen sich in diesen Szenarien dadurch aus, dass sie herkömmliche SSD-Architekturen umgehen, um direkt auf NAND-Flash zuzugreifen, und so eine schnellere, konsistentere Leistung mit deutlich reduzierter Latenz bieten. Im Vergleich zu herkömmlichen SSDs und SCM (Storage-Class Memory) bieten DFMs auch eine höhere Energieeffizienz, sodass Unternehmen die Anforderungen großer KI-Workloads erfüllen und gleichzeitig den Stromverbrauch optimieren und eine vorhersehbare Leistung bei hoher Gleichzeitigkeit aufrechterhalten können.

Während der Persistenz müssen Datenspeicherlösungen die langfristige Aufbewahrung und den schnellen Zugriff auf häufig abgerufene Daten unterstützen. Der Verarbeitungsschritt ist entscheidend für die Vorbereitung von Daten für das Training, bei dem der Speicher eine Reihe von Datentypen und -größen effizient verwalten sowie strukturierte und unstrukturierte Daten in Formaten wie NFS, SMB und Objekt verarbeiten muss.

In der KI-Trainings- und Inferenzphase erzeugt das Modelltraining intensive Lese-/Schreib-Anforderungen, die Scale-out-Architekturen nötig machen, um die Leistung über mehrere Nodes hinweg sicherzustellen. Effiziente Checkpointing- und Versionskontrollsysteme sind in dieser Phase von entscheidender Bedeutung, um Datenverluste zu vermeiden. Neben dem Checkpointing stellen neu entstehende Architekturen wie Retrieval-Augmented Generation (RAG) Speichersysteme vor einzigartige Herausforderungen. RAG beruht auf der effizienten Abfrage externer Wissensdatenbanken während der Inferenz und erfordert einen Speicher mit geringer Latenz und hohem Durchsatz, der in der Lage ist, gleichzeitige, parallele Abfragen zu verarbeiten. Dies erhöht den Druck auf das Metadatenmanagement und die skalierbare Indexierung und erfordert fortschrittliche Speicherarchitekturen, um die Leistung ohne Engpässe zu optimieren.

Durch die Abstimmung von Speicherlösungen auf die spezifischen Anforderungen jeder Pipeline-Stufe können Unternehmen die KI-Leistung optimieren und die Flexibilität beibehalten, die zur Unterstützung sich entwickelnder KI-Anforderungen erforderlich ist.

Eine moderne Speicherplattform bildet das Rückgrat der KI

Die Modellkomplexität und Datenintensität von KI-Anwendungen nimmt zu und stellt exponentiell steigende Anforderungen an die Speicherinfrastruktur. Herkömmliche Storage-Architekturen können diese Anforderungen nicht erfüllen, sodass die Einführung agiler, leistungsstarker Storage-Lösungen unerlässlich ist. Die symbiotische Beziehung zwischen KI und Speicherplattformen bedeutet, dass Fortschritte im Speicherbereich den KI-Fortschritt nicht nur unterstützen, sondern auch beschleunigen. Für Unternehmen, die gerade erst anfangen, sich mit KI zu beschäftigen, ist Flexibilität von entscheidender Bedeutung. Sie benötigen Speicher, der mit ihren wachsenden Daten- und Rechenanforderungen skaliert werden kann, mehrere Formate (z. B. Datei, Objekt) unterstützt und sich leicht in vorhandene Tools integrieren lässt.

Unternehmen, die in moderne Speicherplattformen investieren, positionieren sich an der Spitze der Innovation. Dies erfordert zunächst eine Bewertung der bestehenden Infrastruktur, um aktuelle Einschränkungen und Bereiche für sofortige Verbesserungen zu identifizieren. Der Bedarf für skalierbare Lösungen macht Plattformen erforderlich, die Flexibilität, hohe Leistung und nahtloses Wachstum bieten. Schließlich gilt es, für zukünftige Anforderungen zu planen, um sicherzustellen, dass sich die Plattform mit den KI-Innovationen weiterentwickelt. Durch die Priorisierung von Speicherplattformen als Kernkomponente der KI-Strategie können Unternehmen neue Möglichkeiten erschließen, kontinuierliche Innovationen vorantreiben und sich in der datengesteuerten Zukunft einen Wettbewerbsvorteil sichern.

Weitere Informationen!

Disclaimer:
„Für den oben stehenden Beitrag sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Nutzer verantwortlich. Eine inhaltliche Kontrolle des Beitrags seitens der Seitenbetreiberin erfolgt weder vor noch nach der Veröffentlichung. Die Seitenbetreiberin macht sich den Inhalt insbesondere nicht zu eigen.“