Stefan Marx, Director Platform Strategy bei Datadog ©Datadog

Egal wo man hinschaut, aktuell sieht es in fast jedem deutschen Unternehmen ähnlich aus: neue KI Anwendungsfälle werden getestet, Modelle in bestehende Prozesse integriert und Budgets für Infrastruktur, Tools und Governance ausgeweitet. Branchenübergreifend. Doch mit der Verbreitung wächst eine zentrale Herausforderung: Viele Organisationen können noch nicht belastbar beantworten, welchen geschäftlichen Wert ihre KI-Investitionen tatsächlich schaffen. Geld kosten sie aber trotzdem schon, und das nicht zu wenig.

Unternehmen pilotieren, implementieren und skalieren mit hoher Geschwindigkeit. Was häufig fehlt, ist ein ebenso systematischer Ansatz, um Qualität, Kosten und Nutzen im laufenden Betrieb zu messen. Während die technischen Systeme komplexer werden, bleibt die Bewertung ihres Return on Investment vielerorts erstaunlich unscharf.

Wenn aus Innovation Ergebnisverantwortung wird

In der frühen Phase einer neuen Technologie genügt häufig ein überzeugender Prototyp, um Aufmerksamkeit und interne Unterstützung zu gewinnen. Sobald eine Anwendung jedoch produktiv eingesetzt wird, ändern sich die Maßstäbe. Dann müssen Unternehmen konkrete Fragen beantworten:

  • Welche Prozesse werden nachweislich schneller oder besser?
  • Wo sinken operative Kosten?
  • Welche neuen Umsätze oder Geschäftsmodelle entstehen?
  • Wie stabil ist die Leistung im täglichen Betrieb?
  • Steht der erzielte Nutzen in einem angemessenen Verhältnis zu den laufenden Ausgaben?

Diese Fragen gewinnen an Bedeutung, weil moderne KI-Workflows nur selten aus einem einzelnen Modell bestehen, das eine klar abgegrenzte Aufgabe erledigt. In der Praxis entstehen mehrstufige Systeme mit mehreren Modellen, Retrieval-Komponenten, Tool-Aufrufen, umfangreichen Prompt-Strukturen und komplexen Orchestrierungslogiken. Jede zusätzliche Komponente erweitert die Möglichkeiten,erhöht aber zugleich Kosten, Abhängigkeiten und Steuerungsbedarf.

Multi-Model-Strategien schaffen Flexibilität und neue Risiken

Viele Unternehmen setzen inzwischen mehrere KI-Modelle parallel ein. Je nach Anwendungsfall lassen sich damit Qualität, Geschwindigkeit, Kosten und regulatorische Anforderungen besser austarieren. Ein leistungsstarkes Modell kann beispielsweise für anspruchsvolle Analysen oder der Planung komplexer Workflows genutzt werden, während ein kleineres und günstigeres Modell Routineaufgaben übernimmt sowie eben jene Workflowschritte im detail ausführt..

Diese Flexibilität hat jedoch ihren Preis. Jedes zusätzliche Modell verfügt über ein eigenes Leistungsprofil, eine eigene Kostenstruktur und spezifische Governance-Anforderungen. Werden fortlaufend neue Modelle getestet, während bestehende Lösungen im produktiven Betrieb verbleiben, wächst das Portfolio schnell zu einer schwer steuerbaren Landschaft heran.

Aus einer bewussten Multi-Model-Strategie kann so schleichend ein System entstehen, das teuer, schwer vergleichbar und nur eingeschränkt kontrollierbar ist. Investitionen lassen sich aber nur dann sinnvoll priorisieren, wenn nachvollziehbar ist, welches Modell für welchen Anwendungsfall unter welchen Bedingungen den größten Mehrwert liefert.

Die größten Kosten entstehen nicht immer beim Modell

In Diskussionen über den KI-ROI richtet sich der Blick häufig zuerst auf die Preise der verwendeten Modelle. Ein wesentlicher Teil der Kosten entsteht jedoch im Betrieb durch unnötig große Kontextfenster, wiederholte Prompt-Bestandteile, zu viele Verarbeitungsschritte, ineffiziente Retrieval-Prozesse oder agentische Abläufe, deren Verhalten nicht ausreichend transparent ist.

Gerade bei komplexen KI-Systemen erweist sich der Übergang vom Prototyp zum verlässlichen Produktionssystem als anspruchsvoll. Änderungen an der Modellwahl, der Prompt-Struktur oder der Retrieval-Logik können sich unmittelbar auf Latenz, Fehlerraten, Ergebnisqualität und Kosten auswirken. Klassische Methoden des IT-Monitorings reichen häufig nicht aus, um diese Zusammenhänge vollständig abzubilden.

Hinzu kommen umfangreiche Systemprompts, Richtlinien und Tool-Anweisungen, mit denen Unternehmen das Verhalten ihrer Anwendungen steuern. Solche Strukturen können die Zuverlässigkeit erhöhen, treiben jedoch gleichzeitig den Token-Verbrauch. Werden wiederkehrende Bestandteile nicht modularisiert, optimiert oder zwischengespeichert, fallen bei jeder Anfrage erneut Kosten für identische Inhalte an. Die Ausgaben steigen dann, ohne dass der geschäftliche Nutzen proportional wächst.

Warum der Nutzen von KI schwer messbar bleibt

Dass Unternehmen den Wert ihrer KI-Initiativen oft nur unzureichend nachweisen können, liegt nicht allein an der hohen Entwicklungsgeschwindigkeit des Marktes. Häufig wird die Messbarkeit einfach zu spät berücksichtigt. Zuerst wird implementiert, anschließend skaliert und erst danach stellt sich die Frage, welche Kennzahlen verlässlich Auskunft über Qualität, Effizienz und Nutzen geben.

Reine Nutzungszahlen genügen dafür nicht. Auch pauschale Aussagen über Produktivitätsgewinne helfen Entscheiderinnen und Entscheidern nur begrenzt. Relevant sind vielmehr Fragen wie:

  • Welche Anwendungsfälle liefern dauerhaft stabile Ergebnisse?
  • Wo steigen die Kosten schneller als Qualität oder Output?
  • Welche Fehler treten im produktiven Betrieb auf?
  • Wo verursachen Wiederholungen, Lastspitzen oder Rate Limits unnötige Ausgaben?
  • Wann erzeugt zusätzliche technische Komplexität keinen zusätzlichen Geschäftswert mehr?

Erst wenn Unternehmen diese Zusammenhänge kontinuierlich erfassen, können sie KI als betriebswirtschaftlich belastbares Investment steuern.

Weshalb das Thema die Vorstandsebene erreicht

In dem aktuell anspruchsvolleren wirtschaftlichen Umfeld werden Technologieinvestitionen wieder stärker anhand klassischer Managementkriterien bewertet: Effizienz, Skalierbarkeit, Zuverlässigkeit und Kapitalrendite. Künstliche Intelligenz bildet dabei keine Ausnahme.

Für Vorstände und Geschäftsführungen ist KI deshalb zunehmend eine Steuerungsfrage. Wer hohe Erwartungen formuliert und erhebliche Budgets freigibt, muss erklären können, unter welchen Bedingungen daraus ein wirtschaftlicher Nutzen entsteht. Dafür benötigen Unternehmen neben Innovationsbereitschaft auch operative Disziplin inklusive klarer Zielbilder, definierter Erfolgsmetriken, kontinuierlicher Evaluation sowie Kontrolle über Kosten, Modelle, Datenflüsse und Architekturen.

Drei Schritte vom Experiment zur Wertschöpfung

Der schwer greifbare KI-ROI ist kein unvermeidbarer Zustand. Unternehmen müssen ihre Investitionen jedoch konsequenter führen. Drei Voraussetzungen sind dafür entscheidend.

1. Anwendungsfälle nach Geschäftswirkung priorisieren

Nicht jede technisch mögliche KI-Idee sollte produktiv umgesetzt werden. Entscheidend ist, ob ein realistischer und messbarer Business Impact zu erwarten ist. Bereits vor dem Pilotprojekt sollten Unternehmen festlegen, welches Problem gelöst werden soll, welche Ausgangswerte gelten und anhand welcher Kriterien über eine Skalierung entschieden wird.

2. Kosten, Qualität und Leistung gemeinsam betrachten

Ein günstiges System ist nicht automatisch wirtschaftlich, wenn seine Ergebnisse unzuverlässig sind. Umgekehrt ist maximale Modellqualität nicht für jeden Anwendungsfall erforderlich. Unternehmen brauchen deshalb eine gemeinsame Sicht auf Kosten, Latenz, Ergebnisqualität, Fehlerraten und Geschäftswirkung. Nur so lassen sich Modelle und Architekturen sinnvoll vergleichen und optimieren.

3. Governance an die technische Komplexität anpassen

Multi-Model-Setups, agentische Systeme und große Kontextfenster erhöhen die Flexibilität. Nachhaltigen Nutzen schaffen sie jedoch nur, wenn Verantwortlichkeiten, Freigabeprozesse und technische Kontrollmechanismen mitwachsen. Dazu gehört auch, nicht mehr benötigte Modelle und Komponenten konsequent aus dem Betrieb zu entfernen.

Fazit: Die nächste Phase der KI entscheidet sich im Betrieb

Der entscheidende Engpass der aktuellen KI-Adoption ist die Fähigkeit, komplexe KI-Systeme transparent, zuverlässig und wirtschaftlich zu betreiben. Unternehmen, die ihre Anwendungen kontinuierlich beobachten und Kosten, Qualität sowie Nutzen miteinander verknüpfen, können fundierter entscheiden: Welche Anwendungsfälle sollten skaliert werden? Welche Modelle sind für eine Aufgabe angemessen? Und wo übersteigt die technische Komplexität den zusätzlichen Nutzen?

Observability-Plattformen können dabei helfen, die notwendige Transparenz über den IT- und KI-Stack herzustellen. Sie sind jedoch kein Ersatz für eine klare Strategie und belastbare Erfolgsmetriken. Erst das Zusammenspiel aus technischer Beobachtbarkeit, operativer Governance und konsequenter Business-Orientierung macht aus KI-Pilotprojekten dauerhaft wertschöpfende Systeme.

Über den Autor: Stefan Marx ist Director Platform Strategy bei Datadog und verantwortet dort die strategische Ausrichtung der Plattform mit Schwerpunkt auf Sicherheitsarchitektur und Enterprise-Anforderungen. Zuvor hat er Unternehmen unterschiedlicher Branchen bei der Einführung von Observability-Lösungen in komplexen, regulierten Umgebungen begleitet. Sein fachlicher Fokus liegt auf der Frage, wie Plattformen gebaut sein müssen, damit operative Transparenz und strukturelle Sicherheit keine konkurrierenden Ziele bleiben.

Disclaimer:
„Für den oben stehenden Beitrag sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Nutzer verantwortlich. Eine inhaltliche Kontrolle des Beitrags seitens der Seitenbetreiberin erfolgt weder vor noch nach der Veröffentlichung. Die Seitenbetreiberin macht sich den Inhalt insbesondere nicht zu eigen.“