Zwischen einem Modell, das in der Entwicklung überzeugt, und einem System, das im Dauerbetrieb verlässlich läuft, liegt in der Praxis mehr Arbeit, als die meisten Teams einplanen. Die meisten KI-Initiativen scheitern an genau dieser Stelle, weil dieser Aufwand regelmäßig unterschätzt wird. Datenpipelines, die für einen kontrollierten Testdatensatz funktionierten, versagen unter echten Traffic-Mustern. Eine Inferenzlatenz, die in einer Demo noch akzeptabel war, wird bei wachsender Skalierung zum Problem für dein Nutzererlebnis. Verändert sich die Verteilung der Eingabedaten, verschlechtert sich die Modellleistung langsam und unbemerkt – das Geschäftsergebnis leidet, bevor es jemand bemerkt. Die meisten Unternehmen behandeln Pipeline-Engineering, Modellversionierung, Inferenz-Infrastruktur und Monitoring als getrennte Probleme, die später gelöst werden. Wir entwickeln sie von Anfang an als ein einziges System.

Drei Phasen: ML-Bewertung, Grundlagenaufbau, Betrieb und Optimierung

Das Vorgehen gliedert sich in drei Phasen:

| Phase | Dauer | Inhalt | | --- | --- | --- | | ML-Bewertung | 1 bis 2 Wochen | Erfassung des bestehenden Modellbestands, der Pipelines, der Infrastruktur, der Monitoring-Abdeckung und der Datenqualität, mit schriftlicher Einschätzung dazu, was davon stabil läuft und was überarbeitet oder neu aufgebaut werden muss. | | Grundlagenaufbau | 4 bis 8 Wochen | Aufbau der zentralen MLOps-Infrastruktur: Pipelines, Modell-Registry, Deployment-Automatisierung, Monitoring und Inference Serving, zugeschnitten auf Modellanzahl und Traffic-Volumen. | | Betrieb und Optimierung | laufend | Drift-Erkennung, automatisiertes Retraining, Kosten-Transparenz und Governance-Kontrollen für zuverlässige Modelle bei wachsendem Volumen und zunehmender Komplexität. |

Es gibt für kleinere Teams eine schlankere Variante mit geringerem operativem Aufwand, siehe MLOps-Lite weiter unten. Die Umsetzung läuft auf deiner bestehenden ML-Plattform oder auf einer neu aufgebauten, etwa mit Kubeflow, MLflow, SageMaker oder Vertex AI. Die fachliche Disziplin zählt dabei mehr als das jeweilige Tool: Es brauchte bei einer der größten europäischen Handelsgenossenschaften außerhalb des Lebensmittelbereichs sechs Monate, um ein über Jahre gewachsenes System vollständig zu verstehen, bevor überhaupt eine Änderung vorgeschlagen wurde. Wir brachten Änderungen danach gezielt dort ein, wo die Wirkung am größten war, und halbierten anschließend mit automatisierter Datensynchronisierung die Datenabweichungen bei Preisen und Beständen; der Kern der Plattform blieb dabei unverändert.

Pipeline- und Modell-Lebenszyklus, Infrastruktur, Optimierung

Diese drei Bereiche hängen eng zusammen: Entscheidungen im Pipeline- und Modell-Lebenszyklus wirken sich unmittelbar auf Infrastrukturbedarf und Betriebskosten aus.

Wir entwickeln im Kernbereich Pipeline- und Modell-Lebenszyklus durchgängige ML-Pipelines, die wiederholbar und testbar sind und deren Versionsstand sich jederzeit nachvollziehen lässt, mit Feature Engineering samt Lineage-Tracking, Trainingsläufen, die sich anhand eines Commit-Hashs reproduzieren lassen, Modell-Registries mit Promotion Gates und Deployment-Pipelines, die ein Modell-Artefakt mit derselben Disziplin behandeln wie Anwendungscode. Produktionsmodelle bekommen zusätzlich statistisches Monitoring: Es verfolgt Verschiebungen der Eingabeverteilung und nachlassende Ausgabesicherheit. Abweichungen bei Geschäftskennzahlen fließen ebenfalls ein, und das System löst Warnmeldungen aus, bevor die Leistung einen kritischen Schwellenwert unterschreitet. Automatisiertes Retraining schließt den Kreislauf zwischen Monitoring und Verbesserung: Ausgelöst durch Drift-Signale oder nach Zeitplan, validieren die Pipelines gegen zurückgehaltene Evaluierungsdatensätze und gehen erst dann in Produktion, wenn die Leistungsschwellen erreicht sind. Jedes Retraining-Ereignis erzeugt für Finanzdienstleistungen und Identitätsprüfung zusätzlich einen auditierbaren Datensatz für regulatorische Zwecke.

Serving-Muster für Inferenz entstehen passend zum jeweiligen Lastprofil, ob Batch, Echtzeit oder asynchron: mit passend dimensionierter Rechenleistung und Caching dort, wo die Latenz es erlaubt – dazu Benchmarking gegen Kosten- und SLA-Ziele vor dem Go-Live. Bei GPU-abhängigen Modellen kommen zusätzlich Auslastungs-Baselines und Spot-Instanz-Strategien zum Einsatz, dazu Modellquantisierung, soweit die Genauigkeitstoleranzen das zulassen. ML-spezifische Datenpipelines für Erfassung, Transformation, Validierung und Nachverfolgung der Datenherkunft kommen dazu.

Bei der Optimierung wird sichtbar, welchen Geschäftswert deine KI-Ausgaben bringen: welche Modelle zu welchen Kosten pro Inferenz laufen und wo sich diese Kosten durch Architekturänderungen senken lassen, bei gleichbleibender Ergebnisqualität.

Regulierte Branchen und Datensouveränität

Modelltraining und Inferenzläufe sind für regulierte ML-Workloads – etwa in Finanzdienstleistungen oder im Gesundheitswesen – zugleich Compliance-Entscheidungen. Trainings- und Serving-Infrastruktur steht deshalb in der EU Sovereign Cloud oder vollständig On-Premise zur Verfügung, je nach Anforderung. Offene Modelle wie Llama, Mistral oder Phi laufen dabei vollständig On-Premise, unabhängig von externen APIs. Daten für Training und Evaluierung bleiben ebenso wie spätere Retraining-Daten während des gesamten Modell-Lebenszyklus innerhalb deiner festgelegten Residenzgrenzen. Ob EU Sovereign Cloud oder On-Premise besser passt, richtet sich nach deinen Compliance-Vorgaben.

Referenzen

Fünf Beispiele zeigen das in der Praxis:

IDNow: Seit mehreren Jahren ML-Entwicklung für Dokumenten- und Gesichtserkennung sowie Betrugserkennung im Unternehmensmaßstab, mit Compliance und Auditierbarkeit in jeder Bereitstellung.

Shopware: 21-köpfiges Entwicklerteam, KI-Funktionen wie Flow Builder und KI-generierte Produktbeschreibungen, dazu intelligente Suche, produktiv im Einsatz bei Hunderttausenden Händlern in ganz Europa; rund 40 Prozent geringere Produktentwicklungskosten (COGS).

Procelo: KI-Agent für automatisierte Datenanalyse, mehr als 80 Prozent SQL-Abfragegenauigkeit über komplexe ERP-Schemata hinweg, erreicht innerhalb eines achtwöchigen Einsatzes; Kosten- und Latenzanalyse als zentrales Ergebnis, denn ein Modell mit unpassendem Kostenprofil rechnet sich am Ende nicht.

Content-Operations-Plattform aus Berlin: Vertieftes Engagement seit 2022, produktiver KI-Assistent mit Hinweisen zu SEO und Lesbarkeit direkt in der Schreiboberfläche, dazu Empfehlungen zum Workflow.

Deutscher Optik- und Optoelektronikkonzern: KI-gestützte Bildverbesserung und automatisierte Tierart-Erkennung, dazu patentangemeldete KI-Kolorierung von Graustufen-Nachtaufnahmen, fünffaches tägliches Bildverarbeitungsvolumen.

Alle genannten Zahlen stammen aus laufenden Projekten, weitere Referenzen sind unter einer Vertraulichkeitsvereinbarung verfügbar.