Data Engineering als Fundament für Analysen, denen dein Unternehmen vertraut
Analysen scheitern selten an der Statistik. Sie scheitern daran, dass niemand den zugrunde liegenden Daten traut - und genau dieses Vertrauen entscheidet, ob eine Kennzahl oder ein Dashboard am Ende zur Grundlage für Entscheidungen wird. Wir behandeln Data Engineering deshalb als Infrastrukturaufgabe, die dieselbe Sorgfalt verdient wie die Analyse selbst. Die Systeme, die wir betreuen, verarbeiten jährlich Handelswaren im Wert von mehr als 10 Milliarden US-Dollar, gemessen als Bruttowarenwert (GMV).
Typische Datenprobleme und ihre Lösung
Uneinheitliche Zahlen in jedem Dashboard Wenn Vertrieb und Finance dieselbe Kennzahl unterschiedlich berechnen, verliert das nächste Meeting die erste halbe Stunde mit dem Abgleich der Zahlen statt mit der eigentlichen Entscheidung. Wir schaffen eine einzige verlässliche Datenquelle: Ingestion-Pipelines und nachvollziehbare Datentransformationen sorgen für konsistente Zahlen, abgesichert durch gesteuerte Zugriffsrechte.
Blindflug im operativen Geschäft Zwischen einem Vorfall im Tagesgeschäft und dem nächsten Report liegen oft Stunden, weil Kennzahlen nur einmal täglich per Batch aktualisiert werden. Wir entwickeln dafür Kafka-basierte Streaming-Architekturen, die täglich Millionen Ereignisse verarbeiten, bei HomeToGo etwa 15 Millionen Angebote über mehr als 100 Partnerintegrationen hinweg.
Daten verstreut über zu viele Systeme Verschiedene Systeme führen jeweils ihre eigene Version derselben Zahl. Wir konsolidieren sie in einem zentralen Warehouse, wahlweise Snowflake, BigQuery, Redshift oder Delta Lake beziehungsweise Apache Iceberg.
Eine KI-Schicht auf unfertigem Datenfundament Ein Pilot mit einem Sprachmodell liefert in der Demo überzeugende Ergebnisse und scheitert im Produktivbetrieb an veralteten oder widersprüchlichen Quelldaten. Wir prüfen das vorab in einer Datenbereitschaftsbewertung, die zeigt, ob die vorhandene Infrastruktur KI-Workloads überhaupt bewältigen kann.
Fehlerhafte Daten bleiben unbemerkt Ein stiller Schema-Wechsel in einer Quelle reicht aus, damit ein Report wochenlang falsche Werte ausweist, ohne dass es jemandem auffällt. Wir richten automatisierte Qualitätsprüfungen ein, die Schema-Drift und Nullwerte im Blick behalten und zusätzlich bei Anomalien Alarm schlagen.
Pipeline-Architektur nach Latenzbedarf
Ob du Ergebnisse in Sekunden brauchst oder ein tägliches Batch-Fenster reicht, entscheidet, wie wir die Pipeline entwickeln. Wir setzen die Transformationslogik mit dbt um, das Versionskontrolle und Testbarkeit ermöglicht. Schema-Design und Partitionierung legen wir von Anfang an fest, das Zugriffsmuster gleich mit – das erspart spätere Nacharbeit, sobald die ersten Probleme auftauchen.
Übergabe: Dokumentation, Runbooks, Datenverträge
Jedes Projekt endet mit dokumentierten Schemata und vereinbarten Definitionen für die verwendeten Kennzahlen, klar zugeordneten Verantwortlichkeiten, teamspezifischen Runbooks und Verträgen zwischen den beteiligten Systemen - der Grundlage dafür, dass dein Team die Plattform anschließend selbst übernehmen kann.
Ein japanischer Lebensmittel- und Getränke-Distributor mit landesweitem Vertriebsnetz bekam die Folgen fehlender Governance direkt zu spüren: Großhändler lieferten Produktdaten in völlig unterschiedlichen Formaten und Namenskonventionen; eine zentrale Stammdatenebene und festgelegte Freigabeprozesse fehlten komplett. Wir führten Pimcore als zentrales Master-Data-Management-System ein: ein einheitliches Datenschema und automatisierte Importpipelines, dazu formalisierte Datengovernance mit rollenbasierten Zugriffskontrollen und Validierungsregeln. Die Zeit für die Anbindung eines neuen Lieferanten sank dadurch von vier Wochen auf eine Woche.
Ausgewählte Projekte
Diese Zahlen stammen aus abgeschlossenen und laufenden Projekten:
HomeToGo: Echtzeitplattform mit 15 Millionen Angeboten, mehr als 100 Partner-APIs, 60.000 Partnern, mehr als 50 täglichen Deployments und 150 Entwicklern in drei Ländern.
Größte Kaffeehauskette Vietnams: vier Datenbanken aus 928 Filialen zu einer zentralen Plattform konsolidiert, Umsatzwachstum von 12 Prozent innerhalb von drei Monaten.
Senior Aerospace Thailand: Integration in das ERP-System Infor Syteline, operative Effizienz von 55 Prozent auf 95 Prozent gesteigert.
Europas größte Handelsgenossenschaft außerhalb des Lebensmittelbereichs: rund 1.200 eigene und rund 80.000 Mitarbeitende in angeschlossenen Handelsunternehmen, mehr als 5.500 unabhängige Einzelhändler, Datenabweichungen bei Preisen und Beständen um 50 Prozent reduziert.
procelo GmbH (Schweiz): KI-gestütztes Analysewerkzeug tosca für Fachanwender unabhängig von SQL-Kenntnissen, SQL-Abfragegenauigkeit von über 80 Prozent in einem achtwöchigen Sprint erreicht.
Japanischer Lebensmittel- und Getränke-Distributor: Master Data Management und Datengovernance eingeführt, Anbindung neuer Lieferanten von vier Wochen auf eine Woche verkürzt.
Bei Senior Aerospace Thailand brachte die tiefere Einbindung des bestehenden ERP-Systems Infor Syteline in die Datenprozesse den entscheidenden Fortschritt.
Managed Service oder kundenspezifische Entwicklung
Wie viel Individualentwicklung euer Projekt braucht, hängt davon ab, wie speziell eure Datenquellen und Anforderungen sind.
Ein Managed Service genügt bei standardisierten SaaS-Datenquellen und unkomplizierten Transformationen, solange die Latenzanforderungen im Bereich von Stunden liegen.
Eine kundenspezifische Entwicklung wird nötig bei proprietären Datenquellen, bei Partner-APIs, für die erst ein Konnektor entwickelt werden muss, bei Streaming-Anforderungen, bei komplexen Geschäftsregeln oder bei Compliance-Anforderungen an die interne Infrastruktur.
Zusammenhang mit anderen Leistungen
Für generative KI bestimmen wir mit der Datenbereitschaftsbewertung, ob die vorhandene Infrastruktur generative KI überhaupt unterstützen kann. Bei der Modernisierung von Altsystemen entwickeln wir häufig zugleich die Datenschicht neu. Innerhalb von Transformations-Roadmaps übernehmen wir mit Data Engineering die Umsetzung der Datenstrategie-Komponenten.
Drei Stufen der Zusammenarbeit
Datenarchitektur-Analyse (2 bis 3 Wochen, Festpreis) Eine Bewertung des Ist-Zustands, eine Architekturempfehlung und ein priorisierter Umsetzungsplan.
Aufbau einer Datenplattform (3 bis 6 Monate) Ingestion, Warehouse oder Lakehouse, Transformationen und Qualitätsüberwachung, gegliedert in Phasen mit jeweils funktionsfähigen Zwischenergebnissen, jede Phase mit den passenden Übergabeunterlagen für eine eigenständige Weiterführung.
Laufender Plattform-Support (monatliches Abonnement) Pipeline-Monitoring, Reaktion auf Störfälle, Weiterentwicklung von Schemata, Anbindung neuer Quellen und Optimierung, mit einem namentlich benannten Entwickler als festem Ansprechpartner.
Häufig gestellte Fragen
Wie lange dauern die Analyse und der Plattformaufbau genau?
Die Datenarchitektur-Analyse dauert 2 bis 3 Wochen und läuft zum Festpreis. Am Ende weißt du, wo eure Systeme stehen und welche Architektur wir empfehlen. Dazu bekommst du einen Plan, in welcher Reihenfolge ihr die Umsetzung angeht. Der Aufbau der Datenplattform dauert danach 3 bis 6 Monate, unterteilt in Phasen mit jeweils funktionsfähigen Zwischenergebnissen. Am Ende bekommt dein Team die vollständigen Übergabeunterlagen, um die Plattform selbstständig weiterzuführen.
Können wir mit unserem bestehenden Data-Team zusammenarbeiten?
Ja. Viele Projekte laufen gemeinsam mit eurem schon bestehenden Data-Team ab, das seine Aufgaben dabei behält. Rolle und Zuständigkeiten werden zu Beginn klar zugeordnet, damit euer Team und unser Team an denselben Schemata und Definitionen arbeiten. Das gilt für die Datenarchitektur-Analyse ebenso wie für den Aufbau der Plattform und den laufenden Plattform-Support.
Sind wir fest an eure Werkzeuge wie dbt gebunden?
Nein. Wie wir die Pipeline-Architektur entwickeln, hängt von deinen Latenzanforderungen ab. Snowflake, BigQuery, Redshift, Delta Lake, Apache Iceberg, dbt und Kafka kommen oft zum Einsatz, weil sie zu vielen Anforderungen passen. Wir arbeiten aber ebenso mit anderen als den hier genannten Werkzeugen, wenn deine Systemlandschaft das verlangt.
Wie unterscheidet sich dieses Angebot von eurer Datenbereitschaftsbewertung für generative KI?
Die Datenbereitschaftsbewertung für generative KI prüft gezielt, ob die vorhandene Infrastruktur KI-Workloads unterstützen kann und bleibt eng gefasst. Data Engineering ist umfassender angelegt: Es reicht von Ingestion-Pipelines über den Aufbau eines Warehouse oder Lakehouse bis zur laufenden Qualitätsüberwachung, unabhängig davon, ob am Ende eine KI-Schicht entstehen soll. Läuft parallel eine KI-Initiative, liefern wir mit der Bewertung die engere Analyse und mit Data Engineering die Infrastruktur dafür.
Bleiben wir nach dem Ende dieses Projekts dauerhaft von euch abhängig?
Nein. Wir übergeben die Plattform nach Projektabschluss an dein eigenes Team, einschließlich vollständiger Dokumentation und Runbooks, dazu vereinbarter Datenverträge zwischen den beteiligten Systemen. Bei Europas größter Handelsgenossenschaft außerhalb des Lebensmittelbereichs entstand dadurch eine Systemdokumentation, die vorher komplett fehlte, danach arbeiten sich neue Entwickler spürbar schneller ein, weil das Wissen über das System festgehalten ist.
Uns fehlt intern ein eigenes Data-Engineering-Team, was schlagt ihr vor?
Es gibt dafür zwei Wege. Entweder unterstützen wir dabei, die passenden Rollen genau zu definieren und die richtigen Leute für dein Team zu finden, damit mit der Zeit ein eigenes Team entsteht. Oder wir übernehmen den laufenden Plattform-Support direkt selbst als monatliches Abonnement: Wir behalten die Pipelines im Blick und kümmern uns um Störfälle. Die Schemata entwickeln wir laufend weiter, mit einem namentlich benannten Entwickler als festem Ansprechpartner.
Mehr als 10 Milliarden US-Dollar Warenwert pro Jahr
Darin steckt der Bruttowarenwert (GMV) von Plattformen wie HomeToGo oder Europas größter Handelsgenossenschaft außerhalb des Lebensmittelbereichs - Systeme, bei denen sich jeder Datenfehler unmittelbar im Tagesgeschäft bemerkbar macht.
Starte nun mit deiner Datenarchitektur-Analyse zum Festpreis
In 2 bis 3 Wochen liegt die Empfehlung für eure Architektur auf dem Tisch, dazu ein priorisierter Plan für die Umsetzung – zum Festpreis, und danach entscheidest du frei, wie es weitergeht.