E-Mail raus, Bestellung rein, Social Media Kommentar hier, Tracking Daten dort. Bei der riesigen Datenflut, die täglich in Unternehmen hinein und wieder heraus gespült wird, ist es schwer, den Überblick zu behalten. Jedoch nicht für Data Engineers. Die Hauptaufgabe der sogenannten Datenarchitekt*innen ist es, den Informationsströmen Herr zu werden und den Input sämtlicher Kanäle zu strukturieren. Über eine Plattform, meist eine Cloudlösung, werden die Daten unterschiedlichen Zielgruppen zugänglich gemacht. Den Informationsfluss innerhalb des Unternehmens sicherzustellen ist somit das oberste Ziel der Datenkapitän*innen. Dazu müssen Datenpipelines aufgebaut und die Architektur für eine zentrale Datenplattform geschaffen werden.
Für Data Scientists, die anschließend die Daten auswerten, ist die Arbeit der Data Engineers besonders wertvoll, da sie ihnen einfachen Zugang zu bereinigten Daten ermöglichen. Mit welchen Mitteln wird die Flut bezwungen? Zum wichtigsten Handwerkszeug der Daten-Kapitän*innen gehört ETL: Daten aus unterschiedlichen Quellen müssen in eine zentrale Datenbank eingebracht werden. Die gängigen Frameworks wie Spark und Programmiersprachen wie Python sollten bekannt sein. Verständnis für die Funktionsweise von Datenbanken und SQL gehören ebenfalls zum täglichen Geschäft. Zusätzliche Vorerfahrung in der Softwareentwicklung? Immer her damit! Um bei der Menge an Daten die Ruhe zu bewahren, braucht es Geduld und Durchhaltevermögen.
Data Engineers kämpfen zudem häufig an zwei Fronten: Mit technischem Know-how erstellen sie Datenplattformen. Gleichzeitig ist Kommunikations- und Teamfähigkeit gefragt: Als Schnittstelle zu anderen Abteilungen müssen Datenarchitekt*innen mit fachfremden Kolleg*innen verständlich kommunizieren und auf deren Bedürfnisse eingehen können. Wo geht’s an Bord? Überall, wo große Datenmengen anfallen! Data Engineers braucht jede große Firma, die Branche ist frei wählbar. Wer sich nicht auf ein Unternehmen festlegen möchte, kann in der Beratung starten und Firmen beim Aufbau ihrer Datenarchitektur unter die Arme greifen. Also Leinen los und setzt die Segel!
Stimmen aus dem Job
Dank neuer Technologien können aus unterschiedlichsten Quellen wie Bildern, Videos oder Texten Daten extrahiert werden. Um die große Datenmenge und -vielfalt sinnvoll nutzen zu können, benötigen Unternehmen Expert*innen, die Systeme zur Speicherung und Bereinigung der Datenmengen entwickeln.
Prof. Dr. Felix Naumann, Hasso Plattner Institut, Universität Potsdam
Data Engineers werden dringend gesucht. Wer Vorerfahrung in Cloudtechnologien hat, ist besonders gefragt. Neben IT-Know-how sollten Bewerber*innen vor allem Begeisterung für Daten mitbringen. Teamwork, Neugierde und Kommunikationsstärke, vor allem in der Beratung, gehören ebenfalls dazu.
Marie-Luise Thurow, Senior HR Managerin der Alexander Thamm GmbH
Gerade als Berufseinsteiger sind Lernfähigkeit und lösungsorientiertes Denken gefragt. Das Studium kann gar nicht sämtliches Wissen vermitteln, das man im Job braucht. Außerdem entwickeln sich die Technologien ständig weiter, da muss man am Ball bleiben. Das macht den Job auch so facettenreich und spannend.
Samuel Demir, Trainee Data Engineering bei der Alexander Thamm GmbH