Systematische Datenprozessierung: von Rohdaten zu Datenprodukten

Die Prozessierung von Daten ist eines der größten Aufgabenfelder der IT-Branche, denn sie findet in den unterschiedlichsten Bereichen unseres täglichen Lebens statt. Der Fotofilter in einer Messaging-App verarbeitet die Daten unseres Fotos, um das Bild optimal darzustellen. Wir versenden eine E-Mail und die Daten werden verschlüsselt an den Empfänger übertragen. Auch die Fahrzeugsteuerung im PKW prozessiert ständig Daten, um Gefahren zu erkennen und den Betriebsablauf zu optimieren.

Immer wenn regelmäßig und viele Daten anfallen, ist ein effizienter Mechanismus zur nahtlosen Abarbeitung der Aufgaben erforderlich.

Besondere Herausforderungen an die Prozessierung von Satellitendaten

Gerade im wissenschaftlichen Bereich finden sich viele Anwendungsfälle für die Datenprozessierung: Um das Öko- und Klimasystem der Erde zu verstehen, sammeln Wissenschaftler auf der ganzen Welt riesige Mengen an Daten. Im Weltraum beispielsweise kommen dafür Satelliten zum Einsatz, die mit Hilfe von Sensoren oder Kameras Daten aufnehmen und als sogenannte „Payload Data“ zur Erde senden.

Dabei fallen pro Satellit bis zu 1 TB an Rohdaten pro Tag an, die prozessiert, gespeichert und Folgesystemen zur Verfügung gestellt werden müssen. Die Prozessierung und Verarbeitung zu sogenannten Datenprodukten erfolgt tagtäglich mithilfe von wissenschaftlichen Algorithmen und unter Einbeziehung von Hilfsdaten. Durch die riesige Menge an Daten ist die effiziente Steuerung der Arbeitsabläufe beim systematischen Datenprozessieren von zentraler Bedeutung. Die Speicherung der Daten kann - aufgrund des großen und wachsenden Speicherplatzbedarfs - in erweiterbaren Datenzentren oder in der Cloud stattfinden.

So gelingt die effiziente Ausführung systematischer Prozessierungsketten auf Erdbeobachtungsdaten

Die effiziente Steuerung der Arbeitsabläufe wird durch passende Softwareplattformen garantiert, die je nach Einsatzgebiet spezifische Vorteile haben und im Bereich der Satellitendaten-Prozessierung für die dort typischen Systeminfrastrukturen und Dateistrukturen optimiert sind. Selbst bei stark variierendem Verarbeitungsaufwand, wie z.B. bei außergewöhnlich vielen Datenabrufen oder der Reprozessierung von Datenprodukten, ist die eingesetzte Software durch flexible Konfiguration von Cloud-Ressourcen in der Lage, die Leistung zu skalieren. So kann man die schnelle und sichere Verarbeitung großer Datenmengen gewährleisten und darüber hinaus den unnötigen Verbrauch an Energie und Infrastruktur vermeiden, wenn die Leistung nicht benötigt wird.

Wir kennen diese besonderen Herausforderungen an die systematische Datenprozessierung und haben bereits in vielen Projekten verlässliche Lösungen bereitgestellt. Ein beispielhaftes Kundenprojekt, in dem wir unser eigenes systematisches Datenprozessierungs-Framework einsetzen, ist die Bodensegmentsoftware einiger Earth-Explorer-Missionen der ESA, wie Biomass, EarthCARE und SWARM. Im Auftrag der ESA betreiben wir das Copernicus Long-Term Archive zur Sicherung von Sentinel-Satellitendaten in einem europäischen Cloud-System. Die Dateiarchivierung selbst enthält zunächst keine aufwändige Prozessierung, doch der Archivservice erfordert einen erheblichen Rechen-, bzw. Prozessierungsaufwand für die großen Datenmengen zur Verifizierung von Dateiinhalten, Komprimierung von Daten und zur Erzeugung von Metadaten für die Nachverfolgbarkeit.

Erfahren Sie hier mehr über unseren EO Processing Service: