Das Projekt Open Forecast entwickelt eine generische Infrastruktur zur Verarbeitung offener Daten mit
Hochleistungsrechnern (Englisch: High-Perfomance-Computing-Systems (HPC)). Diese liefert die Verarbeitungsumgebung für Algorithmen,
die spezifische Daten verarbeiten, um sie mit HPC zu verarbeiten. Das ist notwendig, weil HPC Ressourcen begrenzt sind hochspezialisierte
Anwendung Voraussetzung und Zugriffe auf die Komponenten an spezielle Schnittstellen zur Datenverarbeitung gebunden ist.
Im Projekt werden zwei Anwendungsfälle bearbeitet, einer zur Modellierung von Feinstaub (PMFS) und der zweite zur Bereitstellung von
Satellitendatendiensten für die Landwirtschaft (AgriCOpen).
Die in beiden Anwendungsfällen generierten Produkte werden wiederum als offene Daten bereitgestellt. Diese entsprechen den Standards des Open Geospatial Consortium (OGC) für Geodatendienste und können durch die Verwendung von INSPIRE-konformen Metadaten im INSPIRE Geoportal der Europäischen Union aufgenommmen werden. Im Fokus steht die Nutzbarkeit der Produkte in Geographischen Informationssystemen (GIS), die über das Internet als sog. Webservices eingebunden werden können.
Das Projekt Open Forecast (Laufzeit September 2018 bis Mai 2021) ist ein neuartiges Demonstrationsprojekt der EU. Es wird gezeigt, wie öffentlich und frei verfügbare Daten (Open Data) mit Hochleistungsrechnern verarbeitet werden können, um neue Datenprodukte für Bürger, Behörden, Wirtschaftsakteure und Entscheidungsträger zu erstellen. Die Daten werden über Dienste und das Europäische Datenportal auffindbar und nutzbar sein.
Das Ziel des Projektes ist der Aufbau und die Implementierung neuer Dienste (engl. Services) mit dem Ziel, Citizen Science (Wissenschaft mit Bürgerbeteiligung) und offene Daten mit Hochleistungsrechnern zu unterstützen. Über die Projektlaufzeit werden verschiedene Meilensteine erreicht und als Arbeitsergebnisse dokumentiert. Diese Seite gibt eine Übersicht über die bisherigen Veröffentlichungen (Deliverables) aus dem Projekt. Die Dokumente liegen überwiegend in englischer Sprache vor.
Zur Umsetzung der Anwendungsfälle wurden im Projekt bisher folgenden Dienste prototypisch implementiert:
- Verarbeitung offener Satellitendaten mit dem Sen2Agri-System. Der Dienst ist erreichbar unter https://sen2agri.open-forecast.eu/
- Die Bereitstellung der berechneten Daten über http://geoserver.gwdg.de/ basierend auf der Open-Source Software Geoserver
- Für die automatisierte Durchführung der Arbeitsschritte wird die Software “flowable” verwendet und der Dienst wird unter https://flow.open-forecast.eu bereitgestellt.
- HPC Aufträge können mittels eines dedizierten Programmierschnittstelle (engl. Application Programming Interface (API)) unter http://hpc-api.open-forecast.eu eingestellt werden. Diese liefert den Zugang für die Bearbeitung von Aufträgen des Benutzers in der HPC Umgebung, wodurch HPC für eine konkrete Aufgabe außerhalb der Netzwerkinfrastruktur erreichbar ist.
- Die API Dokumentation wird auf swaggerhub bereitgestellt
Particulate Matter Forecast Service – Dienst zur Vorhersage der Feinstaubbelastung
Generell ist eine verlässliche Aussage und Vorhersage der Feinstaubbelastung für Großstädte ein wichtiges Werkzeug, um Gesundheit und wirtschaftliche Faktoren in Einklang zu bringen. Stuttgart spielt hier gerade wegen seiner besonderen Topographie, der zahlreichen Feinstaubalarme und im Raum stehender Diesel-Fahrverbote eine besondere Rolle und steht im Fokus des Anwendungsfalles. Für die Vorhersage der Feinstaubpartikel- und NOx-Verteilungen wird ein komplexes 3-dimensionales Wettervorhersage-Chemie-Modell aufgebaut, das gegenwärtig bis zu einer Auflösung von 50 m betrieben werden kann. Damit ist es möglich, sowohl größere Gebäude als auch das Verkehrsaufkommen in die Berechnung zu integrieren. Diese Simulationen können erstmalig mit Citizen-Science Daten aus dem Projekt sensor.community verglichen werden. Die Ergebnisse zeigen eine komplexe zeitlich-räumliche Verteilung der Schadstoffe. Mit einer Optimierung des Datenflusses und dem Einsatz von HPC wird es in Zukunft möglich sein, solche Vorhersagen routinemäßig zu erzeugen und für die Verkehrsplanung und für die Gesundheit der Bevölkerung einzusetzen.
AgriCOpen – Satellitendaten für die Landwirtschaft
Im Anwendungsfall AgriCOpen werden frei verfügbare Satellitendaten für eine Nutzung in der Landwirtschaft aufbereitet. Die Sentinel-2 Satelliten der europäischen Copernicus-Mission liefern regelmäßig wiederkehrend hochauflösende Bilddaten. Diese Daten können aufbereitet einen Mehrwert für die Anwendung in der Landwirtschaft bieten. Mit ihnen kann eine laufende Beobachtung und gezieltere Bewirtschaftung umgesetzt werden. Verfahren der Präzisionslandwirtschaft passen zum Beispiel die Maßnahmen sogar auf Teilflächen an. Damit wird ein Baustein für eine präzisere, zielgerichtete Landwirtschaft entwickelt, der eine Digitalisierung in der Landwirtschaft fördert, die zunehmend auf Geodaten basiert. Es werden Geodatendienste erstellt, die die berechneten Satellitendaten für Nutzer über standardisierte Schnittstellen nutzbar und recherchierbar machen. Ihre Weiterverarbeitung und Nutzung im landwirtschaftlichen Kontext wird evaluiert. AgriCOpen wird in Kooperation des Landesamtes für Geoinformation und Landentwicklung (LGL) und des Landwirtschaftlichen Technologiezentrums Augustenberg (LTZ) mit der Gesellschaft für Wissenschaftliche Datenverarbeitung mbH Göttingen und dem Hochleistungsrechenzentrum der Universität Stuttgart entwickelt und implementiert.
GWDG
Die Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen (GWDG) ist ein gemeinsames Unternehmen der
Universität Göttingen und der Max-Planck-Gesellschaft. Sie dient als Rechen- und IT-Kompetenzzentrum und bietet eine breite
Palette von Dienstleistungen für e-Science und wissenschaftliche Datenverarbeitung an. Gegründet 1970, beschäftigt es 145
Mitarbeiter: Wissenschaftler, IT-Spezialisten, Softwareentwickler und Techniker. Prof. Ramin Yahyapour ist Geschäftsführer der
GWDG und Ordinarius für Angewandte Informatik an der Universität Göttingen. Die GWDG betreibt Dienstleistungen für
wissenschaftliche Communities, darunter HPC-Cluster, Cloud-Infrastrukturen und Datenmanagement-Services. Darüber hinaus betreibt die
GWDG wissenschaftliche Forschung für eScience-Infrastrukturen, die Themen in den Bereichen Parallel Computing, Clouds, Datenanalyse
und Datenmanagement umfasst. Das Hauptaugenmerk liegt dabei auf der Ermöglichung der Umsetzung neuer Technologien in nützliche
Dienste für Wissenschaftler.
Universität Stuttgart
Die Universität Stuttgart ist eine der führenden technisch orientierten Universitäten in Deutschland mit weltweiter Bedeutung. Sie versteht sich als Zentrum der universitären, außeruniversitären und industriellen Forschung. Darüber hinaus versteht sie sich als Garant für eine forschungsbasierte, auf Qualität und Ganzheitlichkeit ausgerichtete Lehre. Der Stuttgarter Weg bedeutet eine interdisziplinäre Integration von Ingenieur-, Natur-, Geistes- und Sozialwissenschaften auf der Grundlage von Spitzenforschung auf disziplinärem Niveau. Das Höchstleistungsrechenzentrum (HLRS) ist eine zentrale Forschungs- und Serviceeinrichtung der Universität Stuttgart (USTUTT). Es ist das erste nationale Höchstleistungsrechenzentrum in Deutschland und bietet Dienstleistungen für akademische Nutzer und die Industrie an. Darüber hinaus hat es zusammen mit dem Steinbuch-Rechenzentrum Karlsruhe zwei Lösungszentren (Energie und Automotive) gegründet, um die Aktivitäten der Akteure in diesen Bereichen zu unterstützen. Mit der mitgegründeten SICOS GmbH steht das HLRS in ständigem Kontakt mit KMUs, die HPC zur Verbesserung ihrer Geschäfte nutzen wollen.
Universität Hohenheim
Die Universität Hohenheim wurde 1818 gegründet, um die verheerende Agrarkrise zu beheben, die durch den Ausbruch des Tambora-Vulkans und die damit verbundenen klimatischen Folgen verursacht wurde. Diese frühe wissenschaftliche Mission legte den Grundstein für das einzigartige wissenschaftliche Profil der Universität, das bis heute die Forschungsschwerpunkte der drei Fakultäten vereint: Agrar- und Ökosystemforschung, Ernährungssicherung und -sicherheit sowie Veränderungsprozesse in Wirtschaft und Gesellschaft. Das übergreifende Forschungsziel des Instituts für Physik und Meteorologie (IPM) ist das Verständnis und die Vorhersage der Erdsystemprozesse durch die Integration von Modellen und Beobachtungen. Schlüsselmethoden sind Datenassimilationstechniken auf der konvektiven Skala, genauere Darstellungen der atmosphärischen Turbulenz in Erdsystemmodellen, die Charakterisierung von Rückkopplungsprozessen im System Land-Atmosphäre und die Untersuchung von Transportprozessen in der konvektiven und stabilen atmosphärischen Grenzschicht. Das Prozessverständnis wird durch Beobachtungen der am IPM entwickelten, weltweit einzigartigen, scannenden Laser-Fernerkundungssysteme wesentlich verbessert. Die Ergebnisse werden in das neue hochauflösende Modellsystem WRF- NOAHMP implementiert, das in einem Bereich von 30 m bis 50 km Gitterinkrementen betrieben wird und eine nahtlose Vorhersage des Systems Erde ermöglicht - von Nowcasting über Kurzstrecken-Wettervorhersage bis hin zu saisonalen Simulationen und Klimaprojektionen.
Landesamt für Geoinformation und Landentwicklung Baden-Württemberg (LGL)
Das Landesamt für Geoinformation und Landentwicklung Baden-Württemberg (LGL) ist die obere Vermessungs-, Flurbereinigungs- und Siedlungsbehörde in Baden-Württemberg. Als obere Landesbehörde übt das LGL die Fachaufsicht über die unteren Vermessungsbehörden, die Öffentlich bestellten Vermessungsingenieure und die unteren Flurbereinigungsbehörden aus. Das LGL arbeitet in der Arbeitsgemeinschaft der Vermessungsverwaltungen der Länder in der Bundesrepublik Deutschland (AdV) mit.
Landwirtschaftliches Technologiezentrum Augustenberg (LTZ)
Das LTZ Augustenberg ist für die Umsetzung des Anwendungsfalls AgriCOpen zuständig. Dabei werden zum einen die generierten Satellitendatenprodukte in die landwirtschaftliche Praxis eingeführt, und zum anderen werden Arbeitsabläufe entwickelt, um die Produkte für Versuchsdurchführer bei der Planung und Bewertung landwirtschaftlicher Flächen eigenständig nutzbar zu machen.
Darüber hinaus hat das LTZ maßgeblich die Prozessierung und Konzeption der Satellitendatenverarbeitung entwickelt und implementiert.
Zeitschriftenartikel
- Schwitalla, T., Bauer, H.-S., Warrach-Sagi, K., Bönisch, T., and Wulfmeyer, V.: Turbulence-permitting air pollution simulation for the Stuttgart metropolitan area, Atmos. Chem. Phys., 21, 4575–4597, 2021.
-
Bauer, C., Schilder, D., Weis, M.: Die Augen der Sentinel – Frei verfügbare multispektrale Satellitendatenprodukte für die Präzisionslandwirtschaft, Mitteilungen des DVW-Landesvereins Baden-Württemberg, Heft 2/2020, 68. Jahrgang, ISSN 0940-2942
Konferenzbeiträge
- FossGIS 2020
- Bingert, S., Weis, M. Bauer, C.: Offene Smart Farming Produkte aus offenen Satellitendaten. Mehr dazu auf der Projektwebsite.
- Bauer, C., Wild-Pfeiffer, F., Weis M., Bingert, S.:
Offene Smart Farming Produkte aus offenen Satellitendaten. In: FossGIS2020-Anwenderkonferenz für Freie und Open Source Software für Geoinformationssysteme, 2020, Freiburg, S. 51-54
- Bingert, S., Weis, M. Bauer, C.: Offene Smart Farming Produkte aus offenen Satellitendaten. Mehr dazu auf der Projektwebsite.
- Bauer, C., Weis M., Wild, F., Bingert S.: Open Satellite Data for open services for arable land management and precision farming, 2019, ESA–9th Advanced Training Course on Land Remote Sensing with the focus on Agriculture, Belgium. Poster.
Abschlussarbeiten
Während der Projektlaufzeit wurden folgende Abschlussarbeiten mit Bezug zum Open Forecast Projekt an der Fakultät für Informatik der Georg-August-Universität Göttingen abgeschlossen:
- Alamgir Waqar “Design and implementation of an API to ease the use of HPC systems“. DOI:10.25625/S3GI5N
- Jakob Leonard Hördt “Extending and continuously deploying projects regarding the sensor.community citizen science project“. DOI:10.25625/RLET5C
Workshops
Ergebnisse AgriCOpen
Das Datenprodukt Curscene beinhaltet die einzelnen multispektralen Kanäle, auch Bänder genannt, des Sentinel-2 Satelliten nach
der Atmosphärenkorrektur.
Bei der Atmosphärenkorrektur werden zum einen Einflüsse, die die Reflexion des Sonnenlichts auf den Satellitensensor
beeinflussen, z. B. Dunst, Cirrus-Wolken und Aerosole weitgehend herausgefiltert, um gleichbleibende Daten zu erzeugen. Zum anderen werden
Reflexionen der Geländetextur herausgefiltert und das Bild geometrisch entzerrt. Diese Daten sind Grundvoraussetzung für jede
multitemporale Analyse.
Drei Verfahren der Atmosphärenkorrektur (FORCE, Sen2Cor und MAJA) wurden zu Beginn des Projekts getestet. MAJA produziert zwar die genausten Ergebnisse, ist allerdings technisch sehr aufwendig. Daher werden diese Daten ebenfalls vom Projekt aus bereitgestellt. Weitere Informationen zum Rohdatenformat des Datenprodukts sind hier bereitgestellt.
Die Atmosphärenkorrektur generiert zudem mehrere Datensätze, die als Geo-TIFF Datei vorliegen, u. a. zur Qualität jedes
Pixels, Bewölkung und Wolkenschatten, die z. B. in einer Landnutzungsklassifikation stören würden.
Anhand dieser Datensätze werden störende Pixel maskiert und von einer weiteren Berechnung ausgenommen. Dieser Datensatz bildet
die Grundlage für das Produkt Curscene_Mask.
Curscene – Anwendungsbeispiel zur visuellen Interpretation
Die Abbildung Curscene – Farbinfrarotdarstellung (engl. color infrared (CIR)), ist eine in der Fernerkundung gängige Datstellung zur visuellen Interpretation von aktiver grüner Vegetation. In einem GIS kann diese Bildkomposition oder auch andere aus den einzelnen Farbkanälen zusammengestellt werden. Die Bildinformation des nahinfraroten Signals (Band 8) ist in dieser Darstellung die Eingangsquelle des roten Farbkanals. Der grüne Farbkanal erhält die Bildnformation der Reflexion im roten Wellenlängenbereich (Band 4) und der blaue Farbkanal wird mit der der Reflexion im grünen Wellenlängenbereich (Band 3) belegt. In Kombination entsteht diese Farbinfrarotdarstellung.
Optische Satellitendaten sind oft durch Bewölkung und Wolkenschatten beeinträchtigt, die in diesen Pixeln eigene
Reflexionswerte produzieren. Für Untersuchungen beispielsweise zur Landbedeckung oder Spektralen Messung von Vegetation sind diese
ungeeignet und müssen eliminiert werden.
Dieser Vorgang wird durch sog. Ausmaskieren umgesetzt, in dem als Wolke oder Wolkenschatten erkannte Pixel automatisch als ungültig
(NA-value) gesetzt werden. Die Maske ist für jede Szene bei der Atmosphärenkorrektur errechnet worden und wird im Prozess der
Weiterverarbeitung der Daten verwendet.
Das Datenprodukt Curbest ist ein sog. Komposit, ein zusammengesetztes Bild, um eine Wolkenfreie, qualitativ hochwertige Aufnahme der Landschaft abzubilden, die als Grundlage für Karten verwendet werden kann.
Zur Generierung eines Curbest Komposits wird ein Zeitraum festgelegt und innerhalb dessen ein Referenzdatum. Alle in diesem Zeitraum vorhandenen Curscene Daten werden auf ihre Qualität analysiert. Die Daten hierzu sind u.a. von der ESA bereitgestellt oder werden bei der Atmosphärenkorrektur errechnet. Ausgehend von der Aufnahme, die am nächsten am Referenzdatum liegt, werden in dieser Szene ungültige Pixel, z. B. Wolken oder Schatten, durch valide Pixel der restlichen Datensätze ersetzt und mit komplexen Algorithmen in ein Komposit verschmolzen.
Vegetationsindizes
Das Produkt Curveg beinhaltet fünf für die Landwirtschaft relevante Vegetationsindizes und die Tasseled Cap Transformation als RGB Datensatz. Diese ist eine Methode, um spektralen Informationen mittels Koeffizienten in spektrale Indikatoren umzuformen (Parameter siehe Shi et al. 2019).
- NDVI (Normalized Difference Vegetation Index) wird aus den Sentinel-2 Bändern des Nahinfrarots und dem Roten Kanal berechnet. Für jedes Pixel wird die folgende Formel angewendet: (NIR-Rot/NIR+Rot).
- NDRE (Normalized Difference Red Edge Index) ähnelt der Berechnung des NDVI, allerdings wird hierbei ein Kanal der roten Kante, die zwischen Nahinfrarot und rot liegt, verwendet.
- Enhanced Vegetation Index (EVI) ist ein dahingehend optimierter Vegetationsindex, um das Vegetationssignal für Biomasse durch gesteigerte Empfindlichkeit mittels Entkopplung des Kronendach-Hintergrundsignals und eine Reduzierung der Atmosphäreneinflüsse zu betonen.
- Modified Chlorophyll Absorption in Reflectance Index (MCARI) gibt ein Maß für die Tiefe der Chlorophyll-Absorption und ist sehr empfindlich gegenüber Variationen in der Chlorophyll-Konzentration sowie Variationen im Blattflächenindex (engl. Leaf Area Index (LAI)). Zudem ist er weniger von Beleuchtungsbedingungen, Hintergrundreflexion des Bodens und anderen nicht photosynthetischen Materialien beeinflusst.
- Red Edge Inflection Point (REIP) beschreibt einen Index um den Wendepunkt der roten Kante. Dieser korreliert mit der Stickstoffversorgung der Pflanzen.
- Die Tasseled Cap Transformation ist eine wissensbasierte Methode zur Umwandlung der spektralen Information in spektrale Indikatoren und wird insbesondere bei der Analyse von phänologische Stadien verwendet. Die drei hauptsächlich verwendeten Bänder lassen Aussagen über den Boden (Brightness), Vegetation (Greeness) und Interaktionen von Boden und Kronendachfeuchte (Wetness) zu und ermöglichen in RGB Darstellung eine visuelle Interpretation zur Landbedeckung.
Curveg – NDVI
Diese Abbildung zeigt einen Ausschnitt aus einer monotemporalen NDVI Szene. Diese Pixel enthalten Werte aus den Wertebereichen zwischen -1 bis 1 in der Darstellung von 32 bit Fließkommazahlen. Diese Szenen sind Eingangsdaten für weitere Berechnungen von Vegetationsparametern und werden in multitemporalen Analysen verwendet.
Curveg – NDVI Zeitreihe 2019
Diese Animation zeigt eine Zeitreihenabfolge aller NDVI-Szenen über ein Jahr zur visuellen Interpretation. Anstatt der Darstellung in Graustufen wurden diese von blau (niedriger NDVI) bis grün (hoher NDVI) eingefärbt. Diese Daten werden üblicherweise zu einem Verbund übereinander gelegt (Imagestack) von welchem pixelweise numerische Berechnungen durchgeführt werden, z.B. Durchschnittswerte.
Curveg - Tasseled Cap Komposit
Die Tasseled Cap Indizes können auch zu einem RGB-Komposit zusammengefasst werden, wodurch die visuelle Interpretation der Landbedeckung vereinfacht wird. Dabei werden für jeden Zeitpunkt die drei Bilddaten wie folgt auf die Farbkanäle gelegt: Rot=Brightness, Grün=Greeness, Blau=Wetness. Aus den einzelnen Grauwerten wird ein farbiges Bild errechnet.
Drei NDVI Datensätze, verteilt über die Vegetationsperiode im Jahr 2019, wurden in dieser Abbildung zu einem RGB-Komposit zusammengefügt. Die unterschiedlichen Grauwerte der einzelnen NDVI Datensätze repräsentieren unterschiedliche Reifegrade der Kulturpflanzen auf den Schlägen und führen dadurch zu dieser Farbmischung. Anhand dieser kann durch visuelle Interpretation bereits eine Abschätzung zur Verteilung der Kulturarten erfolgen.
Im Norden ist Winterweizen in Gelbtönen erkennbar. Im der Mitte Sommergerste mit deutlicher Färbung zum Orangerot. Die magentafarbenen Schläge zeigen den Anbau einer Zwischenfrucht an. In Hellgrün- und Blautönen sind unterschiedliche Abreifen des Mais erkennbar. Die grüne Färbung zeigt frühere Abreife und die bläuliche Färbung spätere Abreife. Grüne Einschlüsse in blauen Flächen sind ein Anzeichen von Niedrigertragszonen durch verfrühte Reife bzw. schwächer entwickelten Pflanzen.
Longveg ist ein Datenprodukt zur Abbildung des mittleren NDVI über die Vegetationsperiode eines Jahres. Berechnet wird dieser
Datensatz pro Pixel aus dem arithmetischen Mittel aller Pixelwerte des Curscene_Mask Produkts.
Die Abbildung zeigt den bereits klassifizierten Datensatz aus dem Jahr 2019.
Diese Darstellung lässt auch teilschlagspezifische Bewertungen zu und unterschiedliche Zonen aktiver Biomasse lassen sich im Bild
ausmachen.
Rot eingefärbt sind niedrige NDVI-Werten bis hin zu hohen NDVI-Werten in grüner und blauer Farbe.
Ein Anwendungsbeispiel ist unter anderem die Ableitung von Vegetationsindexkurven. Diese beschreiben den jährlichen Verlauf im NDVI oder einem anderen gewählten Index pro Pixel. Die Kurven können ebenfalls für Objekte, beispielsweise Schläge dargestellt werden.
Die Abbildung zeigt den jährlichen Verlauf von Winterweizen und Mais. Die Kurve für Winterweizen steigt zwischen März und
April an und fällt nach der Ernte steil ab, wodurch auch ersichtlich wird, dass auf diesem Schlag kein Zwischenfruchtanbau
erfolgte.
Die Kurven für Mais aus bekannten Hoch- und Niedrigertragszonen zeigen, dass eine Unterscheidung anhand von Satellitendaten
möglich ist.