Projekt xDataToGo: GeoNet.MRN aggregiert vollautomatisch Informationen über Straßenbaustellen im Netz
Ergebnisse aus unserem Vorhaben "Digitaler Straßenraum (xDataToGo)"
Es ist ein uraltes Problem für alle, die Informationen zu einem bestimmten Thema suchen und sammeln: Das Wissen ist vorhanden, irgendwo - zumindest in diesem Punkt ist man sich oft noch recht sicher. Doch wie schafft man sich einen Überblick über relevante Quellen, und wie bringt man gefundene Daten in eine einheitliche Sprache und Struktur?
Es ist ein uraltes Problem für alle, die Informationen zu einem bestimmten Thema suchen und sammeln: Das Wissen ist vorhanden, irgendwo - zumindest in diesem Punkt ist man sich oft noch recht sicher. Doch wie schafft man sich einen Überblick über relevante Quellen, und wie bringt man gefundene Daten in eine einheitliche Sprache und Struktur?
Im Internetzeitalter leisten Suchmaschinen wie Google hier unersetzliche Hilfe. Doch sie sind ausgelegt auf Freitextsuche in Webseiten für menschliche Leser und stoßen dadurch bei Inhalten, die über Schnittstellen zum Datenaustausch zwischen Maschinen - sogenannten REST-Diensten und -APIs - bereitgestellt werden, an ihre Grenzen. Dazu kommt das Problem der Vielzahl unterschiedlicher Datenformate: Möchte man alle auffindbaren Informationen in einem Datensatz mit einheitlicher Struktur zusammenfassen, sind aufwändige Konvertierungen unvermeidlich. Je spezieller das Fachgebiet, desto weniger Unterstützung leisten hier die "big players".
Eine solche IT-Nische ist die Digitalisierung des deutschen Straßenraums, und auf diesen hat GeoNet.MRN ein Auge geworfen. Im Rahmen des mFund-Förderprojekts "xDataToGo - Experimentierfeld digitaler Straßenraum" (https://www.m-r-n.com/was-wir-tun/themen-und-projekte/projekte/xDataToGo) haben wir eine prototypische Lösung zur vollautomatischen Aggregation von Straßenbaustellendaten aus unterschiedlichen Quellen entwickelt.
Eine zentrale Rolle spielt dabei das Datenformat "DATEX II" (https://datex2.eu/, deutsche Beschreibung: https://binary-butterfly.de/artikel/datex-ii-spannende-daten-kompliziert-verpackt/), ein europäischer Standard für den elektronischen Austausch von straßenbezogenen Informationen. Unsere Experimentierplattform importiert Straßendaten unter anderem aus DATEX-II-Quellen und soll in Zukunft auch aggregierte Daten wiederum im DATEX-II-Format zur Verfügung stellen können. Mindestens ebenso wichtig sind jedoch auch nichtstandardisierte Quellen wie Websites von Kommunen, die nach wie vor oft der einzige Kanal sind, über den Baustelleninformationen publiziert werden. Unsere Plattform ist deshalb von Grund auf auf Modularität und Erweiterbarkeit ausgelegt, um mit geringem Aufwand unterschiedlichste Datenquellen anbinden zu können.
Technische Grundlage unseres Systems ist eine in Python implementierte Datenprozessierungs-"Pipeline". Sie besteht aus einer Sammlung von sogenannten Filtern - kleine Code-Komponenten, von denen jede eine einzelne, eng definierte Aufgabe übernimmt. Dies kann beispielweise das Herunterladen eines Datensatzes von einem Webdienst, die Transformation von DATEX-II in ein anderes Datenformat oder der Import von Daten in eine PostGIS-Datenbank sein. Durch Verkettung mehrerer Filter können komplexe Datenverarbeitungsprozesse schnell und einfach implementiert werden. Die Definition einer Filter-Pipeline erfolgt deklarativ mittels einer JSON-Konfigurationsdatei, in der lediglich die Parameter der zu nutzenden Filter sowie deren Verkettung spezifiziert werden. Tiefere Programmierkenntnisse sind nicht erforderlich, und für die Zukunft ist auch die Entwicklung einer grafischen Oberfläche zur visuellen Erstellung von Filter-Pipelines denkbar.
In unserem derzeit laufenden Testbetrieb werden Baustellendaten aus mehreren DATEX-II-Datensätze aus dem "Mobilitätsdatenmarktplatz" (https://service.mdm-portal.de) sowie von der Website der Stadt Heidelberg (https://www.heidelberg.de) extrahiert, vereinigt und diese Aggregation als digitale Karte über die Geowebdienste-Standards WMS und WFS wiederveröffentlicht. Abfrufbar sind die aggregierten Datensätze auf unserer Geodatenplattform "xDataHub" (http://daten.geonet-mrn.de), wie z.B. dieser mit den aktuellen Straßenbaustelleninformationen aus Hessen, Baden-Württemberg und Rheinland-Pfalz: http://daten.geonet-mrn.de/layers/geonode:baustellen_datex2#/.
Zu guter letzt stellt das Sammeln und Vereinheitlichen öffentlicher Daten nicht nur eine große technische, sondern ebenso politisch-organistorische Herausforderung dar. Ohne die Zusammenarbeit mit kommunalen "Datenschöpferinnen" und -"schöpfern" geht nahezu nichts, weswegen wir großes Interesse daran haben, Kooperationen in diesem Bereich auf- und auszubauen. Sie besitzen Daten über den Straßenraum oder andere öffentlich relevante Themenfelder und möchten diese mit maximaler Auffind- und Nutzbarkeit online zur Verfügung stellen? Sprechen Sie uns an!
Bei technischen Fragen zu dem Projekt wenden Sie sich bitte an:
Sebastian Bechtold
Bei allgemeinen Fragen kontaktieren Sie bitte:
Hartmut Gündra