Continuous Integration of Models and Data
Samenvatting project
Kennisinstellingen ontwikkelen numerieke modellen voor ontwerp en toetsing van waterkeringen en andere infrastructuur. Een numeriek model is zo goed als de metingen waarop het model gekalibreerd en gevalideerd
is. Metingen zijn echter vaak in handen van private partijen. Bovendien vergt het kalibreren van complexe modellen veel
rekenkracht, en ook rekenkracht is veelal in handen van private partijen. Het gevolg is dat kalibratie en validatie van numerieke modellen sporadisch gebeurt tegen een beperkte dataset. Dit project faciliteert en automatiseert de uitwisseling van deze 4 essentiële componenten binnen een ontwerpcyclus voor numerieke modellen via een online cloud platform: modellen + expertise (publiek) en meetgegevens + rekenkracht (privaat) (zie figuur). Daarmee komt
(her)kalibratie en (her)validatie ook voor complexe numerieke modellen (hybride hard/zachte keringen, nature-based solutions) en voor specifieke (engineering) toepassingen binnen handbereik.
Doel van het project
Het doel van dit project ligt in het verlengde van het doel van het OpenEarth initiatief dat standaardisatie en ontsluiting van data modellen en tools nastreeft. (Gestandaardiseerde) data modellen en tools zijn de basis voor veel processen zoals:•Compute as a service (CaaS)•Validatie van numerieke modellen•Kalibratie van numerieke modellen•Operationele modellenHet doel van dit project is om ook deze processen te standaardiseren te automatiseren objectief transparant en reproduceerbaar te maken door middel van een online cloud platform. Bij de standaardisatie van processen zal de nadruk liggen op connectiveit. Standaardisatie van data en modellen is alleen bruikbaar voor automatisering als dit leidt tot gestandaardiseerde uitwisseling. Hierbij wordt zoveel mogelijk gebruik gemaakt van bestaande technieken (BMI netCDF OPeNDAP). Met name voor het toegankelijk maken van (geschematiseerde) data zullen nieuwe standaarden ontwikkeld worden (zie figuur).Ontwikkeling van een online cloud platform:•Stelt gebruikers in staat numerieke modellen en meetgegevens (vertrouwelijk) uit te wisselen.•Automatiseert de kalibratie en validatie van (complexe) numerieke modellen tegen meetgegevens.•Faciliteert de kalibratie en validatie van (complexe) numerieke modellen voor specifieke (engineering) toepassingen.•Stelt kennisinstellingen in staat om complexe modellen (hybride keringen nature-based solutions) beschikbaar te stellen aan marktpartijen als service.•Stelt marktpartijen in staat (vertrouwelijk) meetgegevens beschikbaar te stellen aan kennisinstellingen voor de ontwikkeling kalibratie en validatie van modellen.•Monitort verbeteringen sterktes en zwaktes van numerieke modellen objectief transparant en reproduceerbaar.•Voorziet in een generieke werkwijze om data en modellen te integreren voor andere toepassingen zoals operationele modellen compute as a service (CaaS) snelle numerieke verkenningen (3-click
Motivatie
Kennisinstellingen ontwikkelen numerieke modellen voor ontwerp en toetsing van waterkeringen en andere infrastructuur. Een numeriek model is zo goed als de metingen waarop het model gekalibreerd en gevalideerd is. Metingen zijn echter vaak in handen van private partijen. Bovendien vergt het kalibreren van complexe modellen veel rekenkracht en ook rekenkracht is veelal in handen van private partijen. Het gevolg is dat kalibratie en validatie van numerieke modellen sporadisch gebeurt tegen een beperkte dataset. Dit project faciliteert en automatiseert de uitwisseling van deze 4 essentiële componenten binnen een ontwerpcyclus voor numerieke modellen via een online cloud platform: modellen + expertise (publiek) en meetgegevens + rekenkracht (privaat) (zie figuur). Daarmee komt (her)kalibratie en (her)validatie ook voor complexe numerieke modellen (hybride hard/zachte keringen nature-based solutions) en voor specifieke (engineering) toepassingen binnen handbereik.
Uitgevoerde acties
Deze aanvraag voorziet in de ontwikkeling van de eerste fase van het online cloud platform waarop in een eventueel vervolg kan worden voortgebouwd. Deze eerste fase zal zich concentreren op twee van de vier voorziene toepassingen van het online cloud platform: CaaS en validatie. In deze eerste fase worden concreet de volgende ontwikkelingen voorzien.•Inventarisatie van bestaande technieken voor cloud computing.•Ontwikkeling van een applicatie voor uitwisseling van gestandaardiseerde data naar model schematisaties (Model Configuration Abstraction Layer MCAL). Deze applicatie kan ook gebruikt worden voor andere model/data toepassingen zoals OpenDA en FEWS en maakt het schrijven van model specifieke adapters voor deze toepassingen potentieel overbodig.•Ontwikkeling van een applicatie voor het aansturen en verbinden van MCAL en gestandaardiseerde BMI-compatible numerieke modellen. •Ontwikkeling van een applicatie voor het verwerken van gestandaardiseerde modeluitvoer in visualisaties en vergelijkingen met gestandaardiseerde data.In een eventueel vervolg wordt gebreid aan uitbreiding van het online cloud platform voor kalibratie operationele modellen en use cases. In de tweede fase van dit project zal concreet voorzien worden in de volgende ontwikkelingen:•Uitbreiding van de applicatie voor het verwerken van gestandaardiseerde modeluitvoer met het uitvoeren van gestandaardiseerde statistische analyses.•Ontwikkeling van een MCAL adapter voor OpenDA voor de standaardisatie van kalibratieprocessen.•Ontwikkeling van een MCAL adapter voor FEWS voor de standaardisatie van operationele processen.•Kalibratie van DFLOW-FM 2DH instationaire solver voor orkaanimpact op eilanden voor de Amerikaanse kust.•Validatie van 3D DCSM hydrodynamische model voor de Noordzee.•Validatie van een samengesteld wind/water/vegetatie model voor storm/herstel cycli op de Zandmotor en eilanden voor de Amerikaanse kust.•Ontwikkeling van een web
Innovativiteit
Binnen het consortium zijn de volgende initiatieven ontwikkeld of in ontwikkeling die relevant zijn in het kader van dit project:OpenEarth: Van Oord en Deltares hebben een leidende rol gespeeld in de ontwikkeling van OpenEarth een initiatief dat de standaardisatie en ontsluiting van data modellen en tools nastreeft.DigiShape: Van Oord heeft recent het DigiShape initiatief gelanceerd. DigiShape streeft er net als OpenEarth naar om data en tools te standaardiseren en te ontsluiten maar dan in de cloud. Het voordeel is dat data en tools in de cloud fysiek dicht bij elkaar staan waardoor grote datasets eenvoudig bewerkt kunnen worden. Bovendien is in de cloud nagenoeg ongelimiteerde rekenkracht aanwezig waardoor ook complexe en reken-intensieve bewerkingen mogelijk zijn.Skillbed: Deltares is in 2010 begonnen met het geautomatiseerd valideren van haar numerieke modellen door middel van een zogenaamd skillbed. Dit skillbed vergelijkt de modelresultaten met een vaste dataset zodra de programmeercode van het model wordt gewijzigd. De ontwikkelaars worden automatisch geïnformeerd over de laatste vergelijking. OpenDA: Deltares heeft de open-source tool OpenDA ontwikkeld voor data assimilatie en kalibratie van modellen. OpenDA is potentieel geschikt voor kalibratie op cloud platforms.FEWS in the cloud: Deltares heeft plannen om haar operationele model runner FEWS te migreren naar de cloud. Synergievoordelen kunnen worden behaald door deze migratie aan te laten sluiten bij onderhavig voorstel.3-clicks-to-a-model: Deltares heeft plannen om het opzetten van verkennende numerieke modellen voor offerte- en planfase te vereenvoudigen volgens de 3-clicks-to-a-model filosofie. Een dergelijke strategie zou voordeel hebben bij de gestandaardiseerde processen voor modelontwikkeling en –toepassing waarin in dit voorstel wordt voorzien.Deze bestaande initiatieven zijn allen van grote meerwaarde voor de ontwikkeling van numerieke modellen voor de Nederlandse sector
Intellectueel eigendom
Alle partijen krijgen alle resultaten van het Project ter beschikking. De resultaten van de samenwerking kunnen breed verspreid worden. Partijen kunnen over deze resultaten vrijelijk publiceren. De resultaten zullen volledig openbaar beschikbaar zijn, met uitzondering van ter beschikking gestelde achtergrondkennis.
Informatievoorziening project
De informatie over dit project wordt kenbaar gemaakt via de website van de TKI Deltatechnologie (projectbeschrijving) en de projectwiki van Deltares (projectvoortgang en resultaten).
Projectvoorwaarden
Na de datum waarop deze Overeenkomst in werking is getreden, maar uiterlijk tot een jaar voor de beoogde datum waarop het Project zal zijn voltooid, kunnen ondernemers en/of onderzoeksinstellingen, die op het terrein van het relevante subsidieprogramma van het TKI werkzaam zijn alsnog als Partij toetreden. Een later toetredende Partij zal een nader overeen te komen bijdrage in kind en/of in cash moeten leveren die in redelijke verhouding staat tot zijn relatief aandeel in het Project na toetreding. De overige Partijen ontvangen vervolgens naar rato een terugbetaling en/ of gedeeltelijke vrijstellingen van hun nog te leveren bijdrage in kind, voor zover niet besloten wordt de bijdrage van de later toetredende Partij aan het projectbudget toe te voegen.