Het gebruik van machine learning in de watersector is de afgelopen jaren aanzienlijk toegenomen en biedt kansen om belangrijke vragen in de watersector op te lossen. Tegelijkertijd zetten veel mensen hun vraagtekens bij de betrouwbaarheid van de uitkomsten. Hoe moet je een systeem vertrouwen dat niet transparant is in hoe het berekeningen maakt? Het DigiShape seedmoney project ‘Explainable AI’ gaat hier verandering in brengen. Paula Lambregts en Thomas Stolp van HKV lijn in water leggen uit hoe ze dit gaan aanpakken.
Meer weten over dit project? Kom naar de DigiShape dag op 11 oktober 2023 bij Havenbedrijf Rotterdam
Wat was de aanleiding voor dit project?
“Het idee voor de toepassing van Explainable AI ontstond in een project dat we met Rijkswaterstaat aan het uitvoeren zijn bij het Amsterdam-Rijnkanaal,” vertelt Paula Lambregts, adviseur rivieren, kusten en delta’s. “Daar werken we aan het vergroten van het inzicht in zoutintrusie op het Amsterdam-Rijnkanaal, zodat Rijkswaterstaat bij aanhoudende droogte gerichte maatregelen kan nemen om de natuur en het drinkwater te beschermen. In eerste instantie hebben we, op basis van een historische dataset, een lineair model ontwikkeld dat voorspelt hoe ver het zout in verschillende situaties komt. Hoewel dit een mooi model was, hadden we toch het vermoeden dat er meer uit de data te halen was. Daarom hebben we een machine learning getraind op de dataset, wat accuratere voorspellingen opleverde dan het lineaire model. Die modellen zijn minder makkelijk te interpreteren en dat geeft minder vertrouwen. Zo ontstond het idee voor Explainable AI.”
Waarom geeft machine learning minder vertrouwen?
“De belangrijkste reden is dat je door de complexiteit niet meer goed weet wat er in machine learning modellen gebeurt, het is een black-box,” legt AI-adviseur Thomas Stolp uit. “Bij lineaire modellen kun je nagaan hoe de uitkomsten tot stand zijn gekomen. Als er bijvoorbeeld een hoge afvoer is, of er zijn veel schepen, dan is de zoutintrusie vaak lager. Dat kun je gewoon terugzien in de coëfficiënten van het model. Bij machine learning laat je het computersysteem patronen in de data ontdekken en zichzelf op basis hiervan verbeteren. Dat levert zo’n gigantische wolk aan vermenigvuldigingsfactoren op, dat min of meer verborgen blijft hoe het aan zijn resultaten komt.”
Hoe gaat dit project daar verandering in brengen?
“In het zoutintrusie project hebben we al een aantal manieren ontdekt om machine learning inzichtelijker te maken,” vertelt Thomas. “Zo is het belangrijk om niet alleen de uitkomsten, maar ook de manier van rekenen te visualiseren. In de dataset kun je bijvoorbeeld steeds één variabele veranderen en kijken wat voor invloed dit op de uitkomsten heeft. Zo ontdek je welke invloed een sleutelfactor heeft op de uitkomsten van het model. Door dit in grafieken weer te geven, krijg je inzicht in wat er in de black box gebeurt. In dit seedmoney project gaan we kijken of er nog meer methoden zijn om inzicht te geven en willen we een tool ontwikkelen, waarmee je als gebruiker snel en interactief door de uitkomsten van het model kan om te zien welke sleutelfactoren het belangrijkst zijn. Daarvoor heb je dan geen kennis van AI nodig.”
Bestaat de kans dan ook dat je ziet dat machine learning er een potje van maakt?
“Dat kan en dan is het goed dat we er snel achter komen. Maar ik verwacht dat we juist meer gaan vertrouwen op wat machine learning te brengen heeft,” denkt Paula. “We hebben in Nederland duizenden operationele datagedreven voorspellingen draaien voor waterstanden, afvoeren, regen en nog veel meer. We beginnen te zien dat in sommige van deze gevallen AI echt betere voorspellingen geeft. Maar voordat je AI operationeel kan toepassen, realtime, met impact op onze samenleving, moet de betrouwbaarheid meer dan duizend keer bewezen zijn. Met Explainable AI kunnen we een stapje in de goede richting zetten.”
Hoe en met wie gaan jullie dit project aanpakken?
“De eerste stap is goed uitpluizen welke vraagtekens mensen hebben bij machine learning en hoe we meer vertrouwen kunnen creëren," vertelt Paula. “Het lopende zoutintrusie project bij Rijkswaterstaat is een goede gelegenheid om dit met eindgebruikers uit te zoeken. Zo zien we momenteel veel verwondering en interesse in wat er met machine learning kan, maar ook nog heel wat vraagtekens bij hoe de resultaten tot stand komen. En wat blijkt: als wij denken dat iets goed uitgelegd is, betekent dit niet altijd dat de eindgebruiker dit ook vindt. Het is dus heel waardevol om het samen te doen.”
Thomas: “Daarnaast gaan we op zoek naar nieuwe technieken om uitkomsten van machine learning modellen uit te leggen en maken we een schetsontwerp hoe de tool eruit moet komen te zien. Een belangrijk onderdeel van de tool wordt het interactief verkennen van de uitkomsten en de mogelijkheid om features te kunnen veranderen. Daarmee kun je vragen beantwoorden zoals: “Wat als de wind vanuit een andere richting was gekomen”. Maar dat idee kan in de loop van het project natuurlijk veranderen. We zijn nu druk bezig met een eerste versie van de tool. Met feedback van gebruikers kunnen we deze dan steeds verder doorontwikkelen."
Op welke manier helpt de DigiShape seedmoney hierbij?
“Het geeft ons extra tijd om het idee verder te brengen, maar ook gelegenheid om hierover met verschillende mensen in gesprek te gaan,” aldus Paula en Thomas. “Zo geven we op woensdag 11 oktober een sessie bij de DigiShape dag in Rotterdam, waarbij we samen met de community kijken welke ontwikkelingsmogelijkheden er voor deze tool zijn. AI heeft een onomkeerbare invloed op onze samenleving en het is superleuk om samen iets voor de watersector te kunnen ontwikkelen, waar iedereen mee verder kan. Hoe beter het vertrouwen in de betrouwbaarheid van machine learning, hoe sneller we met de digitalisering van de watersector kunnen gaan.
Meer informatie
- Meer informatie en inschrijven voor de DigiShape dag - 11 oktober 2023 bij Havenbedrijf Rotterdam
- Nieuwsbericht juli 2023: De drie winnaars van de DigiShape seedmoney call 2023
