Steeds meer bruggen en sluizen zijn uitgerust met camera’s en worden op afstand bediend. Operators baseren zich daarbij op meerdere camerabeelden, vaak variërend van 4 tot 20. Dit is in de praktijk niet altijd gemakkelijk, waardoor er veel van het inzicht van de operator wordt gevraagd. Collega’s uit de operatie hebben meegedacht over hoe we het bedienproces nóg veiliger kunnen maken. Er wordt potentie gezien in ondersteuning bij het bedienen door sensoren en ‘slimme’ camera’s.
[Intro muziek]
We zijn op de Biesboschsluis. Dat is de testlocatie voor project Smart Patrol: detectie van onveilige situaties op de brug. We zijn bezig met het ontwikkelen van een systeem dat de operator kan ondersteunen bij het nog veiliger bedienen van de brug.
[Muziek]
Wat heeft Rijkswaterstaat door Pegamento laten ontwikkelen? We hebben twee soorten Artificial Intelligence-netwerken geïmplementeerd om onveilige situaties te detecteren op het brugdek. Objectdetectie voor het herkennen van auto’s, fietsers en voetgangers. En anomaly detectie voor het herkennen van afwijkende situaties. De anomaly detectie is getraind met uren aan beeld van normale situaties, zodat het juist objecten herkent die niet van tevoren getraind zijn, maar wel een afwijking zijn van de veilige situatie op de brug. Een operator wil het brugdek openen en zet de slagbomen omlaag. Camera’s op de brug overzien de situatie en zijn gekoppeld aan een detectiesysteem. Het systeem gebruikt Artificial Intelligence voor het detecteren van mensen en voertuigen op het brugdek en kijkt waar ze zich bevinden als het brugdek geopend wordt. Als een persoon of voertuig op een plaats is waar ze niet mogen zijn, stuurt het systeem een melding naar de generieke RWS IoT inwinketen. Deze stuurt een bericht naar de operator. Die beslist of de brug veilig kan worden geopend.
Het systeem detecteert allerlei objecten op de camerabeelden. Zo detecteert het systeem bijvoorbeeld scootmobielen, maar ook auto’s, voetgangers en fietsers. Tijdens het testen van objectdetectie werden alle zichtbare voertuigen, personen en fietsers gedetecteerd. Er kwamen geen valse waarschuwingen onder variërende omstandigheden en het detectiesignaal kwam vrijwel real-time binnen. Het systeem geeft geen valse signalen voor bijvoorbeeld natte plekken op de brug of een spinnetje voor de camera. Het systeem detecteert zowel bij daglicht als in het donker. En ook als je je best doet om niet gedetecteerd te worden.
Na de proeven op de Biesboschsluis, gaat het Smart Patrol Team verder met de doorontwikkeling van het detectiesysteem. Voor 2024 wordt een pilot in de operatie voorbereid met objectdetectie. Om het systeem nog betrouwbaarder te maken, werken we parallel daaraan mee aan de doorontwikkeling van anomaliedetectie. En onderzoeken we de meerwaarde van inzet van aanvullende sensoren, zoals LiDAR. Ik moet zeggen dat ik een heel groot voorstander ben van een veiliger systeem. Dus ik ben echt benieuwd wat de resultaten zullen gaan zijn.
[Outro muziek]
Smart Patrol werkt toe naar een detectiesysteem dat onveilige situaties herkent op de brug, om de operator meer zekerheid te geven tijdens het bedienproces. De detectie maakt gebruik van een slim algoritme (AI) dat objecten detecteert op de camerabeelden.
De operator krijgt een melding als er een gevaarlijke situatie wordt gedetecteerd bij het bedienen van het object. De melding is ter ondersteuning van de operator; het bedienen van het object blijft mensenwerk.
We voeren een test uit op de Schellingwouderbrug waarbij het detectiesysteem wordt toegepast op de bestaande camerabeelden. In de eerste fase werken we aan een proefopstelling in Delft, waar de live camerabeelden van de brug inmiddels binnenkomen.
Als de werking van de techniek is aangetoond, is het de bedoeling om het systeem naar een losse (niet-operationele) werkplek te brengen. We gaan dan met de operators vaststellen hoe het systeem functioneert en waar het verbeterd en/of aangepast kan worden.
Inbreng idee
De operatie stelt voor om slimme camera’s en sensoren te gebruiken voor het detecteren van onveilige situaties. Een challenge wordt georganiseerd om marktkansen te verkennen.
Bijeenkomst
De Informatiebijeenkomst voor de Challenge trekt maar liefst 47 geïnteresseerden (marktpartijen, kennisinstituten en start-ups). De genodigden ontvangen niet alleen informatie, maar denken ook mee.
Challenge Detectie
Er worden drie marktpartijen geselecteerd. Zij tonen hun technische oplossingen voor detectie. De oplossingen laten hun meerwaarde zien en worden tijdens de testdag beoordeeld.
Winnaar Challenge
Systeem inleren
Systeem controleren
UI ontwerpen
Verbeteren
Vanuit Delft wordt gewerkt aan een MVP. We testen detectie op live camerabeelden. Het algoritme wordt verbeterd en we werken aan koppelingen met andere systemen.
Integratie
We hopen in 2025 detectie te integreren in een test-bedienwerkplek. Hiermee tonen we aan dat de techniek veilig werkt binnen de bestaande systemen van Rijkswaterstaat.
Langdurige test
We werken toe naar een praktijkproef waarbij het systeem langduring wordt getest op één werkplek in de operatie. Deze proef zal de meerwaarde, de betrouwbaarheid en de verdere uitrol bepalen.
