Detectie op de brug

Detectiesysteem dat onveilige situaties herkent tijdens het bedienproces

Over het project

Veiliger bedienen met detectie op de brug

Steeds meer bruggen en sluizen zijn uitgerust met camera’s en worden op afstand bediend. Operators baseren zich daarbij op meerdere camerabeelden, vaak variërend van 4 tot 20. Dit is in de praktijk niet altijd gemakkelijk, waardoor er veel van het inzicht van de operator wordt gevraagd. Collega’s uit de operatie hebben meegedacht over hoe we het bedienproces nóg veiliger kunnen maken. Er wordt potentie gezien in ondersteuning bij het bedienen door sensoren en ‘slimme’ camera’s.

Zonder detectie
Met detectie

Hoe ziet detectie eruit? Versleep de lijn om het te ervaren

[Intro muziek]
We zijn op de Biesboschsluis. Dat is de testlocatie voor project Smart Patrol: detectie van onveilige situaties op de brug. We zijn bezig met het ontwikkelen van een systeem dat de operator kan ondersteunen bij het nog veiliger bedienen van de brug.

[Muziek]
Wat heeft Rijkswaterstaat door Pegamento laten ontwikkelen? We hebben twee soorten Artificial Intelligence-netwerken geïmplementeerd om onveilige situaties te detecteren op het brugdek. Objectdetectie voor het herkennen van auto’s, fietsers en voetgangers. En anomaly detectie voor het herkennen van afwijkende situaties. De anomaly detectie is getraind met uren aan beeld van normale situaties, zodat het juist objecten herkent die niet van tevoren getraind zijn, maar wel een afwijking zijn van de veilige situatie op de brug. Een operator wil het brugdek openen en zet de slagbomen omlaag. Camera’s op de brug overzien de situatie en zijn gekoppeld aan een detectiesysteem. Het systeem gebruikt Artificial Intelligence voor het detecteren van mensen en voertuigen op het brugdek en kijkt waar ze zich bevinden als het brugdek geopend wordt. Als een persoon of voertuig op een plaats is waar ze niet mogen zijn, stuurt het systeem een melding naar de generieke RWS IoT inwinketen. Deze stuurt een bericht naar de operator. Die beslist of de brug veilig kan worden geopend.

Het systeem detecteert allerlei objecten op de camerabeelden. Zo detecteert het systeem bijvoorbeeld scootmobielen, maar ook auto’s, voetgangers en fietsers. Tijdens het testen van objectdetectie werden alle zichtbare voertuigen, personen en fietsers gedetecteerd. Er kwamen geen valse waarschuwingen onder variërende omstandigheden en het detectiesignaal kwam vrijwel real-time binnen. Het systeem geeft geen valse signalen voor bijvoorbeeld natte plekken op de brug of een spinnetje voor de camera. Het systeem detecteert zowel bij daglicht als in het donker. En ook als je je best doet om niet gedetecteerd te worden.

Na de proeven op de Biesboschsluis, gaat het Smart Patrol Team verder met de doorontwikkeling van het detectiesysteem. Voor 2024 wordt een pilot in de operatie voorbereid met objectdetectie. Om het systeem nog betrouwbaarder te maken, werken we parallel daaraan mee aan de doorontwikkeling van anomaliedetectie. En onderzoeken we de meerwaarde van inzet van aanvullende sensoren, zoals LiDAR. Ik moet zeggen dat ik een heel groot voorstander ben van een veiliger systeem. Dus ik ben echt benieuwd wat de resultaten zullen gaan zijn.
[Outro muziek]

Ambitie

We detecteren onveilige situaties op de brug

Smart Patrol werkt toe naar een detectiesysteem dat onveilige situaties herkent op de brug, om de operator meer zekerheid te geven tijdens het bedienproces. De detectie maakt gebruik van een slim algoritme (AI) dat objecten detecteert op de camerabeelden.

De operator krijgt een melding als er een gevaarlijke situatie wordt gedetecteerd bij het bedienen van het object. De melding is ter ondersteuning van de operator; het bedienen van het object blijft mensenwerk.

Met detectie op de brug ondersteunen we de operator en maken we het bedienen nog veiliger.

Praktijkproef

We werken toe naar een langdurige proef

We voeren een test uit op de Schellingwouderbrug waarbij het detectiesysteem wordt toegepast op de bestaande camerabeelden. In de eerste fase werken we aan een proefopstelling in Delft, waar de live camerabeelden van de brug inmiddels binnenkomen.

Als de werking van de techniek is aangetoond, is het de bedoeling om het systeem naar een losse (niet-operationele) werkplek te brengen. We gaan dan met de operators vaststellen hoe het systeem functioneert en waar het verbeterd en/of aangepast kan worden.

Prototype van de User Interface

Tijdlijn

Wat we afgelopen tijd hebben gedaan

December 2018Innoveren
Mei 2019Innoveren
Oktober 2020Innoveren
November 2020Innoveren
April 2022Innoveren
Juni 2022Innoveren
2023Innoveren
2024 Uniformeren
2025Uniformeren
2026Uniformeren