De waarde van meetgegevens en verkeersinformatie voor gebruikers hangt samen met de kwaliteit hiervan. De kwaliteit van gegevens is de mate waarin deze de werkelijkheid beschrijven onder verschillende omstandigheden en gedurende langere tijd. Dit geeft de inherente moeilijkheid weer van het beschrijven van kwaliteit, hiervoor moet de werkelijkheid (zo goed mogelijk) bekend zijn. Dit betekent dat meetgegevens kunnen worden vergeleken met betrouwbaarder, bijvoorbeeld handmatige, metingen. Een andere methodiek is om de meting op basis van modellen te toetsen op validiteit.
Inleiding
Dit artikel beschrijft hoe de kwaliteit van meetgegevens en informatie bepaald kan worden. Deze kwaliteit geeft aan in hoe verre de gegevens of informatie geschikt zijn voor de beoogde toepassing. Kwaliteit kan continu gemonitord worden of eenmalig getest. Dit laatste is het meest gebruikelijk, hierbij worden systemen getoetst alvorens ze in de praktijk in te zetten. Voor lusgegevens in Nederland wordt in het kader van Da Vinci-project gewerkt aan continue monitoring van de datakwaliteit.
Kwaliteit is zelf geen meetbare grootheid, om kwaliteit te bepalen moeten dus indicatoren voor kwaliteit worden vastgesteld die wel meetbaar zijn. In dit artikel wordt besproken hoe kwaliteit gemeten kan worden aan de hand van beschikbaarheid, nauwkeurigheid en betrouwbaarheid van gegevens en informatie.
Kwaliteit van data en informatie
In dit handboek wordt een onderscheid gemaakt tussen data (meetgegevens direct uit meetsystemen) en de informatie die daar na een bewerkingsslag (door middel van bijvoorbeeld een algoritme) uit komt. De kwaliteit van de uiteindelijke informatie kan getoetst worden, maar ook kan er gekeken worden naar de output die verschillende onderdelen van het systeem leveren.
Wanneer de kwaliteit van een heel systeem moet worden bepaald en daarmee dus de kwaliteit van de informatie die het systeem levert, dan wordt bij voorkeur die informatie zelf getoetst. Is de kwaliteit van de informatie niet, of moeilijk, te bepalen dan kan gekozen worden om de kwaliteit van de verschillende onderdelen (meetsystemen, algoritmes etc.) te bepalen. Ter illustratie, filelengte is informatie die op basis van lusgegevens wordt bepaald binnen het MoniBas algoritme. De kwaliteit van filelengte informatie is erg moeilijk te bepalen, daarom wordt deze bepaald aan de hand van kwaliteit van de lusdata en de validatie van het algoritme. Een andere reden om de kwaliteit van losse systeem onderdelen te willen toetsen is het beoordelen in hoeverre leveranciers zich aan hun specificaties houden.
Meetbare kenmerken van kwaliteit
Kwaliteit laat zich op veel manieren beschrijven (zie ook: Category:Kwaliteit_van_monitoring), in deze paragraaf wordt aangegeven hoe drie van deze kenmerken, beschikbaarheid, nauwkeurigheid en betrouwbaarheid, gemeten kunnen worden. Deze aanpak geld zowel voor data uit metingen als informatie uit het monitoringssysteem.
Nauwkeurigheid
De nauwkeurigheid geeft aan hoeveel de meetwaarde of informatie van de werkelijkheid af zit. Om de nauwkeurigheid te kunnen bepalen moet de meting vergeleken worden met een meting waarvan de nauwkeurigheid bekend is. Een reistijdbepaling op basis van lusgegevens kan bijvoorbeeld gecontroleerd worden met behulp van camera metingen. Hiervoor moet dan wel een systeem worden waarvan bekend is dat het kwalitatief goede gegevens oplevert. Over het algemeen worden dit soort controles eenmalig gehouden, het continu laten draaien van twee meetsystemen is vaak te duur. Wel kunnen meerdere meetsystemen gebruikt worden binnen een systeem waar met datafusie verschillende bronnen aan elkaar worden gekoppeld. Hiermee wordt de kwaliteit van de data continu gemonitord en op ieder moment het kwalitatief beste systeem benut.
In het geval dat andere, nauwkeuriger, meetsystemen niet voorhanden zijn, dan kunnen handmatige, steekproefsgewijze tests de nauwkeurigheid aantonen. Een reistijdsysteem op basis van camera’s kan bijvoorbeeld getoetst worden door met een auto het traject af te leggen, de reistijd te meten en deze te vergelijken met de reistijd uit het systeem. Dit type onderzoek is uiteraard kostbaar, maar levert wel, eenmalig, een goede validatie van het meetsysteem.
Betrouwbaarheid
Betrouwbare informatie betekent dat de informatie aan twee eigenschappen voldoet. Enerzijds moeten de gegevens niet veranderen bij gelijk blijvende omstandigheden. Anderzijds moet de nauwkeurigheid gelijk blijven onder verschillende omstandigheden. Deze twee elementen worden op verschillende wijze bepaald.
Het bepalen van constante output bij dezelfde omstandigheden (input) is een iets wat in een testopstelling moet gebeuren. Vaak worden dit soort testen uitgevoerd op nieuwe producten om te bepalen of ze waar maken wat door leveranciers beloofd is. Een van de belangrijkste testopstellingen in Nederland is het testcentrum van AVV.
Voor het toetsen van constante nauwkeurigheid onder verschillende omstandigheden, moet de nauwkeurigheid langdurig gemeten worden. Dit gaat op de wijze zoals hierboven beschreven. Blijkt de variantie van de nauwkeurigheid gemeten over langere tijd niet te groot te zijn, dan is de informatie betrouwbaar.
Beschikbaarheid
De beschikbaarheid van gegevens is het deel van de tijd dat het systeem functioneert en de benodigde gegevens levert. Dit is een eenvoudig meetbare grootheid, zolang er meetgegevens binnenkomen is de beschikbaarheid goed. Voor niet continue metingen, zoals inductielussen die reageren op passerende voertuigen, wordt een controle systeem ingebouwd dat continu de beschikbaarheid in de gaten houdt.
Openstaande vragen
Er zijn op dit moment geen openstaande vragen. Aanvullingen zijn welkom.