Wijzigingen: Bepalen van kwaliteit van data en informatie

Huidige versie van 4 sep 2007 om 13:11

De waarde van meetgegevens en verkeersinformatie voor gebruikers hangt samen met de kwaliteit hiervan. De kwaliteit van gegevens is de mate waarin deze de werkelijkheid beschrijven onder verschillende omstandigheden en gedurende langere tijd. Dit geeft de inherente moeilijkheid weer van het beschrijven van kwaliteit, hiervoor moet de werkelijkheid (zo goed mogelijk) bekend zijn. Daarvoor kunnen meetgegevens worden vergeleken met andere metingen. Het is ook mogelijk om de meting op basis van modellen te toetsen op validiteit.

Inleiding[]

Dit artikel beschrijft hoe de kwaliteit van meetgegevens en informatie bepaald kan worden. Deze kwaliteit geeft aan in hoe verre de gegevens of informatie geschikt zijn voor de beoogde toepassing. Kwaliteit kan continu gemonitord worden of eenmalig getest. Dit laatste is het meest gebruikelijk, hierbij worden systemen getoetst alvorens ze in de praktijk in te zetten. Kwaliteit is zelf geen meetbare grootheid, om kwaliteit te bepalen moeten dus indicatoren voor kwaliteit worden vastgesteld die wel meetbaar zijn. In dit artikel wordt besproken hoe kwaliteit gemeten kan worden aan de hand van beschikbaarheid, nauwkeurigheid en betrouwbaarheid van gegevens en informatie.

Kwaliteit van data en informatie[]

In dit handboek wordt een onderscheid gemaakt tussen data (meetgegevens direct uit meetsystemen) en de informatie die daar na een bewerkingsslag (door middel van bijvoorbeeld een algoritme) uit komt. In de praktijk komen de volgende typen fouten voor:

technische fouten – bijv. storingen in detectoren, onderstations en communicatie; onnauwkeurigheid in de metingen.
software- en configuratiefouten – bijv. software bugs, configuratiefouten, incorrecte keuze van het ontwerp en afrondingsfouten.

Naast deze fouten is het ook van belang om goede backups te maken van verkregen data en om die backups goed te controleren.

Technische fouten kunnen met behulp van systeembewaking worden achterhaald. Bijvoorbeeld met hardwaretechnieken: bij een kapotte detectielus wordt de stroomkring verbroken en kan er geen stroom meer worden gemeten. Ook softwarematig kunnen technische fouten worden achterhaald bijvoorbeeld door (on)bezettijdmetingen van detectiesystemen. Bij het overschrijden van ingestelde grenswaarden is het reëel om te veronderstellen dat een detector technisch niet naar behoren functioneert.

Soms zijn software- en configuratiefouten snel te herkennen op basis van onlogische verkeersinformatie. Vaak liggen dergelijke fouten meer verscholen. Voor het achterhalen van software- en configuratiefouten kan worden gewerkt met geavanceerde softwaretools. Voor lusgegevens in Nederland wordt in het kader van Da Vinci-project gewerkt aan continue softwarematige monitoring van de datakwaliteit.

Wanneer de kwaliteit van een heel systeem moet worden bepaald en daarmee dus de kwaliteit van de informatie die het systeem levert, dan wordt bij voorkeur die informatie zelf getoetst. Is de kwaliteit van de informatie niet, of moeilijk, te bepalen dan kan gekozen worden om de kwaliteit van de verschillende onderdelen (meetsystemen, algoritmes etc.) te bepalen. Ter illustratie, filelengte is informatie die op basis van lusgegevens wordt bepaald binnen het MoniBas algoritme. De kwaliteit van filelengte informatie is erg moeilijk te bepalen, daarom wordt deze bepaald aan de hand van kwaliteit van de lusdata en de validatie van het algoritme.

Het bepalen van de kwaliteit van afzonderlijke onderdelen leidt tot meer inzicht in het functioneren er van. Dit is belangrijk om te kunnen streven naar een éénduidige toepassing van systeemonderdelen. Systeemonderdelen die onderdeel zijn van een groter systeem moeten altijd op gelijkwaardige wijze functioneren in relatie tot andere systeemonderdelen. Verschillen in functioneren (bijvoorbeeld parameterinstellingen) zijn er bij voorkeur alleen als gevolg van specifieke locatieafhankelijke situaties. Een andere reden om de kwaliteit van losse systeem onderdelen te willen toetsen is het beoordelen in hoeverre leveranciers zich aan hun specificaties houden.

Meetbare kenmerken van kwaliteit[]

Kwaliteit laat zich op veel manieren beschrijven (zie ook: Kwaliteit van monitoring), in deze paragraaf wordt aangegeven hoe drie van deze kenmerken, beschikbaarheid, nauwkeurigheid en betrouwbaarheid, gemeten kunnen worden. Deze aanpak geld zowel voor data uit metingen als informatie uit het monitoringssysteem.

Nauwkeurigheid[]

De nauwkeurigheid geeft aan hoeveel de meetwaarde of informatie van de werkelijkheid af zit. Om de nauwkeurigheid te kunnen bepalen moet de meting vergeleken worden met een meting waarvan de nauwkeurigheid bekend is. Een reistijdbepaling op basis van lusgegevens kan bijvoorbeeld gecontroleerd worden met behulp van camera metingen. Hiervoor moet dan wel een systeem worden gebruikt waarvan bekend is dat het kwalitatief goede gegevens oplevert. Over het algemeen worden dit soort controles eenmalig gehouden, het continu laten draaien van twee meetsystemen is vaak te duur. Wel kunnen meerdere meetsystemen gebruikt worden binnen een systeem waar datafusie verschillende bronnen aan elkaar worden gekoppeld. Hiermee wordt de kwaliteit van de data continu gemonitord en op ieder moment het kwalitatief beste systeem benut.

In het geval dat andere, nauwkeuriger, meetsystemen niet voorhanden zijn, dan kunnen handmatige, steekproefsgewijze tests de nauwkeurigheid aantonen. Een reistijdsysteem op basis van camera’s kan bijvoorbeeld getoetst worden door met een auto het traject af te leggen, de reistijd te meten en deze te vergelijken met de reistijd uit het systeem. Dit type onderzoek is uiteraard kostbaar, maar levert wel, eenmalig, een goede validatie van het meetsysteem.

Betrouwbaarheid[]

Betrouwbare informatie betekent dat de informatie aan twee eigenschappen voldoet. Enerzijds moeten de gegevens niet veranderen bij gelijk blijvende omstandigheden. Anderzijds moet de nauwkeurigheid gelijk blijven onder verschillende omstandigheden. Deze twee elementen worden op verschillende wijze bepaald.

Het bepalen van constante output bij dezelfde omstandigheden (input) is een iets wat in een testopstelling moet gebeuren. Vaak worden dit soort testen uitgevoerd op nieuwe producten om te bepalen of ze waar maken wat door leveranciers beloofd is. Een van de belangrijkste testopstellingen in Nederland is het testcentrum van AVV.

Voor het toetsen van constante nauwkeurigheid onder verschillende omstandigheden, moet de nauwkeurigheid langdurig gemeten worden. Dit gaat op de wijze zoals hierboven beschreven. Blijkt de variatie van de nauwkeurigheid gemeten over langere tijd niet te groot te zijn, dan is de informatie betrouwbaar.

Beschikbaarheid[]

De beschikbaarheid van gegevens is het deel van de tijd dat het systeem functioneert en de benodigde gegevens levert. Dit is een eenvoudig meetbare grootheid, zolang er meetgegevens binnenkomen is de beschikbaarheid goed. Voor niet continue metingen, zoals inductielussen die reageren op passerende voertuigen, wordt een controle systeem ingebouwd dat continu de beschikbaarheid in de gaten houdt.

Openstaande vragen[]

Er zijn op dit moment geen openstaande vragen. Aanvullingen zijn welkom.

@@ Regel 1: / Regel 1: @@
 [[Category: Handboek Regionale Verkeersmonitoring]]
+[[Category: Bewerking]]
 [[Category: Kwaliteit van monitoring]]
-[[Category: HRVM aanmaak]]
+[[Category: HRVM gebruiksklaar]]
-<!-- [[Category: HRVM commentaarronde]] -->
-<!-- [[Category: HRVM doorvoeren commentaar]] -->
-<!-- [[Category: HRVM eindcontrole]] -->
-<!-- [[Category: HRVM gebruiksklaar]] -->
+'''De waarde van meetgegevens en verkeersinformatie voor gebruikers hangt samen met de kwaliteit hiervan. De kwaliteit van gegevens is de mate waarin deze de werkelijkheid beschrijven onder verschillende omstandigheden en gedurende langere tijd. Dit geeft de inherente moeilijkheid weer van het beschrijven van kwaliteit, hiervoor moet de werkelijkheid (zo goed mogelijk) bekend zijn. Daarvoor kunnen meetgegevens worden vergeleken met andere metingen. Het is ook mogelijk om de meting op basis van modellen te toetsen op validiteit.'''
-<!-- Bewerkingsstatus van dit artikel wijzigen:                                                -->
-<!--   1. huidige statusregel verwijderen                                                      -->
-<!--   2. nieuwe status ontdoen van commentaarmarkering                                        -->
-<!-- Verwijder tenslotte, als de status "HRVM gebruiksklaar" is bereikt, deze commentaarregels -->
-'''Het bepalen van de kwaliteit van meetsystemen is lastig om continu te monitoren, maar afzonderlijke systemen kunnen wel goed getest worden. Hierbij kan gebruik worden gemaakt van testsystemen van Rijkswaterstaat, of er wordt een vergelijkingsstudie gedaan met een betrouwbare meetmethode, camera's bijvoorbeeld. Het meten van de kwaliteit van gegevensbewerking is nog niet goed uitvoerbaar. Daarom wordt hiervoor gebruik gemaakt van tevredenheidsonderzoek onder de gebruikers.'''
 ==Inleiding==
+Dit artikel beschrijft hoe de kwaliteit van meetgegevens en informatie bepaald kan worden. Deze kwaliteit geeft aan in hoe verre de gegevens of informatie geschikt zijn voor de beoogde toepassing. Kwaliteit kan continu gemonitord worden of eenmalig getest. Dit laatste is het meest gebruikelijk, hierbij worden systemen getoetst alvorens ze in de praktijk in te zetten.
-Kwaliteit is een moeilijk te meten grootheid. Eerst moeten de indicatoren voor veiligheid worden bepaald. Het meten hiervan is vaak nog bewerkelijk, zeker wanneer de hele keten wordt beschouwd. De kwaliteit van meetsystemen kan het best bepaald worden door periodieke vergelijkingsstudies. Structurele monitoring van de data staat nog in de kinderschoenen, vooral [[het da Vinci project]] speelt hier op in. De kwaliteit van meetsystemen is voor een deel afhankelijk van de kwaliteit van de sensoren. Daarnaast is heeft de keten van het hele monitoringssysteem een grote invloed op de kwaliteit van de uiteindelijke informatie. Hierop wordt verder ingegaan in het artikel, [[Proces van kwaliteitsbeheersing ]].
+Kwaliteit is zelf geen meetbare grootheid, om kwaliteit te bepalen moeten dus indicatoren voor kwaliteit worden vastgesteld die wel meetbaar zijn. In dit artikel wordt besproken hoe kwaliteit gemeten kan worden aan de hand van beschikbaarheid, nauwkeurigheid en betrouwbaarheid van gegevens en informatie.
-==Kwaliteit van nieuwe producten==
+==Kwaliteit van data en informatie==
+In dit handboek wordt een onderscheid gemaakt tussen data (meetgegevens direct uit meetsystemen) en de informatie die daar na een bewerkingsslag (door middel van bijvoorbeeld een algoritme) uit komt. In de praktijk komen de volgende typen fouten voor:
-Een lastig punt van het helder opschrijven van kwaliteitseisen waaraan een systeem moet voldoen is dat een systeem uitgebreider is dan de sensor alleen. Het gaat om de gehele keten van sensor tot applicatie. Dus eisen voor de output zijn niet alleen rechtstreeks te vertalen naar eisen aan sensoren
+*technische fouten – bijv. storingen in detectoren, onderstations en communicatie; onnauwkeurigheid in de metingen.
-Momenteel is de markt druk bezig om de wegbeheerder te overtuigen van de voordelen van nieuwe detectiesystemen. De werkelijke prestaties zijn echter nogal eens teleurstellend en niet in overeenstemming met de door de fabrikanten opgegeven kwaliteit. Het is van groot belang om goed en onafhankelijk inzicht te hebben in de kwaliteit van detectiesystemen en ervaringsgegevens van gebruikers. Voor onafhankelijke testresultaten kan het best gezocht worden in de onderzoekswereld. Het lastige is dat zeer veel aspecten een rol spelen in de kwaliteit van een systeem:
+*software- en configuratiefouten – bijv. software bugs, configuratiefouten, incorrecte keuze van het ontwerp en afrondingsfouten.
-*weersomstandigheden;
+Naast deze fouten is het ook van belang om goede backups te maken van verkregen data en om die backups goed te controleren.
-*locatie;
-*verkeersomstandigheden;
-*meetopstelling;
-*storingen.
-Het interpreteren van testgegevens is derhalve erg lastig. Het geven van een getal als score op een bepaald aspect is eigenlijk onmogelijk. In Amerikaanse studies wordt dan ook voor verschillende kenmerken veelal gebruikgemaakt van:
-*scatter plots: vergelijking met lussen;
-*correlatie coëfficiënten (Pearson’s product-moment correlation coefficient);
-*verschilpercentages;
-*varianties.
+Technische fouten kunnen met behulp van systeembewaking worden achterhaald. Bijvoorbeeld met hardwaretechnieken: bij een kapotte detectielus wordt de stroomkring verbroken en kan er geen stroom meer worden gemeten. Ook softwarematig kunnen technische fouten worden achterhaald bijvoorbeeld door (on)bezettijdmetingen van detectiesystemen. Bij het overschrijden van ingestelde grenswaarden is het reëel om te veronderstellen dat een detector technisch niet naar behoren functioneert.
-Veelal worden meetgegevens van nieuwe systemen getoetst aan lussen. De vraag is wel hoe betrouwbaar een lus is. Dat wordt niet meer gecheckt als de lus er eenmaal ligt, aangezien dit kostbare onderzoek is. Wel zijn de meeste lussen ingebed in een monitoringssyteem dat een indicatie van de betrouwbaarheid aangeeft. Metingen met behulp van bijvoorbeeld camera's hebben echter een duidelijk hogere betrouwbaarheid, hiermee kunnen bijvoorbeeld ook lusgegevens gecontroleerd worden.
+Soms zijn software- en configuratiefouten snel te herkennen op basis van onlogische verkeersinformatie. Vaak liggen dergelijke fouten meer verscholen. Voor het achterhalen van software- en configuratiefouten kan worden gewerkt met geavanceerde softwaretools. Voor lusgegevens in Nederland wordt in het kader van [[Kwaliteitsmonitoring, het da Vinci project| Da Vinci-project]] gewerkt aan continue softwarematige monitoring van de datakwaliteit.
-Wat betreft het aantonen van de kwaliteit van nieuwe producten kunnen twee wegen bewandeld worden:
-*De markt laten aantonen dat het product de gewenste kwaliteit levert.
-*Zelf gaan testen. Een onderdeel daarvan kan zijn de TTT (testcentrum toegangstest), waarna het product op het testcentrum verder kan worden getest. Het plan is dat het testcentrum ook sensoren gaat testen.
-Bij voorkeur test de wegbeheerder niet zelf maar biedt deze testfaciliteiten aan de markt. Rijkswaterstaat heeft hiervoor het testcentrum verkeerssystemen zo ingericht dat marktpartijen het kunnen gebruiken om te bewijzen dat hun meetsystemen aan bepaalde eisen voldoen. Regionale overheden zouden in bepaalde gevallen ook van dit testcentrum gebruik kunnen maken.
+Wanneer de kwaliteit van een heel systeem moet worden bepaald en daarmee dus de kwaliteit van de informatie die het systeem levert, dan wordt bij voorkeur die informatie zelf getoetst. Is de kwaliteit van de informatie niet, of moeilijk, te bepalen dan kan gekozen worden om de kwaliteit van de verschillende onderdelen (meetsystemen, algoritmes etc.) te bepalen. Ter illustratie, filelengte is informatie die op basis van [[inductielussen |lusgegevens]] wordt bepaald binnen het MoniBas algoritme. De kwaliteit van filelengte informatie is erg moeilijk te bepalen, daarom wordt deze bepaald aan de hand van kwaliteit van de lusdata en de validatie van het algoritme.
-==Kwaliteit van operationele producten ==
-Operationele producten kunnen het best gecontroleerd worden op voldoende kwaliteit door regelmatige vergelijkingsonderzoeken. Veel vergelijkingsonderzoeken maken gebruik van tijdelijk geïnstalleerde apparatuur waarvan de betrouwbaarheid zeker is. Door op een andere manier dezelfde grootheid te meten kan een uitspraak worden gedaan over de kwaliteit van het geëvalueerde meetsysteem.
+Het bepalen van de kwaliteit van afzonderlijke onderdelen leidt tot meer inzicht in het functioneren er van. Dit is belangrijk om te kunnen streven naar een éénduidige toepassing van systeemonderdelen. Systeemonderdelen die onderdeel zijn van een groter systeem moeten altijd op gelijkwaardige wijze functioneren in relatie tot andere systeemonderdelen. Verschillen in functioneren (bijvoorbeeld parameterinstellingen) zijn er bij voorkeur alleen als gevolg van specifieke locatieafhankelijke situaties.
-==Kwaliteit van informatie==
+Een andere reden om de kwaliteit van losse systeem onderdelen te willen toetsen is het beoordelen in hoeverre leveranciers zich aan hun specificaties houden.
-De kwaliteit van informatie zoals die uiteindelijk geleverd wordt aan de gebruiker is moeilijk te controleren. Een sporadisch vergelijkingsonderzoek kan een beeld geven van de betrouwbaarheid van, bijvoorbeeld, getoonde reistijden. Over het algemeen wordt de kwaliteit van informatie nu bepaald aan de hand van teverdenheidsonderzoek onder de gebruiker. Hiermee wordt heel direct gemeten of het doel van de informatie voorziening bereikt wordt; goede reisinformatie waar de reiziger wat aan heeft.
+==Meetbare kenmerken van kwaliteit==
+Kwaliteit laat zich op veel manieren beschrijven (zie ook: [[:Category:Kwaliteit_van_monitoring|Kwaliteit van monitoring]]), in deze paragraaf wordt aangegeven hoe drie van deze kenmerken, beschikbaarheid, nauwkeurigheid en betrouwbaarheid, gemeten kunnen worden. Deze aanpak geld zowel voor data uit metingen als informatie uit het monitoringssysteem.
+===Nauwkeurigheid===
+De nauwkeurigheid geeft aan hoeveel de meetwaarde of informatie van de werkelijkheid af zit. Om de nauwkeurigheid te kunnen bepalen moet de meting vergeleken worden met een meting waarvan de nauwkeurigheid bekend is. Een reistijdbepaling op basis van [[Verkeersmonitoring met inductielussen | lusgegevens]] kan bijvoorbeeld gecontroleerd worden met behulp van [[Verkeersmonitoring d.m.v. kentekenherkenning | camera metingen]]. Hiervoor moet dan wel een systeem worden gebruikt waarvan bekend is dat het kwalitatief goede gegevens oplevert. Over het algemeen worden dit soort controles eenmalig gehouden, het continu laten draaien van twee meetsystemen is vaak te duur. Wel kunnen meerdere meetsystemen gebruikt worden binnen een systeem waar [[Overzicht data fusie|datafusie]] verschillende bronnen aan elkaar worden gekoppeld. Hiermee wordt de kwaliteit van de data continu gemonitord en op ieder moment het kwalitatief beste systeem benut.
+In het geval dat andere, nauwkeuriger, meetsystemen niet voorhanden zijn, dan kunnen handmatige, steekproefsgewijze tests de nauwkeurigheid aantonen. Een reistijdsysteem op basis van camera’s kan bijvoorbeeld getoetst worden door met een auto het traject af te leggen, de reistijd te meten en deze te vergelijken met de reistijd uit het systeem. Dit type onderzoek is uiteraard kostbaar, maar levert wel, eenmalig, een goede validatie van het meetsysteem.
+===Betrouwbaarheid===
+Betrouwbare informatie betekent dat de informatie aan twee eigenschappen voldoet. Enerzijds moeten de gegevens niet veranderen bij gelijk blijvende omstandigheden. Anderzijds moet de nauwkeurigheid gelijk blijven onder verschillende omstandigheden. Deze twee elementen worden op verschillende wijze bepaald.
+Het bepalen van constante output bij dezelfde omstandigheden (input) is een iets wat in een testopstelling moet gebeuren. Vaak worden dit soort testen uitgevoerd op nieuwe producten om te bepalen of ze waar maken wat door leveranciers beloofd is. Een van de belangrijkste testopstellingen in Nederland is het [http://www.rws-avv.nl/testcentrum/ testcentrum van AVV].
+Voor het toetsen van constante nauwkeurigheid onder verschillende omstandigheden, moet de nauwkeurigheid langdurig gemeten worden. Dit gaat op de wijze zoals hierboven beschreven. Blijkt de variatie van de nauwkeurigheid gemeten over langere tijd niet te groot te zijn, dan is de informatie betrouwbaar.
+===Beschikbaarheid===
+De beschikbaarheid van gegevens is het deel van de tijd dat het systeem functioneert en de benodigde gegevens levert. Dit is een eenvoudig meetbare grootheid, zolang er meetgegevens binnenkomen is de beschikbaarheid goed. Voor niet continue metingen, zoals [[inductielussen]] die reageren op passerende voertuigen, wordt een controle systeem ingebouwd dat continu de beschikbaarheid in de gaten houdt.
+==Openstaande vragen==
-==Bronnen==
+Er zijn op dit moment geen openstaande vragen. Aanvullingen zijn welkom.
-'''Polman, W.''', '' Voertuigdetectie: wensen en mogelijkheden'', AVV Rijkswaterstaat, Rotterdam, 2002