Het LISS panel is gebaseerd op een traditionele kanssteekproef van huishoudens uit de Basisregistratie Personen (BRP, voorheen Gemeentelijke Basis Administratie persoonsgegevens (GBA)) van het Centraal Bureau voor de Statistiek (CBS). Op die manier hebben alle burgers een gelijke kans om in de steekproef te worden opgenomen. Zelfaanmelding is niet mogelijk. Personen die niet in de originele steekproef zitten, kunnen dus niet meedoen. Zo zorgen we ervoor dat de samenstelling van het panel lijkt op die van de Nederlandse bevolking. In samenwerking met het CBS wordt de kwaliteit en representativiteit van het panel bewaakt. Het LISS panel is hiermee anders dan andere online panels waar respondenten vaak wel de gelegenheid hebben om zichzelf aan te melden. Door mee te doen aan het LISS panel zorgt u dus ervoor dat het panel geschikt is voor onderzoek waar een goede vertegenwoordiging van de Nederlandse bevolking van groot belang is.
Zijn de volgende uitspraken waar of niet waar?
1) De resultaten van onderzoek onder 50.000 mensen zijn betrouwbaarder dan de resultaten van onderzoek onder 1000 mensen.
2) Wanneer de demografische kenmerken (dat is bijvoorbeeld leeftijd, geslacht enz.) van de te onderzoeken groep gelijk zijn aan die van de bevolking (of doelgroep), zijn de resultaten representatief.
3) Als veel mensen aan een onderzoek meedoen, is het responspercentage onbelangrijk.
Geen enkele van deze drie uitspraken is waar. Hieronder leggen wij aan de hand van enkele voorbeelden uit waarom niet.
1) Stel dat een onderzoeker inzicht wil verkrijgen in hoe vaak mensen sociale media gebruiken. Als de groep van 50.000 mensen is geworven via sociale media (zoals Facebook) dan is dus sprake van een selectieve groep die in meer of mindere mate al sociale media gebruikt. Als de veel kleinere groep van 1000 mensen is geworven via een steekproef uit de Nederlandse bevolking, dan zijn de resultaten van deze niet-selectieve groep veel betrouwbaarder. Het is dus altijd belangrijk inzicht te hebben in hoe de deelnemers zijn geworven. Eenzelfde probleem speelt bij onderzoek waar deelnemers zichzelf hebben aangemeld (zogenaamde opt-in panels). De resultaten van onderzoek onder 50.000 mensen zijn dus zeker niet per definitie betrouwbaarder dan van onderzoek onder 1000 mensen.
2) Stel dat een onderzoeker inzicht wil verkrijgen in het belang dat mensen hechten aan politieke partijen, en dat voor dit doel leden van alle politieke partijen worden benaderd om mee te doen. Met behulp van statistische technieken kunnen onderzoekers de demografische kenmerken (leeftijd, geslacht enz.) van de deelnemers op een betrouwbare wijze gelijktrekken aan die van de Nederlandse bevolking. Maar, er is hier sprake van een vóórselectie. Ze zijn lid van een politieke partij dus ze hechten al een zeker belang aan politieke partijen. Het gelijktrekken van demografische kenmerken verandert daar niets aan. Als de demografische kenmerken gelijk zijn aan die van de bevolking (of doelgroep), zegt dat dus niets over de representativiteit van de onderzoeksgroep.
3) Stel dat een onderzoeker inzicht wil verkrijgen in de mentale gezondheid van leerkrachten in het primaire onderwijs. In totaal doen 13.000 leerkrachten mee aan het onderzoek. Dat is een omvangrijke groep. Maar, dit onderzoek levert geen informatie over de mentale gezondheid van de resterende 90% van de 130.000 leerkrachten die niet meedoen. Onbekend is of de niet-deelnemers minder of juist meer problemen hebben. In absolute zin hebben dus veel leerkrachten meegedaan, maar vanwege de lage response kunnen geen betrouwbare conclusies worden getrokken over de mentale gezondheid van leerkrachten in het primaire onderwijs. Of er nu relatief veel of weinig mensen aan een onderzoek meedoen, de non-respons is dus altijd belangrijk.
Geschreven door prof.dr. Peter van der Velden en prof.dr. Marcel Das.
Onderzoeken over dit thema zijn o.a. gedaan door:
Bradley, V. C., Kuriwaki, S., Isakov, M., Sejdinovic, D., Meng, X. L., & Flaxman, S. (2021). Unrepresentative big surveys significantly overestimated US vaccine uptake. Nature, 600(7890), 695–700.
Lavrakas, P. J., Pennay, D., Neiger, D., & Phillips, B. (2022). Comparing Probability-Based Surveys and Nonprobability Online Panel Surveys in Australia: A Total Survey Error Perspective. Survey Research Methods, 16(2), 241–266.
