Aanleiding: hoge respons is wenselijk

Het Centraal Bureau voor de Statistiek (CBS) verzamelt informatie voor zijn statistieken onder andere door vragenlijsten te sturen aan een deel van de Nederlandse bevolking. Denk aan vragenlijsten over bijvoorbeeld werksituatie, gezondheid of woonomgeving. Een steekproef van de bevolking krijgt een brief met het verzoek om mee te doen. Voor zo representatief mogelijke uitkomsten is het van belang dat zoveel mogelijk Nederlanders daadwerkelijk de vragenlijst invullen. In een experiment heeft het CBS getoetst of de volgorde van bepaalde alinea’s in de brieven effect heeft op het invulgedrag.

Interventie: call-to-action verplaatst naar eerder in de brief

In de Enquête Beroepsbevolking is geëxperimenteerd met de uitnodigings- en herinneringsbrieven. In deze enquête onderzoekt het CBS de ontwikkelingen op de arbeidsmarkt in Nederland. Denk aan het aantal werkzoekenden, de redenen om minder te werken of het aandeel jongeren met een bijbaan naast hun opleiding. Er gingen 2 soorten uitnodigings- en herinneringsbrieven uit:

• Standaardbrieven: hierin werd gestart met 2 alinea’s over het CBS en het specifieke onderzoek. Daarna volgde een alinea over de te winnen incentives, bijvoorbeeld een iPad of een VVV-cadeaukaart. Vervolgens kwam een alinea over hoe mensen mee konden doen, met een webadres en inloggegevens.
• Experimentele brieven: hierin is de ‘hoe doe je mee’-alinea helemaal naar boven verplaatst. Specifieke informatie over het onderzoek volgde later in de brief.

Methode: veldexperiment

Van januari tot en met maart 2023 heeft 10% van de steekproef de experimentele brief ontvangen (N=5.031) en 90% de standaardbrief (N=45.292). Via de website waarop mensen de vragenlijst invulden, werd per uitgenodigde persoon vastgelegd of diegene de vragenlijst heeft geopend (inlogger), of die voortijdig is gestopt met invullen (afbreker), of dat die de hele vragenlijst heeft afgerond (respons).

Resultaat: standaardpositie van call-to-action werkt het best

De standaardbrieven leveren een duidelijk hogere respons (37,6% van de ontvangers) dan bij de brieven waarin de call-to-action eerder in de tekst staat (36,1%). Dit is een significant verschil. Bij een steekproef van circa 50.000 personen, leidt een responsverhoging van 1,5 procentpunt tot 750 meer ingevulde vragenlijsten. Verder blijkt dat in de experimentele groep minder mensen een inlogpoging doen in vergelijking met de controlegroep (39,6% versus 40,7%) en dat zij vaker afbreken als ze eenmaal ingelogd zijn (3,5% versus 3,0%). Deze verschillen zijn niet significant.

In bepaalde leeftijdsgroepen is het verschil in respons tussen de brieven relatief groot. In de groep tot 40 jaar vult zelfs 33,2% van de uitgenodigden de hele vragenlijst in als ze de standaardbrief krijgen, terwijl dat 30,7% is bij de experimentele brief; een significant verschil. De leeftijdsgroep boven de 65 jaar lijkt juist beter te reageren op de experimentele brief (53,9% versus 52,4% op de standaardbrief), maar dit verschil is niet significant gebleken.

Impact: betere statistieken

Een effectievere uitnodigingsbrief leidt tot significant meer respons op de vragenlijsten; en daarmee tot betrouwbaarder resultaten. Het CBS kan een beter statistisch beeld geven over de Nederlandse bevolking. Bovendien is deze interventie goedkoop: de ene brief is niet duurder dan de andere.