Choir of believers? Experimental and longitudinal evidence on survey participation, response bias, and public service motivation

Når vi inviterer til deltagelse i spørgeskemaundersøgelser, kan vi risikere response bias alt efter, hvordan invitationen er udformet, og hvilke incitamenter der er knyttet til den – det kan fx være præmier. Response bias er forskellen i svarene mellem de personer, som har svaret på spørgeskemaet, og de personer som ikke har. Sidstnævnte kender vi naturligvis sjældent.

Response bias vil i teorien særligt opstå, når respondenterne har et særligt incitament til eller motivation for at svare på spørgeskemaet. Det kan fx være, fordi de er særligt interesserede i emnet for spørgeskemaet, fordi de kan være særligt motiverede for at bidrage med deres viden, eller de kan have interesse i at deltage, fordi der er en gevinst tilknyttet det at svare på spørgeskemaet.

Ingen bias i svar, trods større deltagelse ved pengepræmie

Selvom response bias i teorien kan opstå, når personer har særlig motivation for at deltage i spørgeskemaundersøgelser, så finder nærværende undersøgelse ikke forskel på svarene i såkaldte public service motivations-spørgsmål – heller ikke selvom, at det gennem en pengepræmie er lykkedes at skaffe 3,1 procentpoint flere respondenter. Public service-motivation omhandler bl.a. motivationen for at gøre godt for andre og samfundet, hvorfor det lægger op til mulig response bias i spørgeskemaer, der forsøger at måle fænomenet.

Undersøgelsen bygger på et felteksperiment og to studier over tid (longitudinale):

• Et eksperiment, hvor vi inviterer respondenter (fysioterapeuter) ind på tre forskellige måder: 1) En normal invitation (baseline), 2) en invitation, der slår på public service motivation (du kan bidrage til viden), og 3) en pengepræmie.
  
  
• To studier, der strækker sig over tid, hvor vi ser på, om højt public service-motiverede medarbejdere (fysioterapeuter, pædagoger, lærere og administrativt ansatte) har en større tendens til at blive i et panel over længere tid end lavt public service-motiverede.

Konklusion

Spørgeskemaer er helt uundværlige til at undersøge problemstillinger i socialvidenskaben, men response bias kan give skævheder i data og konklusioner fra dem. Imidlertid finder vi ikke response bias i flere spørgeskemaundersøgelser af public service-motivation, hvor man ellers skulle formode, at det er oplagt. Derfor ser det ud til, at pengepræmier ikke nødvendigvis tiltrækker en særlig type af respondenter, som potentielt giver response bias. Dermed kan sådanne incitamenter godt benyttes til at skaffe ekstra svar på spørgeskemaer.

Den videnskabelige artikel Choir of Believers? Experimental and longitudinal evidence on survey participation, response bias, and public service motivation er bragt I tidsskriftet International Public Management Journal, volume 26, 2023. Forfatterne er Morten Hjortskov fra VIVE samt Anne Mette Kjeldsen og Christian Bøtcher Jacobsen fra Kronprins Frederiks Center for Offentlig Ledelse.