The Consistency of Question-order Bias in a Changing Political Context

Vi har længe vidst, at rækkefølgen af spørgsmål i et spørgeskema kan have indflydelse på de svar, vi får. Den viden bygger imidlertid ofte på små samples indsamlet i ret forskellige kontekster. I denne undersøgelse har vi gennemført seks store befolkningsundersøgelser om borgernes tillid og opfattelse af effektivitet af den belgiske covid-19-håndtering. Det giver mulighed for at gentage de centrale rækkefølge-eksperimenter flere gange i den samme belgiske kontekst, men med skiftende omstændigheder i forhold til udviklingen i covid-19 og håndteringen af pandemien.

I spørgeskemaerne bytter vi eksperimentelt rundt på rækkefølgen af spørgsmålene om borgernes tillid til en række centrale aktører i pandemihåndteringen (eksperter, EU, lokale myndigheder, regionale myndigheder, føderale myndigheder) og spørgsmålene om effektivitet. Samtidig bytter vi også rundt på rækkefølgen af aktørerne, således at nogle først bliver spurgt ind til tilliden til eksperter og andre først til føderale myndigheder.

Rækkefølgen af spørgsmål har betydning for svarene

Resultaterne af undersøgelsen viser, at rækkefølgen af spørgsmål i et spørgeskema har betydning, og at disse effekter af rækkefølgen er forholdsvis konsistente på tværs af de seks undersøgelser og den belgiske covid-19-håndtering. Dog viser det sig også, at effekterne af rækkefølgen af tillids- og effektivitetsspørgsmål vendes om, når vi vender rækkefølgen om på de aktører, der spørges ind til. Der er forskel på først at blive spurgt ind til tilliden til eksperter eller tilliden til den føderale regering.

Anbefalinger

Rækkefølgen af spørgsmål i et spørgeskema kan potentielt have stor indflydelse på svarene. Derfor er det vigtigt at overveje, om rækkefølgen af spørgsmål lægger op til sådanne (typisk uønskede) effekter: er der et emnemæssigt overlap mellem dem, er der kort afstand mellem relaterede spørgsmål, er der mange spørgsmål til emnerne, og er der tvetydighed i spørgsmålene? Er disse til stede, kan rækkefølge-effekter af spørgsmål ifølge teorien nemmere opstå.

Den videnskabelige artikel The consistency of question-order bias in a changing political contexter er bragt i tidsskriftet Public Administration og skrevet af VIVEs seniorforsker Morten Hjortskov Larsen i samarbejde med hans belgiske forskningskollegaer Wouter Van Dooren, Steven F. De Vadder, Koen Verhoest.