TU Darmstadt / ULB / TUprints

The effect of assigning sample members to their preferred device on nonresponse and measurement in Web surveys

Metzler, Anke (2020)
The effect of assigning sample members to their preferred device on nonresponse and measurement in Web surveys.
Technische Universität Darmstadt
doi: 10.25534/tuprints-00008788
Ph.D. Thesis, Primary publication

[img]
Preview
Text
Dissertation_Metzler_Nov_2018_Veröffentlichung.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (4MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: The effect of assigning sample members to their preferred device on nonresponse and measurement in Web surveys
Language: English
Referees: Fuchs, Prof. Dr. Marek ; Couper, Prof. PhD Mick P.
Date: January 2020
Place of Publication: Darmstadt
Date of oral examination: 25 January 2019
DOI: 10.25534/tuprints-00008788
Abstract:

Web surveys are completed on a range of different devices and even if Web surveys encourage sample members to respond with one specific device, some sample members do not follow the instructions and complete the Web survey with a different device. The prevalence of non-conforming respondents indicates that people have a device preference for Web survey participation. Thus, most Web surveys use a responsive questionnaire design that accommodates all devices. Web surveys using a responsive questionnaire design, also called mixed-device Web surveys, give sample members the opportunity to choose the device for participation at their own convenience. The assumption so far is that the opportunity to choose their preferred device for Web survey participation increases response rates compared to Web surveys that encourage one specific device for participation. Mixed-device Web surveys are a unique type of concurrent mixed-mode surveys and findings of previous research revealed that response rates of concurrent mixed-mode surveys were lower than response rates of surveys using a unimode design. These results can be explained by the paradox of choice. The opportunity to choose from a range of modes/devices may increase the complexity and burden of responding. Thus, the choice between modes/devices may dissuades sample members from responding. Accordingly, the allocation to one device may decrease burden of responding further even if Web surveys use a responsive questionnaire design. However, the assumption is that device instructions only help, if sample members are assigned to their preferred device. In particular, this thesis examines if the allocation to the preferred device can decrease nonresponse compared to being assigned to the non-preferred device. Furthermore, people are expected to prefer devices for Web survey participation that are less burdensome and more motivating. Thus, the task difficulty of answering questions is lower and the respondents’ degree of motivation is higher, if sample members respond with their preferred device instead of their non-preferred device. According to the satisficing framework, task difficulty increases the likelihood of satisficing and the degree of motivation decreases the likelihood of satisficing. Thus, respondents who complete the Web survey with their preferred device are less likely to shortcut the question-answer process resulting in higher data quality compared to respondents who answer the Web survey with their non-preferred device. The second aim of this thesis is to determine the effect of responding with the preferred device on measurement. The findings of this thesis revealed that respondents who were assigned to their preferred device were more likely to respond with the requested device than respondents who were assigned to their non-preferred device. However, being assigned to the preferred device did not affect unit nonresponse rates of sample members. Thus, higher conformance rates of sample members assigned to their preferred device were primary due to the decrease of non-conforming respondents. Findings of the effect of responding with the preferred device on data quality were inconclusive. Seven indicators of data quality (survey breakoff, item nonresponse, response time, survey focus, degree of differentiation, length of answers and primacy effects) were analyzed. Two indicators (survey breakoff and degree of differentiation) revealed that data quality of respondents who completed the Web survey with their preferred device was lower than data quality of respondents who answered the Web survey with their non-preferred device. However, findings on the respondents’ survey focus and their response time at question level indicated that data quality of respondents who completed the Web survey with their preferred device was higher than data quality of respondents who answered the Web survey with their non-preferred device. No effects were found for the remaining indicators. In conclusion, if sample members are assigned to one specific device for Web survey participation the sample members’ device preference should be considered, because non-conformance of device instructions can be reduced to a great extent resulting in higher conformance rates. Responding with the preferred device did not affect most indicators of data quality and effects on the remaining indicators of data quality were contradictory. Thus, overall responding with the preferred device should not affect data quality. The effect on conformance rates was stronger than the effect on data quality. Thus, in mixed-device Web surveys, it seems worth considering assigning sample members to their preferred device.

Alternative Abstract:
Alternative AbstractLanguage

Online Befragungen werden mit verschiedenen Endgeräten beantwortet und selbst wenn Befragte aufgefordert werden, an Online Befragungen mit einem bestimmten Endgerät teilzunehmen, folgen Befragte dieser Aufforderung oft nicht und beantworten die Online Befragung mit einem anderen Endgerät (Non-Conformance). Befragte bevorzugen für die Teilnahme an Online Befragungen verschiedene Endgeräte. Deshalb nutzen viele Online Befragungen ein responsive Fragebogendesign, das sich der jeweiligen Bildschirmgröße des Endgerätes anpasst. Online Befragungen, die ein responsive Fragebogendesign verwenden – auch Mixed-Device Online Befragungen genannt – ermöglichen Befragten, mit dem Endgeräte ihrer Wahl an der Umfrage teilzunehmen. Die Annahme ist, dass die Antwortraten von Online Befragungen, die dem Befragten die Teilnahme mit ihrem bevorzugten Endgerät ermöglichen, höher sind als die Antwortraten von Online Befragungen, die ein bestimmtes Endgerät für die Teilnahme vorgeben. Allerdings zeigen Forschungsergebnisse von zeitgleichen Mixed-Mode-Umfragen – zu denen auch Mixed-Device Online Befragungen gezählt werden können – dass Antwortraten von zeitgleichen Mixed-Mode-Umfragen niedriger sind als Antwortraten von Umfragen im Unimode-Design. Diese Ergebnisse können mit Hilfe des Auswahlparadoxons erklärt werden. Laut dem Auswahlparadoxon erhöht die Möglichkeit bei Umfragen zwischen verschiedenen Modes/Endgeräten wählen zu können die Komplexität der Teilnahmeentscheidung und somit die Belastung des Befragten. Folglich erhöht die Möglichkeit, zwischen mehreren Modes/Endgeräten wählen zu können, die Nonresponserate von solchen Umfragen. Deshalb sollten Befragte eine Anweisung erhalten, mit welchem Endgerät sie an der Online Befragung teilnehmen sollen, die gleichzeitig die Präferenz der Befragten berücksichtigt. In dieser Arbeit wird untersucht, ob Befragte, die aufgefordert werden mit ihrem bevorzugten Endgerät an Online Befragungen teilzunehmen, eine geringere Nonresponserate aufweisen als Befragte, die aufgefordert werden mit einem anderen Endgerät an Online Befragungen teilzunehmen.

Weiterhin wird angenommen, dass Befragte zur Teilnahme an Online Befragungen Endgeräte bevorzugen, die ihnen die Teilnahme erleichtern und für sie eine motivierende Wirkung haben, so dass für Befragte, die mit ihrem bevorzugten Endgerät an Online Befragungen teilnehmen, die Aufgabe leichter und die Motivation höher ist im Vergleich zu Befragten, die mit einem anderen Endgerät an Online Befragungen teilnehmen. Laut der Satisficing Theorie steigt die Wahrscheinlichkeit für Satisficing mit zunehmender Aufgabenschwierigkeit und abnehmender Motivation. Aus diesem Grund wird angenommen, dass Befragte, die mit ihrem bevorzugtem Endgerät an Online Befragungen teilnehmen, die Phasen des Frage-Antwort-Prozesses gründlicher ausführen und ihre Antworten deshalb eine bessere Datenqualität aufweisen als die Antworten von Befragten, die mit einem anderen Endgerät an Online Befragungen teilnehmen. Die Untersuchung des Effekts von dem bevorzugten Endgerät auf den Messfehler ist das zweite Ziel dieser Arbeit.

Die Ergebnisse dieser Arbeit zeigen, dass Befragte, die aufgefordert werden mit ihrem bevorzugten Endgerät an Online Befragungen teilzunehmen, eher mit dem zugeordneten Endgerät an der Befragung teilnehmen (Conformance Rate) als Befragte, die aufgefordert werden mit einem anderen Endgerät an der Online Befragung teilzunehmen. Jedoch gab es keinen Unterschied zwischen den Unit Nonresponse Raten dieser beiden Gruppen. Die höheren Conformance Raten von Befragten, die zur Teilnahme mit ihrem bevorzugten Endgerät eingeladen wurden, sind also hauptsächlich auf niedrigere Non-Conformance Raten zurückzuführen. Ergebnisse zu dem Einfluss der Teilnahme mit dem bevorzugten Endgerät auf die Datenqualität sind nicht eindeutig. Sieben Datenqualitätsindikatoren (Abbruch, Item Nonresponse, Antwortzeit, Umfragefokus, Differenzierungsgrad, Antwortlänge und Primacy Effekte) wurden analysiert. Die Ergebnisse von zwei Indikatoren (Abbruch, Differenzierungsgrad) zeigen, dass die Datenqualität von Befragten, die mit ihrem bevorzugten Endgerät an der Online Befragung teilnehmen, geringer ist als die Datenqualität von Befragten, die mit einem anderen Endgerät an der Online Befragung teilnehmen. Jedoch sind die Ergebnisse der beiden Indikatoren, Umfragefokus und Antwortzeit, gegensätzlich. Kein Einfluss auf die Datenqualität zeigt sich bei den restlichen Indikatoren.

Abschließend lässt sich festhalten, dass Anweisungen Online Befragungen mit einem bestimmten Endgerät zu beantworten – wenn möglich – die Präferenz der Befragten berücksichtigen sollten, da auf diesem Weg die Nichtbefolgung der Gerätezuweisung (Non-Conformance Rate) minimiert und dadurch die Conformance Rate gesteigert werden kann. Die Teilnahme mit dem bevorzugten Endgerät an Online Befragungen beeinflusst die meisten Datenqualitätsindikatoren nicht und die Ergebnisse der restlichen Indikatoren sind gegensätzlich, so dass die Teilnahme mit dem bevorzugten Endgerät allgemein kaum einen Einfluss auf die Datenqualität von Online Befragungen zeigt. Der Einfluss auf die Conformance Rate ist stärker als der Einfluss auf die Datenqualität. Deshalb scheint es trotzdem sinnvoll, Befragte in Mixed-Device Online Befragungen aufzufordern mit ihrem bevorzugten Endgerät an der Umfrage teilzunehmen.

German
URN: urn:nbn:de:tuda-tuprints-87885
Classification DDC: 300 Social sciences > 300 Social sciences, sociology, anthropology
Divisions: 02 Department of History and Social Science > Institut für Soziologie > Empirische Sozialforschung
Date Deposited: 29 Jan 2020 14:56
Last Modified: 29 Jan 2020 14:57
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/8788
PPN: 458462500
Export:
Actions (login required)
View Item View Item