In diesem Interview sprechen wir mit Susanna, unserer Head of Survey Design & Field über die Fragebogenkonzeption im Kontext der Online-Marktforschung. Dabei gehen wir gezielt auf Themen wie Befragungstechniken, Qualitätskriterien und Unterschiede zu anderen Erfassungsmethoden ein, wie beispielsweise die Auswahl einer geeigneten Skala, die Berücksichtigung kultureller Unterschiede oder die Anpassung an verschiedene Plattformen. Vielen Dank an Susanna, dass sie sich die Zeit dafür genommen hat!
Wie kann man sich den Prozess einer Fragebogenkonzeption vorstellen? Welche Schritte gehören dazu?
Susanna: Sobald die Zielsetzung der Studie definiert wurde, kann ein Fragebogendesign erstellt werden. Neben einer systematischen Abbildung aller relevanten Themen geht es auch darum zum Beispiel auch darum zu entscheiden, wann eine geschlossene Abfrage oder eine offene Abfrage sinnvoll ist oder ob eine skalierte Frage gewählt wird.
Häufig spielt hier auch die spätere Analysemethode eine Rolle. Während deskriptive Ergebnisse wie z.B. eine simple Häufigkeit bei jedem Fragetyp erzielt werden können, stellen komplexere Analysen, insbesondere multivariate Verfahren, spezifische Anforderungen an die Fragestellung. Deshalb ist es wichtig, bereits bei der Konzeption zu berücksichtigen, wie die Daten ausgewertet werden sollen.
Zudem muss man auch die Formulierungen entsprechend gestalten. Neben passenden und einfachen Formulierungen sollte man darauf achten, dass der Fragebogen spannend bleibt und dass die Fragebogentypen variieren.
Wer ist qualifiziert, einen Fragebogen zu konzipieren?
Susanna: Als Marktforscher haben wir natürlich sehr viel Erfahrung in Bezug auf die richtigen Fragestellungen, Formulierungen und auch mögliche Themen. Oftmals gibt es bei Befragungen allerdings auch Spezifika, die sich zum Beispiel durch eine bestimmte Zielgruppe oder Besonderheiten eines Unternehmens oder eines Produkts ergeben. Hier ist es wichtig, dass die Konzeption in engem Austausch mit den jeweiligen Experten stattfindet. Ein bewährtes Verfahren ist zum Beispiel, im Rahmen eines Workshops zunächst alle möglichen Themen gemeinsam zu erarbeiten und anschließend nach Best-Practice-Marktforschungsmethoden in einen konsistenten Fragebogen zu überführen.
Welche spezifischen Herausforderungen können bei der Konzeption eines Fragebogens für Online-Marktforschung auftreten?
Susanna: Da nicht direkt jemand ansprechbar ist, der mögliche Rückfragen beantworten kann, ist es wichtig, dass bei der Konzeption ganz besonders darauf geachtet wird, dass die Fragen und Antworten selbsterklärend und unmissverständlich formuliert sind. Natürlich kann es dazu kommen, dass absichtlich falsche Eingaben gemacht werden, bei bezahlten Interviews können schlimmstenfalls sogar programmierte Bots zum Einsatz kommen, die eine Vielzahl zufälliger Interviews generieren, um die Bezahlung zu erhalten. Um dies zu verhindern, integrieren wir in der Konzeption umfassende Qualitätsprüfungen, die sicherstellen, dass es sich um echte Teilnehmer aus der gewünschten Zielgruppe handelt.
Wie unterscheidet sich die Konzeption eines Fragebogens für Online-Marktforschung von einem Fragebogen für andere Datenerfassungsmethoden?
Susanna: Online-Fragebögen haben einige Vorteile gegenüber anderen Methoden wie zum Beispiel dem telefonischen oder persönlichen Interviews, da die Befragten die Fragen selbst lesen können und grafische Elemente sowie Audio- und Video-Dateien integriert werden können. Auch skalierte Abfragen können durch die optische Wahrnehmung eine validere Abstufung der Antworten ermöglichen.
Viele Vorteile der Online-Erhebung ergeben sich aus den technischen Möglichkeiten. Je nach den Antworten der Teilnehmer können die folgenden Fragen oder Abschnitte gefiltert werden, um die Flexibilität und Effizienz des Fragebogens zu erhöhen. Ein einfaches Beispiel ist, dass ein Teilnehmer, der angegeben hat, noch nie bei einem Unternehmen Produkte gekauft hat, nicht nach einer aktuellen Produktumfrage gefragt wird. In der Praxis gibt es natürlich sehr viele komplexere Anwendungsfälle.
Ein weiterer Aspekt ist, dass schriftliche Befragungen meist die gleiche Reihenfolge für jeden Befragten haben, während online umfassende Randomisierungen eingebaut werden können. So können sogenannte Fragebogenreihungseffekte vermieden werden, und die Datenqualität steigt.
Wie stellt man sicher, dass die Fragen für die Online-Marktforschung optimiert sind und wie passt man den Fragebogen an verschiedene Online-Plattformen an?
Susanna: Die Darstellung sollte immer Full-Responsive sein, damit die Befragten flexibel auf jedem Endgerät teilnehmen können. Durch die technischen Möglichkeiten im Rahmen individueller Einladungen zur Befragung kann man zudem dafür sorgen, dass die Teilnehmer den Fragebogen unterbrechen und zu einem späteren Zeitpunkt fertigstellen können.
Konzeptionell sollte der Fragebogen immer passend für die Zielgruppe formuliert werden, d.h. wenn ich einen Fragebogen auf Social Media platzieren möchte, sollte ich eine eher umgangssprachliche Ansprache wählen, wohingegen ein Fragebogen im Business-Kontext meist eine eher förmliche Ansprache erfordert.
Wie wird mit möglichen technischen Problemen umgegangen, die die Beantwortung von Fragen beeinträchtigen könnten?
Susanna: Durch umfangreiches Testing auf verschiedenen Geräten wird im Regelfall sichergestellt, dass es keine Probleme gibt. Dennoch kann es natürlich in Einzelfällen zu Schwierigkeiten kommen. Für solche Fälle ist immer jemand verfügbar, der sich direkt um die entsprechenden Anliegen kümmern kann.
Bevor die Teilnehmenden die Befragung erhalten, im Rahmen des Qualitätsmanagements erst einmal intern versendet und getestet. Wenn hier alles glatt läuft, wird die Befragung zunächst an einen gewissen Teil (ca. 10%) der Teilnehmer versandt. Anschließend werden die Interviews noch einmal umfassend geprüft und auch die Beantwortungsdauer und mögliche Abbruchfragen analysiert. Wenn hier auch alles stimmig ist, dann geht es erst mit dem sogenannten Full Launch los.
Wie kann sichergestellt werden, dass die Online-Umfrage eine repräsentative Stichprobe der Zielgruppe erreicht?
Susanna: Als erstes muss möglichst konkret definiert werden, welche Kriterien die Zielgruppe erfüllen muss. Dies können einerseits demografische Merkmale wie Alter, Geschlecht, Region, Bildungsniveau, Beruf oder ähnliches sein, andererseits aber auch Einstellung oder Verhalten, wie zum Beispiel Interesse an spezifischen Themen oder ein spezifisches Kaufverhalten. Anschließend wird entweder mittels Zufallsstichproben, Quotenstichproben oder ausgewählten Kundendaten sichergestellt, dass die vorab definierten Kriterien auch in der befragten Stichprobe erfüllt werden. Die Zusammensetzung der Stichprobe, wird dann während der gesamten Feldphase beobachtet, um sicherzustellen, dass sie repräsentativ bleibt. Bei der Auswertung der Umfrageergebnisse können mögliche Verzerrungen zudem relativiert werden, indem die genannten Kriterien im Datensatz gewichtet werden.
Dies ist zum Beispiel bei Kundenbefragungen sehr relevant, da die Stammkunden üblicherweise besonders gerne an einer Befragung teilnehmen, während Neukunden eher zurückhaltend sind. Damit dennoch jeder die gleiche Chance hat teilzunehmen, würde man hier von Quoten absehen und nachträglich bestimmte Segmente der Zielgruppe, die über- oder unterrepräsentiert sind, mittels Gewichtungsverfahren ausgleichen.
