Im Rahmen dieses Interviews sprechen wir mit Andrea Gress, der Head of Production bei Norstat, über die Bedeutung von Panelqualität in der Online-Marktforschung. Andrea Gress verfügt über mehr als 20 Jahre Erfahrung in der Marktforschungsbranche und hat Germanistik und Anglistik in München studiert. Wir möchten uns an dieser Stelle herzlich bei Frau Gress für das großartige Interview bedanken.
Was sind Ihrer Meinung nach die wichtigsten Merkmale, die ein qualitativ hochwertiges Panel in der Marktforschung ausmachen?
Andrea Gress: Hier gibt es eine Bandbreite von Aspekten, die dazu beitragen, dass über ein Panel hochwertige Daten generiert werden, denen unsere Klienten vertrauen.
Auf den kleinsten gemeinsamen Nenner gebracht sind Repräsentativität, Zuverlässigkeit, Wahrheitstreue und Kapazität die wichtigsten Eckpfeiler hier. Repräsentativität ist durch eine nationalrepräsentative Aufstellung des Panels gegeben. Zuverlässigkeit, ergo dass die Personen gleichbleibend (gut) antworten, wird durch ständige Panelüberwachung und -pflege umgesetzt. Hier nutzen wir z. B. auch einen Mechanismus, bei dem wir Aufmerksamkeits- und Logikfragen vor unseren Befragungen schalten. Wahrheitstreue ist relativ selbsterklärend („wer lügt, fliegt raus“). Kapazität wird durch fortlaufend gesteuerte Rekrutierung sowie durch Niedrighalten der Panelmortalität sichergestellt.
Besonders entscheidend ist aber auch der Rekrutierungsprozess. Panelteilnehmer sollten aktiv rekrutiert und in einem zweiten Schritt entsprechend verifiziert werden (wie wir das hier bei Norstat handhaben). Solche, die sich „freiwillig“ bei Panels anmelden, könnte man eher als „berufsmäßige“ Teilnehmer*innen kategorisieren. Hier kann man davon ausgehen, dass es mehr um die Entlohnung als um echtes Interesse an Befragungen geht.
Ein weiterer wichtiger Punkt ist kontinuierliche Qualitätskontrolle bei laufenden Projekten – oben angerissen mit „Wahrheitstreue“. So werden Teilnehmer, die z. B. minderwertige offene Nennungen abgeben, entsprechend in unserem Panel markiert. Wenn das häufiger vorkommt, werden diese als Cheater markiert und vom Panel entfernt.
Was unterscheidet die Teilnehmer eines Online-Panels von Umfrageteilnehmern auf sozialen Medien oder anderen frei zugänglichen Websites?
Andrea Gress: Bei der Rekrutierung in ein Online-Panel werden in der Regel sogenannte Stammdaten hinterlegt. Diese umfassen typischerweise Geschlecht, Alter, Region und weitere ähnliche demografische Angaben. Bei Norstat gehen wir deutlich weiter, und uns liegen für unsere Panelmitglieder durchschnittlich 500 Datenpunkte vor, die regelmäßig aktualisiert werden.
Auf den Punkt gebracht bedeutet dies, dass wir umfassende Qualitätschecks anwenden können, falls irgendwelche persönlichen Angaben verdächtig erscheinen. Wir haben folglich ein relativ hohes Maß an Kontrolle darüber, dass unsere Panellisten auch tatsächlich diejenigen sind, die sie angeben zu sein.
Die Problematik mit Teilnehmern, die über soziale Medien oder ähnliche Kanäle zu Studien kommen, ist ja gerade, dass man überhaupt nicht überprüfen kann, ob „Lulu Schmidt“ in der Stichprobe für eine Studie zu einer neuen Bio-Tee-Marke tatsächlich eine Studentin im Alter von 24 Jahren aus Berlin ist, die regelmäßig Fenchel-Anis-Tee verwendet. Womöglich verbirgt sich dahinter ein 60+ alter Mann aus Oberprfammern, der Käutertee grundsätzlich ablehnt.
Wie wichtig ist die Repräsentativität der Teilnehmer für die Qualität von Panel-Daten und wie wird diese sichergestellt?
Andrea Gress: Repräsentativität muss jedem glaubwürdigen Datensatz zugrunde liegen. Eine ausgewogene Geschlechterverteilung braucht man ja schon deswegen, weil Frauen in der Regel positivere Bewertungen abgeben als Männer. Anders argumentiert: jüngere Teilnehmer erreicht man zwar schwerer als Ältere, aber wenn man diese deswegen unterrepräsentiert, würde man sie auch mit keinerlei Marketingstrategien für Marken, Produkte oder Dienstleistungen aktivieren können. Immerhin basiert ein Großteil von Marketing-Entscheidungen auf Marktforschungsstudien.
Repräsentativität ist daher für jede Forschungsstudie unabdingbar. Zumeist geschieht dies durch die Festlegung fester Quoten, die entweder das Profil der Bevölkerung oder einer bestimmten Zielgruppe widerspiegeln. Bei Online-Studien, bei denen die Stichprobe über Access-Panels geliefert wird, ist das nicht anders.
Als Solches, werden Online-Panels auch so aufgebaut und kuriert, dass die Studien, die darüber laufen, eine repräsentative Stichprobenkomposition aufweisen werden. Hier gehen wir bei Norstat sogar einen Schritt weiter, da wir schwieriger zu erreichende Gruppen überrepräsentieren sowie die aktuelle Response Rate mitberücksichtigen.
Inwiefern kann die Themenkompetenz der Teilnehmer die Qualität von Panel-Daten beeinflussen und wie wird damit umgegangen?
Andrea Gress: Engagierte und interessierte Teilnehmer sind grundsätzlich der Schlüssel zu hoher Datenqualität. Entsprechend wichtig ist es, die für eine bestimmte Zielgruppe geeigneten Panelteilnehmer anzusteuern. Somit sind nicht nur Themenkompetenz und hohe Datenqualität, sondern auch die Panelpflege gewährleistet.
Damit meine ich: wenn wir für eine benötigte Fallzahl von N=200 bis zu 20.000 Panellisten zu einer Studie über glutenfreie Tiefkühlbrötchen einladen, diese sich aber nicht qualifizieren, weil sie diese Art von Produkten nicht konsumieren und auch nicht in Erwägung ziehen würden, dann muss ich in Kauf nehmen, dass ca. 100 bis 200 Panelteilnehmer das Panel verlassen werden. Diese müssten wir dann nachrekrutieren, und das ist relativ aufwändig. Ganz abgesehen davon, dass diese Probanden aufgrund mangelnder persönlicher Relevanz gar keine besonders informierte Meinung zum Thema glutenfreie Tiefkühlbrötchen abgeben könnten.
Steuere ich hingegen die entsprechenden Panellisten an, habe ich nicht nur Themenkompetenz, sondern auch engagierte aktive Panellisten, die auch noch gerne an den nächsten 20 Studien teilnehmen, zu denen sie eingeladen werden.
Wie unterscheiden sich Online-Panels von traditionellen Erhebungsmethoden wie Telefon- oder Face-to-Face-Interviews in Bezug auf die Qualität von Daten?
Andrea Gress: Wenn das Online-Panel entsprechend gut aufgestellt ist bzw. gepflegt wird, dann sollte es hinsichtlich der Datenqualität keinen Unterschied zu Daten geben, die über CATI oder CAPI erhoben wurden. Immerhin sind ja Methoden, bei denen ein Interviewer federführend bei der Dateneingabe ist, nicht ganz frei von potenziellen Fehlerquellen.
Ganz im Gegenteil hat eine Online-Methode den Vorteil, dass Teilnehmende auch zu potenziell schwierigeren oder sogar intimeren Themen in ihrer eigenen Zeit – und ohne mit einer fremden Person in Gestalt eines Interviewers interagieren zu müssen – antworten können.
Ausschlaggebend für die Qualität der von unseren Panellisten generierten Daten ist schlussendlich, wie gut ein Panel gepflegt wird, sprich die Motivation der Panelteilnehmer gefördert wird. Die Entlohnung ist hier zwar ein wichtiger Faktor, aber wirkliches Engagement stellt sich vor allem durch relevante und gut designte Umfragen sowie einer gewissen emotionalen Bindung ein. Hier greifen dieselben Grundsätze wie beim Marken-Engagement: wenn die Beziehung nur transaktioneller Natur ist, wird sie kurzlebiger sein.
Die Repräsentativität von Online-Panels hat sich ja durch die zunehmende Digitalisierung den traditionelleren Methoden angenähert und ist zudem ja auch viel kosteneffektiver. Immerhin spielt bei einer Panelstudie keine weitere komplexe Logistik herein (z. B. Interviewer für bestimmte Tage/Gegenden buchen und bezahlen).
Wie wichtig sind ethische Grundsätze bei der Datenerhebung und -verarbeitung in der Marktforschung und wie werden sie eingehalten?
Andrea Gress: Eine ethische Herangehensweise, die die Rechte der Befragten, also unserer Panellisten, sowie deren Gefühle und Bedürfnisse in den Mittelpunkt stellt, ist unumgänglich, wenn man qualitativ hochwertige Daten liefern will. Dies schließt vor allem das Recht ein, dass Probanden jederzeit abbrechen bzw. ihre Zugehörigkeit zu einem Panel aufkündigen können. Nicht zuletzt sorgen ja auch stringente Datenschutzgesetze für eine gewisse Baseline für ethisches Handeln in der Marktforschung.
Andersherum erklärt: würden wir als Panelbetreiber die Grundsätze von Vertraulichkeit, Anonymität und Schutz der Privatsphäre unserer Panellisten nicht einhalten, dann wäre es sehr wahrscheinlich, dass wir a) gesetzeswidrig handeln und b) unsere Panelmitglieder und somit unseren Raison d’Être ziemlich schnell verlieren werden.
Bei Norstat legen wir sehr viel Wert auf diesen Aspekt. Nicht zuletzt soll unsere Mitgliedschaft bei einschlägigen Dachverbänden wie dem ADM, BVM, ESOMAR und DGOF unseren Klienten sowie unseren Panellisten deutlich signalisieren, dass ethisches Handeln unseren Modus Operandi diktiert. Immerhin stehen diese Dachorganisationen dafür ein, dass gewisse Werte im Markforschungsbetrieb gewahrt sind.
Wie können Panelbetreiber sicherstellen, dass Teilnehmende motiviert und engagiert bleiben, um die Qualität von Daten aufrechtzuerhalten?
Andrea Gress: Das Thema Panelpflege steht hier natürlich im Zentrum. Dazu gehören z.B. Entlohnungsideen, die über die eigentliche monetäre Transaktion hinausgehen. Diese ist ja bekanntlich in motivationspsychologischer Hinsicht zeitlich relativ kurzlebig. So bieten wir unseren Panellisten z. B. Alternativen mit einem altruistischen oder charitativen Gesichtspunkt (z. B. Bäumepflanzen, Auswahl an verschiedenen Wohltätigkeitsorganisationen, an welche man seine Entlohnung spenden kann etc.).
Wichtig ist natürlich auch, dass unsere Teilnehmer einen freundlichen, zeitnahen Support erfahren, bei dem sie sich auch bei ausgefalleneren Fragen auf eine durchweg professionelle sowie emphatische Interaktion verlassen können.
Letztlich wollen wir sicherstellen, dass jeder Touchpoint mit unserem Panel als angenehm und ansprechend empfunden wird. Dies gilt nicht zuletzt für unsere App, über die unsere Panellisten zu Studien eingeladen werden und worin sie auch ihre Entlohnung verwalten. Hier legen wir ganz besonderen Wert auf modernes und motivierendes Design und wenden Gamification-Prinzipien an.
Über die Bedeutung von einer guten Ansteuerung von Panelmitgliedern mit relevanten Studien hatten wir ja bereits gesprochen.
Wo sind die Grenzen eines Panelanbieters und welche ergänzenden Maßnahmen empfehlen Sie, um höchste Qualität auch darüber hinaus sicherzustellen?
Andrea Gress: Im Gegensatz zu Instituten, wo Klienten ja ein gewisses Pensum an Beratung gerade auch zum Forschungsdesign sowie methodischen Fragen voraussetzen und erfahren dürfen, werden Panelanbieter eher als Zulieferer eines Gebrauchsguts gesehen. Man bestellt seine Stichprobe, die bestimmte Kriterien erfüllt, und sobald diese geliefert wurde, ist die Transaktion gewissermaßen abgeschlossen. Die Wertigkeit der Beziehung ist also relativ eindimensional.
Bei Norstat versuchen wir dieser „Gegebenheit“ dadurch entgegenzuwirken, dass wir ein wesentlich breiteres Spektrum an Leistungen anbieten, das weit über die Bereitstellung der Stichprobe und Incentivierung hinausgeht. Dazu gehören nicht nur das Programmieren von Fragebögen und Datenlösungen wie z. B. die Visualisierung in Dashboard-Formaten, sondern auch eine gewisse methodische Bandbreite. Außerdem rekrutieren wir auch erfolgreich Teilnehmer für qualitative Studien aus dem Panel.
Damit unseren Klienten den abgerundeten Service erfahren können, welchen diese benötigen, bieten wir auch telefonische und persönliche Interviews, z. T. unter Zuhilfenahme von entsprechenden Partnerschaften mit CATI-Studios etc. Immerhin würde ich als Kunde auch nicht über verschiedene Anbieter gehen wollen, wenn ich aus Kostengründen Teilnehmer für Fokusgruppen zwar über ein Online-Panel rekrutieren möchte, dieser dann im nächsten Schritt allerdings nicht die notwendige telefonische Verifizierung übernehmen kann.
Außerdem haben wir hier bei Norstat Deutschland ein sehr erfahrenes Team, das insgesamt über 60 Jahre Marktforschungserfahrung an global führenden Instituten und/oder auf Endkundenseite in sich vereinigt. Wir sind also in der Lage, unseren Klienten fachlich auf Augenhöhe zu begegnen und sie als trusted advisors durch ihre Bedürfnisse und Herausforderungen zu begleiten. Als Solches bieten wir die Art von Beratung, die es Instituten ermöglicht, engere partnerschaftliche Bindungen mit ihren Klienten zu entwickeln. Wenn man so will, ist Norstat so etwas wie ein Hybrid zwischen bloßem Panelanbieter und Institut.
Trotz alledem können Konsumentenpanels an ihre Grenzen stoßen, vor allem wenn sie Business-to-Business-Anforderung bedienen müssen. Hier müsste man genau überlegen, ob ein auf Business-to-Consumer-Bedürfnisse angelegtes Vehikel tatsächlich Business-to-Business-Anforderungen gerecht werden kann.
Warum ist es manchmal sinnvoll, zusätzliches Geld in die Hand zu nehmen und ein Premium-Panel zu wählen und welche Vorteile bringt dies für die Qualität von Panel-Daten?
Andrea Gress: Premium-Panels verwendet man in der Regel bei vergleichsweise speziellen Zielgruppen, die über typische Konsumentenpanels schwer oder gar nicht zu erreichen sind. Zum Beispiel ist es einigermaßen unwahrscheinlich, dass der relativ zeitarme, aber finanziell sehr gut situierte Oberarzt der Dermatologischen Abteilung eines Universitätsklinikums Panellist bei einem Konsumentenpanel wird.
Premium-Panels haben daher zumeist im Business-to-Business-Bereich eine große Bedeutung. Wie der Name schon preisgibt, erfordert deren Zuhilfenahme auch eine vergleichsweise höhere Investition.
Bei Norstat haben wir allerdings erfolgreich bewiesen, dass wir spitzere Zielgruppen dieser Art durchaus erfolgreich für qualitative Studien aus unserem Panel rekrutieren können.
