Audio-Unterstützung von Online-Fragebögen steigert Interviewqualität
Im Rahmen eines kürzlich durchgeführten Kooperationsprojekts widmete sich Marketagent.com, eines der führenden Full-Service Online Markt- und Meinungsforschungsinstitute im deutschsprachigen Raum, gemeinsam mit der Kommunikationsagentur Putz & Stingl einem groß angelegten Methodenexperiment zur Audio-Unterstützung von Online-Fragebögen. Im Rahmen des Pilotprojektes wurden drei Online-Studien mit völlig identischem Fragenprogramm bzw. gleichen Stichproben (einmal ohne Vertonung bzw. die anderen beiden mit Audio-Unterstützung mit männlicher bzw. weiblicher Stimme) erhoben. Das Methodenexperiment bringt Licht- und Schattenseiten der Audio-Unterstützung zu Tage: Die Vertonung von Online-Fragebögen ist durchwegs ein interessantes Feature, das – behutsam eingesetzt und wohldosiert – die Interviewqualität steigern kann.
Ulrike Preiss, Market Research Director von Marketagent.com, über die Beweggründe für dieses Pilotprojekt: „Die Online Befragung ist im Prinzip eine schriftliche Befragung, die auf weiten Strecken denselben Gesetzmäßigkeiten wie paper & pencil Erhebungen unterliegt. Die Kommunikation mit den Respondenten erfolgt bei der Marktforschung im Web ausschließlich über das Befragungsmedium selbst. Sprich: Die einzige Motivation geht vom Online Fragebogen aus.“ Dieser muss somit alle, für die Umfrage-Teilnehmer zur Beantwortung nötigen Informationen enthalten. Dadurch nimmt mit der Komplexität der Fragestellung natürlich auch der Umfang der Erläuterungs- und Erklärungstexte zu. „Dies führt uns zur Hypothese“, so Preiss weiter, „dass mit zunehmender Anforderung an den Umfrage-Teilnehmer auch der Bedarf an verbaler Unterstützung während des Interviews steigt. Die professionelle Vertonung von Online Fragebögen ist eine gute Möglichkeit, die Befragungssituation im WWW einfacher und verständlicher zu machen und so die Beantwortungssituation für die Respondenten angenehmer zu gestalten.“
Marketagent.com führte im Rahmen des Methodenexperiments zeitgleich drei Online-Studien mit völlig identischem Fragenprogramm bzw. gleichen Stichproben mit insgesamt mehr als 1.500 Online Interviews durch. Eine Befragung wurde ohne Vertonung, die anderen beiden mit Audio-Unterstützung – einmal mit männlicher und einmal mit weiblicher Stimme – erhoben. Die Vertonung der Online Fragebögen erfolgte durch die Kommunikationsagentur Putz & Stingl. Im Anschluss an die jeweilige Umfrage wurden den Teilnehmern noch ein paar Fragen zum Erleben der Interviewsituation gestellt. Fazit: Das Methodenexperiment bringt Licht- und Schattenseiten der Audio-Unterstützung zu Tage.
Positiver Effekt auf die Interviewqualität bei gleichzeitiger Gefahr der Langatmigkeit
Zu den Vorzügen der Audio-Unterstützung zählt zweifelsohne der positive Effekt auf die Interviewqualität. Im Marketagent.com System werden alle Interviews automatisiert, über einen komplexen Algorithmus, validiert. Dieser Kontrollmechanismus basiert auf den fünf Säulen Speeding, Missings bei offenen Fragen, Straightlining (Muster-Klicker bei Matrix-Fragen), Cheating (False-Answers) und Inconsistency (Widersprüchlichkeit zu den Profil-Daten). Die Bearbeitungszeit gilt als wichtiges Qualitätskriterium bei der Feldarbeit. Diese beläuft sich bei den beiden vertonten Online Fragebögen deutlich höher als bei der Vergleichsstudie ohne Audio-Unterstützung. Die vertonten Befragungen erreichen somit eine bessere Interview-Klassifizierung, was mit einer höheren Interviewqualität gleichzusetzen ist.
Gleichzeitig birgt die Audio-Unterstützung die Gefahr der Langatmigkeit. „Der Effekt des unsichtbaren, unterstützenden Interviewers kann bei der Forschung per Mausklick bei einer weitschweifenden und wortreichen Vertonung kippen und ins Negative umschwenken“, erklärt Ulrike Preiss. Speziell bei Fragestellungen, deren Aufgabenstellung sehr schnell bzw. sogar auf einen Blick erfassbar ist, droht die Gefahr, dass der Ton die eigene Lesedauer überschreitet und die Bearbeitungszeit künstlich nach oben schraubt. Dies kann dazu führen, dass sich die Respondenten in der Befragungssituation aufgehalten, mitunter gelangweilt oder im schlimmsten Fall gar genervt fühlen. Im Rahmen des Methodenexperiments macht sich der erhöhte Zeitbedarf durch die Audio-Unterstützung beispielsweise in der subjektiven Einschätzung der Interview-Länge durch die Umfrage-Teilnehmer („Länge der Umfrage war zu lang“: CAWI mit Audio-Unterstützung 16,7%; ohne Audio-Unterstützung: 7,3%) sowie in der durchschnittlich gemessenen Beantwortungszeit bemerkbar.
Behutsamer Einsatz macht Audio-Unterstützung zu interessantem Feature
Resümierend kann festgehalten werden, dass die Audio-Unterstützung von Online-Fragebögen durchwegs ein interessantes Feature ist, welches – behutsam eingesetzt und wohldosiert – die Interviewqualität steigern kann, sofern sich die Respondenten durch die Vertonung in der Befragungssituation nicht aufgehalten fühlen. Zudem wirkt die Audio-Unterstützung des Online Fragebogens aus Sicht der Respondenten moderner, innovativer und unterhaltsamer. So bewerten zweidrittel der Umfrage-Teilnehmer die Befragung mit Vertonung als innovativ (Top-2-Box: 67%, 5-stufige Skala), während nur knapp über die Hälfte der Umfrage ohne Vertonung dieses Attribut zuschreibt (54%). Ein ähnliches Ergebnis zeigt auch die Analyse des Faktors „Modernität“. Und auch ein gewisser Unterhaltungswert wird tendenziell stärker dem Online Fragebogen mit dem gesprochenen Text zugeschrieben (54% vs. 50%).
Ulrike Preiss fasst die wesentlichen Erkenntnisse des Methodenexperiments wie folgt zusammen: „Die Online Marktforschung kann von einer Audio-Unterstützung profitieren, wenn sie dadurch einen Mehrwert für die Umfrage-Teilnehmer schafft. Gleichzeitig muss sie sich aber der Einschränkung hingeben, dass dieses Feature nicht für jedes Studiendesign bzw. alle Fragetypen geeignet ist. Auf jeden Fall ist ein wohldosierter Einsatz empfehlenswert, der verhindert, dass die Respondenten durch die Vertonung in der Bearbeitungsdauer gebremst werden.“
München, am 24. April 2012
Rückfragehinweis:
Marketagent.com Deutschland GmbH
Grünbauerstraße 9
81479 München
Deutschland
tel. +49 (0)89 759000 63