Zeige Artikel getaggt mit online befragungen

Rücklaufquoten in Fragebogenstudien - Erkenntnisse aus einer Metaanalyse von über 2000 Umfragen.

Forschung in Organisationen ist stark auf Fragebogenuntersuchungen angewiesen. Dabei besteht das Risiko, dass ein bedeutsamer Anteil der angesprochenen Population nicht antwortet. Tiefe Rücklaufquoten führen zu Problemen bei der Generalisierung von Resultaten auf die untersuchte Population (ungenügende externe Validität). Kleine Stichproben auf Grund zu wenig Antwortenden erhöhen zusätzlich das Risiko tiefer statistischer Power und limitieren die Arten von statistischen Techniken, welche angewendet werden können. Einige Forscher gehen davon aus, dass die Popularität von Fragebogenstudien in den letzten Jahren zu einer Verschärfung dieser Risiken geführt hat.

Für ein optimales Design von Studien in Organisationen stellen sich deswegen vor allem zwei Fragen:

  • Haben die Rücklaufquoten bei Fragebogenstudien in den letzten Jahren abgenommen?
  • Falls ja, welche Techniken zur Erhöhung der Rücklaufquote sind heute besonders effektiv?

Antworten auf diese Fragen liefert eine Metaanalyse von Frederik Anseel, Filip Lievens, Eveline Schollaert und Beata Choragwicka publiziert im Journal of Business Psychology. Die Autoren haben über 2000 Fragebogenstudien analysiert, die zwischen 1995 und 2008 in wissenschaftlichen Journalen der Arbeits- und Organisationspsychologie, der Management- und der Marketingwissenschaften publiziert wurden. Mitunter ist diese Studie einer der ersten überhaupt, die im organisationalen Setting den Effekt von online Fragebogenstudien auf Rücklaufquoten untersucht hat.

Die Studie zeigt folgendes:

  • Die Durchschnittliche Rücklaufquote in den analysierten Studien liegt bei 52% mit einer Standardabweichung von 24%.
  • Die Rücklaufquote hat zwischen 1995 und 2008 leicht abgenommen (0.6% pro Jahr). Dieser Effekt wurde aber kompensiert durch den vermehrten Gebrauch von Techniken zur Erhöhung des Rücklaufs.
  • Über alle Gruppen von Befragten sind die Folgenden effektive Techniken zur Erhöhung des Rücklaufs: Versenden von Vorinformationen vor Studienstart, Personalisierung (z.B. persönliche Adressierung der Teilnehmenden), Relevanz des Themas aufzeigen (Salienz steigern), Verwenden von anonymen Identifikationsnummern, universitäres oder anderweitig seriöses Sponsoring, persönliche Verteilung der Fragebogen.
  • Die Durchführung von online Studien ist nicht bei jeder Population gleich sinnvoll. Die Studie zeigt, dass eine online Befragung bei "nicht Managern" (Mitarbeitenden ohne Führungsfunktion) ein effektives Mittel ist, um den Rücklauf zu erhöhen. Bei anderen Gruppen (z.B. Top-Management) kann eine online Durchführung auch zu kleineren Rückläufen führen als bei Papierbefragung.
  • Finanzielle Anreize sind kein effektives Mittel um den Rücklauf zu erhöhen. 

Zusammenfassend geben die Autoren folgende Tipps: 

Tabelle-response-rate-guidleines.jpg

Die online Lösung von cloud solutions unterstützt die Anwendung der oben genannten Techniken. Die Software bietet automatisiertes Versenden persönlich adressierter Vorinformationen, Studieneinladungen und Remindern aber auch die Benutzung von anonymen Zugangscodes ist möglich.
Die Software bietet eine zusätzliche Art von Anreiz für Studienteilnehmende. Am Studienende können die Teilnehmenden automatisch generiert, individuelle Rückmeldungen ansehen und sich mit dem Durchschnitt der restlichen Studienteilnehmenden oder falls vorhanden mit anderen Benchmarks vergleichen. Die Erfahrung zeigt, dass die Aussicht auf eine individuelle Rückmeldung hohe Rücklaufquoten ermöglicht. Gerade in Längsschnittstudien mit vielen Messwellen (5 oder mehr) kann dieser Anreiz viele Dropouts verhindern.

Veröffentlicht von am in CS News
Was genau ist SurveyLab?

SurveyLab ist eine von cloud solutions entwickelte Software für Befragunsplattformen und online Studien. Dabei werden folgende Bereiche abgedeckt:

  • Standard Frageformate.
  • Antwortabhängige Fragebogenverläufe.
  • Überwachung von ausgefüllten Fragebogen, registrierten Benutzern, gesendeten E-Mails, Fortschritt, Ereignisverlauf, etc. mit verschiedenen Monitoring-Instrumenten.
  • Abbildung von Studiendesigns mit verschiedenen Versuchsbedingungen.
  • Längsschnittmessungen mit automatisierten E-Mail Einladungen und Erinnerungen.
  • Automatisch erstellte online und PDF Feedback Reports für Teilnehmende.
  • Export von Rohdaten und Metadaten (z. B. für SPSS).
  • Simulation des Studienverlaufs im Schnelldurchgang zum Testen.
  • PDF-Export von leeren und ausgefüllten Fragebogen.
  • Beliebig komplexe benutzerspezifische Ereignismodelle (basierend auf neuronalen Netzen).
  • Verschiedene Zugriffsrechte für verschiedene Benutzer-Rollen.
  • Automatische Überwachung von Software-Problemen und Performanz.

Dank der flexiblen Konfigurierbarkeit und durch Hinzufügen von projektspezifischen Software-Plugins können wir eine SurveyLab-Installation sehr genau auf Kundenwünsche zuschneiden.

Für SurveyLab setzen wir auf gut etablierte Standards der Web-Entwicklung und verwenden Technologien wie PHP, MySQL, HTML5, CSS3 und Javascript. Um nicht alle Räder neu erfinden zu müssen, benutzen wir gut getestete Frameworks mit grossen Entwickler-Communities. Dazu gehören Zend Framework 2, jQuery, AngularJS, Twitter Bootstrap und viele weitere etablierte und gut getestete Software Libraries.

Zur Illustration hier ein paar Bilder aus einer SurveyLab Web-Applikation:

1. Ausschnitt aus einem Fragebogen:

survey.png

2. Grobe Übersicht über die Befragungen aller Teilnehmenden:overview-monitor.png

3. Einzel-Befragungsübersicht mit Filterfunktionen:user-survey-monitor.png
 4. Ausschnitt aus einer individuellen Rückmeldung an den Teilnehmer:

feedback.png

Neue YES! Studiensoftware aufgeschaltet mit tausenden Teilnehmern in Europa

Soeben haben wir die neue Software für die holländische YES! Studie in Zusammenarbeit mit der Universität Utrecht aufgeschaltet! In diesem Projekt geht esum die Erforschung von Freizeitverhalten, Freundschaften und Werten von jungen Menschen aus verschiedenen europäischen Ländern.

Da die bisherige YES! Web-Befragungslösung den hohen technischen Anforderungen dieser gross angelegten Studie nicht gewachsen war, wurde CS für eine Neuentwicklung angefragt. Dank SurveyLab, unserem eigenen Framework für komplexe Befragungen, konnten wir der Universität Utrecht eine massgeschneiderte und doch kostengünstige Lösung bieten.  Sanne Smith, Doktorandin und Studienleiterin, beschreibt die Zusammenarbeit mit CS so:

"cloud solutions turned out to be so much more than the average survey building company: I'm happy our project benefited from their advice, experience, technical skills, fast response, friendliness and enthusiasm."

Das ist ein sehr schönes Feedback und zeigt uns, dass wir es trotz Firmenwachstum und höherer Auslastung immer noch schaffen, die Kundenwünsche auf lockere und freundliche Art ins Zentrum zu stellen. 

Zudem konnte SurveyLab im Rahmen dieses Projekts von einer Reihe neuer Features profitieren. Unter anderem wurde das Studienmonitoring ausgebaut, wobei eine neue Übersicht mit Filterfunktionen Auskunft gibt über den aktuellen Befragungsstand:

yes-overview.png

Jede einzelne Befragung hat eine Status-History, welche Auskunft gibt über den Verlauf:

yes-survey-data-monitor.png

Eine Reihe von weiteren gegenseitig verlinkten Monitoring-Instrumenten gewährt die volle Übersicht:

yes-control-panel.png

Wir freuen uns auf die Datensammlung innerhalb der nächsten 3 Jahre und stehen der Studienleitung mit Rat und Tat zur Seite!

Veröffentlicht von am in CS Science
Die besten Online Survey Tools

Der Großteil der quantitativen psychologischen Datenerhebung findet heutzutage mit Hilfe von Online Survey Tools statt. Dies ermöglicht eine effiziente Erhebung von grossen Mengen an Daten in kürzester Zeit. Ein gutes Befragungs-Tool zu finden, welches die passenden Features für das jeweilige Forschungsvorhaben besitzt, kann aufgrund der großen Auswahl qualitativ unterschiedlicher Tools oft schwierig sein.Um selbst einen Überblick zu bekommen, welche Tools im Internet vorhanden sind und wie es um die Qualitätsunterschiede zwischen diesen Tools steht, haben wir alle aktuellen Survey Service Provider katalogisiert und angeschaut, ob sie unseren folgenden Gütekriterien entsprechen: Funktionalitätsumfang- und Tiefe, Professionalität der Webseite, Vertrauenswürdigkeit.

Die Funktionalitätstiefe beschreibt die Anzahl möglicher Funktionen des Survey Providers. Kann man beispielsweise aus einer Vielzahl von Frageformaten wählen oder werden automatische Teilnahmeerinnerungen via Email verschickt? Während das Gütekriterium der Professionalität die professionelle Aufmachung und das Design dieser kritisch betrachtet, werden mittels der Einschätzung der Vertrauenswürdigkeit eines Providers die Sicherheitsaspekte beurteilt. In diesem Zusammenhang ist besonders der sichere Umgang mit den Daten von Bedeutung. Da eine externe Sicherheitszertifizierung durch eine anerkannte Zertifizierungsstelle eine hohe Datensicherheit garantieren kann, ist ein solcher Provider mit einem hohen Rating in „Vertrauenswürdigkeit“ einzustufen. 

Unsere Recherche resultierte in einer Liste von 15 der insgesamt rund 70 untersuchten Survey Providern, welche wir empfehlen können. Diese sind in folgender Tabelle  ihrem Rang entsprechend aufgelistet und anhand der zuvor erwähnten Kriterien mittels einer Skala von 1 bis 5 bewertet, wobei fünf der besten Bewertung entspricht.

Viele dieser Tools bieten einen kostenfreien Account mit einer limitierten Anzahl von Features an, der für kleinere Befragungen manchmal ausreicht. Alle zentralen Features, wie das sichere Aufbewahren der Nutzerdaten, diverse Erhebungs-, Fragen- und Analysefeatures, ein ansprechendes und funktionales Layout und mehr, werden von allen Anbietern dieser Liste zur Verfügung gestellt.

Rang Provider Web Link Bewertung
1 Survey Gizmo

 www.surveygizmo.com

 5
2 Survey Monkey

 www.surveymonkey.com

 5
3 Question Pro

 www.questionpro.com

 5
4 Jitsutech

 www.jitsutech.com

 5
5 Fluid Surveys

 www.fluidsurveys.com

 4
6 Qualtrics

 http://qualtrics.com/

 4
7 Poll Daddy

 www.polldaddy.com

 4
8 Survs

 www.survs.com

 4
9 Web Survey Creator

 www.websurveycreator.com

 4
10 Instant.ly

 https://www.instant.ly/

 4
11 Allegiance

 http://www.allegiance.com/solutions/surveys

 4
12 Research now

 www.researchnow.com

 4
13 Key Survey

 www.keysurvey.com

 4
14 Sonar HQ

 www.sonarhq.com

 4
15 Smart Survey

 www.smart-survey.co.uk

 3

 

We published a very similar article in English. You find it in the Bulletin of JEPS, the scientific journal of EFPSA.

Show page in

Was Kunden
über uns sagen

Fachlich hoch kompetent, kundenorientiert beratend und effizient in der Umsetzung - das ist für mich cloud solutions.

Barbara Siegenthaler
Human Resources, BKW AG, Schweiz

 
 
 
The future of the PHP PaaS is here: Our journey to Platform.sh
CS Tech
In our team we’re very confident in our ability to produce high quality software. For the past decad...