Umfrage

Bei der schriftlichen Befragung füllen die Nutzer einen vorgefertigten Fragebogen aus. Die Antworten sollen dazu dienen, Informationen über die Nutzer oder über ihre Meinungen und Erfahrungen bezüglich bestimmter Produkte zu erhalten. Sie können auch dazu dienen, Reaktionen der Benutzer schon vor der Veröffentlichung des Produktes zu testen. Mit empirisch abgesicherten, standardisierten Fragebögen lassen sich sowohl Prototypen in der Vorbereitungsphase als auch bereits in Betrieb befindliche Websites evaluieren und miteinander vergleichen. Schriftliche Befragungen ermöglichen es, eine im Vergleich zu anderen Methoden große Anzahl von Benutzern zu erreichen (z.B. Interviews).

Die schriftliche Befragung kann als eigenständige Methode oder in Kombination mit anderen Methoden durchgeführt werden. Sie kann z.B. Usability-Tests ergänzen oder als Grundlage zur Erstellung von Personas oder Use Cases dienen.

Wann?

Erhebung von Nutzereigenschaften, Evaluation von Prototypen und abschließende Bewertung am Ende der Entwicklung.

Wer?

Usability-Spezialist und tatsächliche bzw. potenzielle Nutzer des Produkts

Wo?

Das Ausfüllen des Fragebogens findet meist online statt. Möglich ist auch die Durchführung während eines Usability Tests, z. B. in einem Usability-Labor

Tools?

Online-Fragebogentools und für die Auswertung Statistikanwendungen oder Tabellenkalkulation.

Vorbereitung

Bei der Fragebogenerstellung kann grundsätzlich zwischen zwei Möglichkeiten gewählt werden: Je nach Informationsbedürfnis kann entweder ein selbst erstellter Fragebogen oder ein standardisierter benutzt werden. Möchte man eine Analyse der Zielgruppe vornehmen oder soll die Wahrnehmung von Eigenschaften eines Prototyps bzw. einer Website abgefragt werden, ist es sinnvoll, einen Fragebogen für die jeweilige Fragestellung neu zu erstellen. Ist das Ziel dagegen eine abschließende und vergleichbare Bewertung  der Usability der Website auf Basis der Wahrnehmungen/Eindrücke von Nutzern, sollte auf standardisierte Fragebögen zurückgegriffen werden.

Im Usability-Bereich kann man zwischen verschieden standardisierten Fragebögen wählen, die sich alle die Überprüfung von Usability-Aspekten als Ziel gesetzt haben. Da sie unterschiedliche Schwerpunkte legen, sollte vor der Auswahl eines Fragebogens immer klar sein, an wen er gerichtet ist und das Informationsbedürfnis festgelegt werden. Standardisierte Fragebögen fragen verschiedene Kriterien der Gebrauchstauglichkeit ab. Hierbei bedient man sich z.B. der DIN ISO 9241, die verschiedene Grundsätze zur Mensch-Maschine-Interaktion definiert hat. Zu diesen gehören unter anderen "Erwartungskonformität", "Aufgabenangemessenheit" und "Selbstbeschreibungsfähigkeit". Standardisierte Fragebögen werden je nach Vorgabe entweder vollständig oder teilweise verwendet, es dürfen aber keine Veränderungen an ihnen vorgenommen werden.

Im Folgenden sollen beispielhaft die beiden Fragebögen SUMI und AttrakDiff vorgestellt werden.

SUMI steht für Software Usability Measurement Inventory. Der aus 50 Aussagen bestehende Fragebogen richtet sich an Benutzer, die Erfahrung mit einer bestimmten Applikation haben. Um aussagekräftige Daten zu bekommen, sollte die Befragung mit mindestens 10 Benutzern durchgeführt werden. Die Fragen stammen aus verschiedenen Kategorien (Effizienz, Positive Einstellung, Nützlichkeit, Kontrolle, Erlernbarkeit) und sollen von den Benutzern mit "stimme zu", "stimme nicht zu" oder "weiß nicht" bewertet werden (vgl. Abbildung 1).

"Agree, undecided, disagree" ankreuzen für
Abbildung 1: Frage aus einem SUMI-Musterfragebogen

AttrakDiff ist ein frei nutzbarer Fragebogen, der zwischen Usability (objektive Nutzbarkeit) und User Experience (subjektive Nutzungserlebnis) unterscheidet.  Insgesamt besteht der Fragebogen aus 28 Wortpaaren, die gegensätzliche, Attribute für das Produkt darstellen. Die Nutzer bewerten, wie sehr das Produkt diesen Attributen entspricht (vgl. Abbildung 2). Der Fragebogen wird meist für die praxisorientierte Evaluation interaktiver Produkte oder auch zur Nachbefragung bei Usability-Tests verwendet. Vergleiche zwischen zwei Produkten sowie eine Vorher-Nachher-Untersuchung sind ebenfalls möglich. Die Befragung kann frei zugänglich sein oder es gezielt mittels Einladung per E-Mail dazu eingeladen werden. In beiden Fällen erfolgt die Datenerfassung selbstverständlich anonym.

Unsympathisch ... Sympathisch
Abbildung 2: Beispiel für ein AttrakDiff-Item

Werden jedoch Fragestellungen verfolgt, die mit den standardisierten Fragebögen nicht abgedeckt werden (z.B zu einzelnen Aspekten der Website oder zu den Nutzern selbst), muss ein entsprechender Fragebogen neu erstellt werden. Dabei sind das dafür notwendige Maß an Hintergrundwissen und Erfahrung und auch der zeitliche Rahmen nicht zu unterschätzen.

  • Der Fragebogen sollte so kurz wie möglich gehalten werden.
  • Geschlossene Fragen (mit Antwortmöglichkeiten) sind offenen Fragen wegen der leichteren und schnelleren Auswertung vorzuziehen.
  • Es können Filter-Fragen eingesetzt werden, die die Teilnehmer je nach Antwort auf verschiedenen Wegen durch den Fragebogen leiten (z.B. spezifischere Fragen, wenn ein Aspekt mit "Ja" beantwortet wurde)
  • Das Design sollte einfach und ansprechend sein.
  • Der Fragebogen muss selbst Usability-Kriterien genügen.
  • Vor der Veröffentlichung sollte der Fragebogen getestet werden. Mit einem Pretest kann überprüft werden, ob der Fragebogen verständlich ist, ob Fehler enthalten sind, wie viel Zeit zum Ausfüllen benötigt wird und ob die Befragten ausreichend motiviert werden.

Gerade der letzte Punkt ist wichtig, da die geringe Rücklaufquote das Hauptproblem von Fragebögen ist. Durch die ansprechende Gestaltung des Fragebogens, ein individuelles Anschreiben und durch Vortests kann diesem Problem begegnet werden.

Durchführung

Bei der Untersuchung von Websites bieten sich aufgrund des Mediums Online-Fragebögen an.

Vorteile von Online-Fragebögen sind:

  • Es kann davon ausgegangen werden, dass die Teilnehmer der Befragung über ausreichende Computerkenntnisse verfügen.
  • Zeiteinsparung bei der Auswertung im Vergleich zu Papierfragebögen
  • Geringere Fehleranfälligkeit
  • Teilnehmer erwarten eine höhere Anonymität

Nachteile von Online-Fragebögen sind dagegen:

  • Höhere Repräsentation von Personen mit Computerexpertise, unerfahrene Nutzer werden kaum erfasst
  • Gefahr einer hohen Abbrecherquote  durch die Unverbindlichkeit des Online-Mediums
  • Weniger Kontrolle über die Erhebungssituation aufgrund der fehlenden Anwesenheit des Versuchsleiters

Bei Online-Fragebögen, die auf der eigenen Website eingesetzt werden, gibt es zwei Möglichkeiten zur Rekrutierung der Teilnehmer. Zum einen können sie während des Besuchs der Website zur Teilnahme eingeladen werden. Zum anderen können registrierte Nutzer der Website aufgrund bestimmter Kriterien herausgefiltert und per E-Mail zur Teilnahme eingeladen werden.

Ergebnis

Bei standardisierten Fragebögen wird die statistische Auswertung bereits innerhalb der Tools oder durch die Anbieter  vorgenommen. Als Ergebnis werden ein numerischer Gesamtwert sowie die Werte für die einzelnen Unterkriterien (wie z.B. für Effizienz, Effektivität und Zufriedenheit) angegeben.

Bei neu erstellten Fragebögen muss die Auswertung selbstständig und sehr sorgfältig erfolgen. Die Daten werden zusammengefasst und Mittelwerte und Verteilungen der Antworten interpretiert sowie Antworten in Textform ausgewertet. Hierbei kann der Einsatz spezieller Software für statistische Analyse hilfreich sein, aber auch eine Tabellenkalkulation wie Microsoft Excel ermöglicht einfache Analysen.

Die Ergebnisse von schriftlichen Befragungen richten sich danach, zu welcher Phase des Entwicklungsprozesses und aus welchem Grund die Fragen gestellt wurden. Die Ergebnisse bei neuen Produkten können die Identifikation der Zielgruppe, ihre Ansprüche an Produkte oder ihre Meinungen bezüglich ihrer aktuellen Arbeitssituation sein. Bei existierenden Produkten kann die Zielgruppe mit ihren Eigenschaften, Vorlieben und Abneigungen gegenüber dem Produkt erkannt und aus der derzeitigen Nutzung des Produktes gelernt werden.

Informationen im Internet

Weiterführende Literatur

Courage, C. & Baxter, K. (2005): Understanding Your Users: A Practical Guide to User Requirements Methods Tools and Techniques (Morgan Kaufmann Series in Interactive Technologies). San Francisco: Morgan Kaufmann.

Gräf, L. (2002): Assessing internet questionnaires: The online pretest lab. In: B.Batinic; U.-D. Reips; M. Bosnjak; A.Werner (Eds.). Online Social Sciences. Seattle, WA: Hogrefe & Huber Publishers. S. 73-93

Hassenzahl M., Burmester M., Koller F. 2008: Der User-Experience (UX) auf der Spur: Zum Einsatz von www.attrakdiff.de. In: Brau H. et. al.: Usability Professionals 2008. S. 78-82

Kirakowski, J. & Corbett, M., 1993. SUMI: The software usability measurement inventory. British Journal of Educational Technology, 24(3), S. 210-212.

Laugwitz, B., Schrepp, M. & Held, T., 2006. Konstruktion eines Fragebogens zur Messung der User Experience von Softwareprodukten. In Mensch & Computer 2006: Mensch und Computer im StrukturWandel? . München: Oldenbourg Verlag, S. 125-134.

Norman, K.L.; Friedman, Z.; Norman, K.; Stevenson, R. (2001): Navigational issues in the design of online self-administered questionnaires. Behavior and Information Technology, 20, S. 37-45

Sarodnick, F. & Brau, H. (2006), Methoden der Usability Evaluation: Wissenschaftliche Grundlagen und praktische Anwendung. Bern: Huber.

Richter, M. (1999): Online-Befragung als neues Instrument zur Beurteilung der Benutzerfreundlichkeit interaktiver Software am Beispiel einer Internet-Anwendung. In: U.-D. Reips; B.Batinic; W. Bandilla; M. Bosnjak; L. Gräf; K- Moser; A.Werner (Hrsg.). Current internet science ? Trends, techniques, results. Zürich: Online Press.
http://www.intuitive.ch/liz_98.pdf