Usability-Test für 39 €!* Jetzt starten

Sind 5 Testpersonen für Usability-Tests ausreichend?

Bei der Frage wieviele Testpersonen für einen Usability-Test sinnvoll sind, stößt man immer wieder auf die Zahl 5. Diese stammt aus einer Veröffentlichung des Usability-Gurus Jacob Nielsen aus dem Jahre 2000. Nielsen sagt, dass bereits mit 5 Testpersonen etwa 80 % aller Usability-Probleme aufgedeckt werden. Dies klingt traumhaft. Aber stimmt es tatsächlich?

Nielsen´s Aussage beruht auf einer Studie, die er zusammen mit Tom Landauer in den 90er Jahren durchgeführt hat. Das Ergebnis dieser Studie wird in folgender Grafik widergespiegelt.

 

Usability-Tests - Sind 5 Tester genug

 

Nielsen hat seine Erkenntnisse außerdem folgendermaßen zusammengefasst.

  • Keine Testperson ergibt keine Erkenntnisse.
  • Ein Test mit einem Nutzer deckt bereits 1/3 aller Usability-Probleme auf. Der Unterschied zwischen 0 und ein bißchen Datenmaterial  ist erstaunlich.
  • Die zweite Testperson wird einige Dinge ähnlich der ersten Person tun, sodass es zu Überlappungen bei den Erkenntnissen kommt. Da Menschen jedoch grundsätzlich unterschiedlich sind, wird es auch neue Erkenntnissen geben. Die Anzahl der neuen Erkenntnisse, wird jedoch nicht so groß sein, wie die Anzahl der Erkenntnisse beim ersten Nutzer.
  • Der dritte Nutzer wird viele Dinge tun, die Sie bereits beim ersten und zweiten Nutzer gesehen haben.  Jedoch wird auch er Dinge tun, die Sie noch nicht gesehen haben.  Die Anzahl der neuen Erkenntnisse wird, im Vergleich zum zweiten Nutzer, weiter abnehmen.
  • Bei jedem weiteren Nutzer wird die Anzahl der neuen Erkenntnisse weiter abnehmen.
  • Nach dem 5. Nutzer verschwenden Sie Ihre Zeit, da Sie immer wieder auf dieselben Probleme stoßen werden.

Der Nutzen jeder weiteren Testperson wird also so gering, dass sich aus ökonomischen Gesichtspunkten der Aufwand nicht mehr lohnt.

Es gibt allerdings auch Ausnahmen, bei denen es laut Nielsen sinnvoll ist, mit mehr Nutzern zu testen. Dies ist dann der Fall, wenn eine Webseite mehrere Zielgruppen hat. Da unterschiedliche Zielgruppen unterschiedliche Voraussetzungen und Ziele haben, ist es ratsam, jede Zielgruppe separat zu testen. Auch hier empfiehlt er jeweils 5 Tests pro Zielgruppe durchzuführen.

 

Kritik an Nielsen´s Ansatz

Laut einer Studie von Laura Faulkner kommt es bei 5 Testpersonen noch zu großen, zufälligen Abweichungen im Hinblick auf den Anteil der aufgedeckten Usability-Probleme.

In der durchgeführten Studie deckten einige Testgruppen (bestehend aus jeweils 5 Testpersonen) 99 % aller Usability-Probleme auf, andere 5er Testgruppen jedoch nur 55 %. Mit 10 Testpersonen stieg der niedrigste Prozentsatz der gefundenen Probleme auf 80 % und mit 20 Nutzern auf 95 %. Faulkner empfiehlt daher Tests mit 10 bis 15 Testpersonen durchzuführen.

 

Fazit

Möchten Sie die statstische Relevanz Ihrer Testergebnisse erhöhen, sollten Sie die Tests mit mehr als 5 Testpersonen durchführen. Jedoch ist hierbei immer zu bedenken, dass die Anzahl der neu aufgedeckten Usability-Probleme bei jeder weiteren Testperson abnimmt, während die Kosten und der Zeitaufwand für die Testauswertung und ggf. die Testdurchführung konstant bleiben.

Wichtig ist, dass Sie überhaupt Usability-Tests durchführen. Denn wie Jakob Nielsen so treffend schreibt: „zero users give zero insights“.

Weitere Informationen zu Web Usability finden Sie in unserem Dokumentenbereich.

 

Quellen:

1) Why you only need to test with 5 users, Jacob Nielsen, 2000, http://www.useit.com/alertbox/20000319.html
2) Beyond the five-user assumption: Benefits of increased sample sizes in usability testing, Laura Faulkner, 2003, http://www.simplifyinginterfaces.com/wp-content/uploads/2008/07/faulkner_brmic_vol35.pdf

 

 

Kommentarfunktion deaktiviert.

* Alle Preise zzgl. Mwst.