Kurz gesagt: Der SUS-Score entsteht aus zehn Items in drei Rechenschritten, liegt zwischen 0 und 100 und ist kein Prozentwert; der Durchschnitt über viele Studien liegt bei etwa 68. Der UEQ misst sechs Dimensionen auf einer Siebenerskala, die Kurzform mit acht Gegensatzpaaren trennt pragmatische von hedonischer Qualität. Beide Instrumente werden in Produktteams fast immer an derselben Stelle falsch: bei den invertierten Items und bei der Auswertung ohne Segmente. Dieser Beitrag beschreibt Formel, Benchmark und die Auswertung nach Plan, Rolle und Release.
Direkt zu den Vorlagen: System Usability Scale mit hinterlegtem Scoring und User Experience Questionnaire in der Kurzform, beide als Online-Vorlage.
Der SUS: zehn Items, eine Zahl
Die System Usability Scale stammt aus dem Jahr 1986 und ist bis heute der am häufigsten eingesetzte Usability-Fragebogen, weil sie kurz ist, für jedes System funktioniert und einen Benchmark hat. Zehn Aussagen auf einer Fünferskala von „stimme gar nicht zu“ bis „stimme voll zu“, abwechselnd positiv und negativ formuliert: „Ich kann mir vorstellen, das System regelmäßig zu nutzen“ neben „Ich fand das System unnötig komplex“.
Der Score entsteht in drei Schritten:
- Für die ungeraden Items (1, 3, 5, 7, 9) zählt der Skalenwert minus 1. Eine 4 wird zu 3.
- Für die geraden Items (2, 4, 6, 8, 10) zählt 5 minus Skalenwert. Eine 2 wird zu 3.
- Die zehn Beiträge werden summiert und mit 2,5 multipliziert.
Das Ergebnis liegt zwischen 0 und 100. Es ist kein Prozentwert: Ein SUS von 68 bedeutet nicht, dass 68 Prozent der Nutzer zufrieden sind, sondern dass das Produkt im Durchschnitt der vielen hundert Studien liegt, aus denen der Benchmark stammt. Werte über 80 gelten als gut, über 85 als ausgezeichnet, unter 50 als problematisch. Die Einordnung stammt aus den Arbeiten von Jeff Sauro und James Lewis, die den Benchmark seit den 2000er-Jahren pflegen.
Die zwei Fehler, die den SUS unbrauchbar machen
Die invertierten Items. Wer die geraden Items in der Tabellenkalkulation vergisst umzudrehen, bekommt einen Score, der nichts misst, und wer sie in einer Welle umdreht und in der nächsten nicht, bekommt eine Zeitreihe, die einen Absturz zeigt, den es nie gab. Der Fehler ist so häufig, dass er in Produktteams die Regel ist, sobald die Person wechselt, die die Tabelle gebaut hat. Die Lösung ist ein Scoring, das die Umkehrung kennt und den Score je Befragtem berechnet, nicht eine Formel in einer Zelle.
Die Interpretation als Prozentwert. „68 Prozent Usability“ steht in mehr Präsentationen, als es sollte. Der SUS ist eine Skala mit Benchmark; die Aussage lautet „durchschnittlich“, nicht „zwei Drittel gut“.
Der UEQ: sechs Dimensionen, Kurzform mit acht Paaren
Der User Experience Questionnaire misst breiter als der SUS. Die Vollversion hat 26 Gegensatzpaare in sechs Dimensionen: Attraktivität, Durchschaubarkeit, Effizienz, Steuerbarkeit, Stimulation und Originalität. Jedes Paar wird auf einer Siebenerskala bewertet, die Werte werden auf minus 3 bis plus 3 umgerechnet, und je Dimension entsteht ein Mittelwert. Werte über 0,8 gelten als positiv, unter minus 0,8 als negativ, dazwischen als neutral.
Die Kurzform UEQ-S mit acht Paaren ist für Microsurveys geeignet und trennt zwei Qualitäten: die pragmatische (behindernd/unterstützend, kompliziert/einfach, ineffizient/effizient, verwirrend/übersichtlich) und die hedonische (langweilig/spannend, uninteressant/interessant, konventionell/originell, herkömmlich/neuartig). Die pragmatische Qualität sagt, ob das Produkt funktioniert; die hedonische, ob es jemanden interessiert. Ein Produkt mit hoher pragmatischer und niedriger hedonischer Qualität ist ein Werkzeug, das niemand vermissen würde, und das ist für ein Produktteam eine wichtigere Information als der Gesamtwert.
Auch für den UEQ gibt es einen Benchmark-Datensatz aus mehreren hundert Studien, der die Dimensionen in fünf Bänder von „schlecht“ bis „ausgezeichnet“ einordnet. Und auch beim UEQ gibt es umgekehrte Paare, deren Reihenfolge in der Vollversion zufällig variiert, damit niemand die Spalte durchkreuzt.
Wie viele Antworten braucht es?
Für einen stabilen SUS-Wert reichen erfahrungsgemäß etwa 30 Antworten; darunter schwankt der Score um mehrere Punkte, und ein Unterschied von fünf Punkten zwischen zwei Releases ist dann Rauschen. Wer Segmente vergleichen will, braucht die 30 je Segment. Für den UEQ gilt dasselbe je Dimension.
Wichtiger als die Zahl ist die Stichprobe: Der SUS nach dem Onboarding misst Neulinge, der SUS nach drei Monaten misst Nutzer, die geblieben sind. Beides ist richtig, beides ist ein anderer Wert, und ein Mittelwert über beide ist für beide falsch. Legen Sie fest, wann die Befragung erscheint, und halten Sie den Zeitpunkt über Wellen konstant.
Auswerten nach Plan, Rolle und Release
Ein SUS von 71 für das ganze Produkt ist eine Zahl für die Investorenfolie. Für das Produktteam zählt die Aufschlüsselung, und die entsteht, wenn der Score je Befragtem als Variable im Datensatz liegt und Plan, Rolle und Release als weitere Variablen daneben.
- Nach Rolle. Admins bewerten die Einrichtung, Anwender die tägliche Arbeit. Ein Produkt kann bei Admins 82 und bei Anwendern 61 erreichen, und der Gesamtwert von 71 verdeckt beides.
- Nach Plan. Der Enterprise-Plan hat Funktionen, die der Team-Plan nicht hat, und oft eine andere Nutzergruppe. Ob der Unterschied im Score signifikant ist, sagt der Test, nicht der Balken.
- Nach Release. Der SUS vor und nach dem Redesign, je Segment, mit Signifikanztest, ist der Chart, den ein Release-Review braucht. Bei 30 Antworten je Welle ist eine Verbesserung von vier Punkten meist nicht signifikant; das ist die Aufforderung, länger zu messen.
Plan, Rolle und Release müssen dafür nicht abgefragt werden. Ihre App kennt sie und hängt sie als URL-Parameter an den Umfragelink; der Bogen bleibt bei den zehn Items.
Die Zeitreihe über Releases
Der SUS ist am wertvollsten als Linie über die Zeit. Dafür muss der Fragebogen unverändert bleiben (die zehn Items sind kanonisch, ändern Sie nichts an der Formulierung), der Zeitpunkt der Befragung konstant sein und jede Welle im selben Datensatz landen. Dann zeigt die Linie, ob das Redesign die Kurve gehoben hat und ob das Release vom Oktober sie gesenkt hat, je Segment. Die Kurzform des UEQ läuft daneben als zweite Linie für die hedonische Qualität, die der SUS nicht misst.
In DataLion
Die Vorlagen für SUS und UEQ kommen mit hinterlegtem Scoring: Die Scoring-Engine kennt die invertierten Items, berechnet den Score je Befragtem und schreibt ihn als Variable in den Datensatz. Plan, Rolle und Release kommen als URL-Parameter mit, Kreuztabellen mit Signifikanztest sagen, ob ein Unterschied belastbar ist, und die Zeitreihe über Wellen ist ein Chart. Wer die Befragung im bestehenden Tool erhebt, importiert die Antworten per Excel und berechnet den Score nachträglich.
Nächster Schritt
Öffnen Sie die SUS-Vorlage, legen Sie fest, nach welchem Ereignis sie in Ihrer App erscheint, und hängen Sie Plan und Rolle als Parameter an. Nach 30 Antworten haben Sie den ersten Wert mit Benchmark; nach dem nächsten Release den zweiten. Wie Feature-Priorisierung, Preisforschung und Microsurveys daneben laufen, beschreibt die Seite UX Research und Produktforschung; für die Rangfolge der Features gibt es den Beitrag zur Feature-Priorisierung mit MaxDiff.