Paul gehört zu den Guten – der Testbericht

Warum Testberichte mehr sind als die bunte Darstellung von Fehlerklassen

Freitags kommt der Testbericht – immer

Es ist drei Viertel vier. Am Nachmittag. Oder viertel vor vier, wenn euch das genehmer ist. Freitagnachmittag, um genau zu sein. Eigentlich bin ich schon seit zwei Stunden weg. Wollte nur noch rasch ein Backup machen. Da geht die Tür auf und Paul kommt herein. Paul sagt: „Die haben einen Testbericht geschickt. Schau doch mal drüber.“ Paul ist einer von den Guten. Deshalb ist er immer im Einsatz auch freitags. Manchmal weiß er aber nicht weiter. Manchmal fragt er dann mich. Manchmal fragt er auch andere.

Ich öffne das Mailprogramm und fische Pauls Email mit dem Testbericht aus dem Posteingang. Das angehängte Dokument hat ein Deckblatt und ansonsten jede Menge Diagramme und Tabellen. Diagramme und Tabellen sind sehr bunt. Das Dokument muss gut sein. Bunt ist der neue Reim, denn, was sich reimt ist gut. Die Tabellen zeigen Fehlerklassen. Außerdem zeigen sie, wie sich die Fehlerklassen über bestimmte Funktionen verteilen. Und es sind Fehlerraten berechnet. Sogar gleich zwei. Alles in allem sieht es sehr schick aus. Die Testergebnisse zeigen die Ergebnisse von Tests, aber auch nicht mehr.

Bunte Diagramme und Tabellen machen keinen Testbericht

Weil ich die Testdaten und die Testfälle zusammengstellt habe, weiß ich, worum es geht. Ich ringe ein wenig nach Luft. Bei der Testabdeckung erkenne ich ein paar Lücken. Dann frage ich mich, woher die Fehlerraten wohl kommen. Dann rechne ich Tabellenzeilen nach. Wie gesagt, es ist Freitagnachmittag und ich habe Feuer gefangen. Die addierten Zahlen passen nicht immer zu den angezeigten Zeilen. Ich hatte doch viel mehr Testfälle und auch Testdaten abgeliefert. Wo sind sie hin? Etliche Testfälle wurden weggelassen. Warum? Eine Begründung dazu gibt es nicht. Die Anzahl der bestandenen und gescheiterten Testfälle kann ich irgendwie errechnen.

Die einzelnen Module der Applikation stehen gleichwertig nebeneinander. Ist die Auswahl der Zahlart genauso wichtig, wie die Anzeige des Namens? Ich könnte großzügig über einen falsch angezeigten Namen hinwegsehen. Wenn bei der Zahlart etwas schief geht, wäre ich nicht so großzügig. Ich habe Zweifel, dass alle Funktionen gleich sind, aber ich priorisiere auch gern.

Ein bisschen Formalismus schadet nie im Testbericht

Als Testanalyst und Testmanager bin ich auch immer ein wenig Formalist. Aus dem Backup hole ich mir Muster von Testberichten. Ich erstelle eine allgemeine Gliederung. Daraus entwerfe ich eine Checkliste. Diese Checkliste teile ich in diese Bereiche.

  1. Testgegenstand
  2. Bewertungsverfahren
  3. Art der Tests
  4. Testumgebung
  5. Schlussfolgerungen

Diese fünf Bereiche sind wirklich das absolute Minimum für einen Testbericht. Finde ich.

Fragen, die ein Testbericht beantworten muss

Hinter diesen fünf Bereichen für einen Testbericht stehen die folgenden Fragen.

  • Was wurde getestet und was wurde nicht getestet und warum nicht?
  • Welche Abweichungen gab es und wie schwer waren sie?
  • Wie verteilen sich die Abweichungen hinsichtlich der Schwere und der Funktionen?
  • Welchen Anlass gab es für den Test?
  • Wie wurden die Tests durchgeführt?
  • Gibt es eine Empfehlung zur Inbetriebnahme und wurden die Testendekriterien erreicht?

Diese Fragen habe ich weiter unterteilt und in eine Excel-Liste gepackt. Dann habe ich die Fragen für Paul beantwortet.
Dazu gab es ein Anmerkungen zum Testgegenstand, zu den anderen Sachen, die ich gefunden hatte.

Paul gehört zu den Schlauen

Gut, das Schreiben der Checkliste hat länger als erwartet gedauert. Deshalb wurde es dann doch noch später. Aber Paul gehört nicht nur zu den Guten, sondern auch zu den Schlauen. Er wird nächstes Mal selbst die Fragen beantworten.

Die Checkliste zum Testbericht

Checkliste_Testbericht_web

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.