Ejecución o muerte antworteten die Tester im Chor auf den Weckruf des Testmanagers Execution? Testmanager wollen wissen, wie viel Testfälle in der aktuellen Testphase noch zu schaffen sind. Testausführung ist natürlich nicht alles. Es kommt auch auf die Fehlerrate an und es gibt weitere Key Performance Indicators oder KPIs, mit denen eine Testphase beurteilt werden kann.

KPIs der Testdurchführung

Testdurchführungsrate

Die Testdurchführungsrate ist das Verhältnis von durchgeführten Testfällen zur geplanten Anzahl an Testfällen. Genauere Menschen unterscheiden diese weiteren Fälle: – Bestandene Testfälle

• Gescheiterte Testfälle
• Unvollständige Testfälle
• Blockierte Testfälle
• Nicht durchgeführte Testfälle

Testerfolgsrate

Die Testerfolgsrate zeigt, wie viel Testfälle die Durchführung bestanden haben. Damit ist sie das Verhältnis von bestandenen Testfällen zur Gesamtzahl der geplanten Testfälle. Weiter stellt die Testerfolgsrate oft die geprüften Komponenten und die Testfallpriorität dar. Somit ist die Testerfolgsrate ein wichtiges Maß für den Reifegrad einer Software. Auf der anderen Seite zeigt die Testerfolgsrate, in welcher Komponente noch Entwicklungsaufwand zu investieren ist.

Absolute und Relative Testdurchführung

Fehlerrate

Die Fehlerrate zeigt, wie viel Fehler in Bezug auf die durchgeführten Testfälle aufgetreten sind. Deshalb ist sie nicht einfach das Komplement der Testerfolgsrate, weil diese sich auf die geplanten Testfälle bezieht. Außerdem zeigt eine Fehlermatrix, in welchem Bearbeitungszustand sich wie viel Softwarefehler befinden und sie zeigt, wie gravierend ein Softwarefehler ist.

KPIs im Testmanagement

Nachverfolgbarkeit, Traceability-Matrix

In der Theorie gibt es keinen Test ohne Anforderung. Doch in der Praxis sieht die Welt bekanntlich anders aus. Trotzdem wird irgendwann die Frage auftauchen: Was habt ihr getestet? Spätestens dann ist es gut, eine Nachverfolgbarkeitübersicht zu haben. Die Traceability-Matrix stellt diese Abhängigkeit pro Softwarelieferung dar: – von der Anforderung zur Komponente,

• von der Anforderung zum Testfall,
• vom Testfall zum Testergebnis (bestanden oder gescheitert),
• und alles auch wieder zurück

Anforderungsmatrix mit Rückverfolgbarkeit by Nguyen Vu Hung (vuhung) is licensed under CC BY 2.0[/caption]

Testannahmekriterien

Bevor eine Testphase beginnt, müssen bestimmte Dinge vorliegen. Diese Kriterien können sein.

• Die Entwicklungsarbeiten für die wesentlichen Anforderungen sind abgeschlossen.
• Die Testumgebung steht zur Verfügung.
• Es gibt nutzbare Testdaten.
• Die Testwerkzeuge sind einsatzbereit.

In größeren Projekten ist es sinnvoll, vor dem vollumfänglichen Test einen Annahmetest durchzuführen.Dieser Annahmetest oder Smoketest ist auch dann empfehlenswert, wenn herausgestellt hat, dass die Softwarelieferung Mängel aufweist. Bei diesem Annahmetest stehen Testdaten, Testwerkzeuge, Testumgebung auf Verwendbarkeit im Mittelpunkt der Prüfung. Außerdem ist es hilfreich über alle Komponenten hinweg zu prüfen, ob kritische Testfälle überhaupt durchführbar sind.

Testendekriterien

Softwaretests benötigen Ressourcen, sie kosten Geld und Zeit. Der Aufbau und der Unterhalt von Testumgebungen ist aufwändig. Aus diesem Grund sind für jede Testphase Kriterien festzulegen, die beschreiben, wann der Test beendet wird. Wie immer im Test gibt es mehrere Möglicheiten:

• Die Testphase wird beendet, weil genügend Testfälle bestanden wurden. Dann kann die nächste Phase der Softwareentwicklung beginnen.
• Die Testphase wird beendet, weil zu viele Testfälle gescheitert sind. Dann ist das Testobjekt zurückzuweisen und geht noch einmal in eine frühere Phase der Softwareentwicklung.

Beispiele für Testendekriterien sind:

• Alle Testfälle mit Priorität A und B sind durchgeführt,
• die Fehlerrate liegt unter x %,
• es gibt keine kritischen oder schwere Fehler,
• es gibt einen abgestimmten Maßnahmekatalog zur Behebung der noch offenen Fehler.

Weitere Verweise

• Die zehn größten Fehler im Software Testmanagement:https://www.computerwoche.de/a/die-zehn-groessten-fehler-im-software-test-management,1877489
• Testberichte mit Jira und Xray: https://www.testing-board.com/testberichte-mit-jira-und-xray/