Welche Arten von Softwaretests gibt es?

Im Rahmen einer Markteinführungsstrategie führen Entwickler strenge Softwaretests durch, als Voraussetzung für hochwertige, sichere und zuverlässige Softwaresysteme. Tests bieten mehrere Vorteile: Mängel beseitigen, Fehler vermeiden, Entwicklungskosten senken, Leistung verbessern und Rechtsstreitigkeiten verhindern. Als Entwickler von Softwaretests sind wir grundsätzlich der Meinung, dass sie in alle Phasen des Softwareentwicklungsprozesses integriert werden sollten.

(Bild: Parasoft)

In der Vergangenheit haben nur wenige Softwareentwickler oder Qualitätssicherungs(QS)-Ingenieure den Softwaretestprozess ganzheitlich betrachtet. Traditionell wurde das Testen von Software vom Rest der Entwicklung getrennt und erfolgte erst gegen Ende des Entwicklungszyklus. Fand man Fehler, war deren Behebungen bestimmt kostspielig, und die Veröffentlichungstermine wurden verschoben, was sich auf die Glaubwürdigkeit des Unternehmens und das Vertrauen der Beteiligten auswirkte. Das Ergebnis waren steigende Kosten und sinkende Profite.

Dieser Überblick über das Testen beleuchtet alle Teile des Softwaretest-Puzzles:

• Was ist Testen?

• Wer nimmt das Testen vor?

• Wann sollte man mit den Tests beginnen?

• Was sind Software-Testmethoden?

• Welche Arten von Softwaretests gibt es?

• Wann ist das Testen abgeschlossen und beendet?

• Wie hilft Parasoft beim Testen?

Was ist Testen?

Testen ist ein Prozess der Analyse eines Softwareprodukts, um die Unterschiede zwischen den vorhandenen und den erforderlichen Bedingungen zu ermitteln und die Funktionen des Softwareprodukts zu prüfen. In diesem Prozess wird validiert und verifiziert, dass ein Softwareprodukt oder eine Anwendung das tut, was sie soll. Im Zuge des Tests von System oder seinen Komponenten wird sichergestellt, dass die Software alle festgelegten Anforderungen erfüllt.

Durch die Ausführung der Systeme lassen sich Lücken, Fehler oder fehlende Anforderungen im Vergleich zu den tatsächlichen Anforderungen feststellen. Schließlich hat niemand Interesse an Problemen durch Fehlerkorrekturen, verspätete Lieferungen, Defekte oder schwerwiegende Fehlfunktionen, die zu Schäden oder Todesfällen führen.

Wer nimmt das Testen vor?

Die Personen, die Tests durchführen und Testverfahren entwickeln, unterscheiden sich stark von einem Unternehmen zum anderen. In den Unternehmen gibt es verschiedene Bezeichnungen für die Personen, die die Software testen, je nach ihrer Erfahrung und ihren Kenntnissen, d. h. es kommt auf den Prozess und die Beteiligten eines Projekts an. Üblich sind Titel wie Software-Qualitätssicherungs-Ingenieur und Softwareentwickler. Zu den allgemeinen Titeln und Funktionen für das Testen gehören:

• QS-Ingenieure/Softwaretester sind für die Beseitigung der Mängel zuständig. Bei vielen davon handelt es sich um Experten für Software- und Systemanalyse, Risikominderung und softwarebezogene Problemvermeidung. Sie mögen nur eingeschränkte Kenntnisse über das System haben, aber sie studieren die Anforderungsdokumentation und führen manuelle und automatisierte Tests durch. Sie erstellen und vollziehen Testfälle und melden Bugs. Nachdem die Entwicklung die Fehler beseitigt hat, testen sie erneut.

• Softwareentwickler kennen möglicherweise das gesamte System – vom Anfang bis zum Ende. Weil sie am Entwurf, der Entwicklung und in das Testen von Systemen eingebunden sind, wissen sie Bescheid über alle Richtlinien und Anforderungen. Außerdem verfügen sie über ein hohes Maß an Erfahrung in der Softwareentwicklung, einschließlich der Testautomatisierung.

• Projektleiter/Manager zeichnen für das gesamte Projekt verantwortlich, d. h. für die Qualität des Produkts, die Lieferfrist und den erfolgreichen Abschluss des Entwicklungszyklus. Wenn Produktprobleme auftauchen, ist es der Produktmanager, der die Zeitpläne für die Lösung der Probleme festlegt.

• Bei den Endnutzern handelt es sich um die Stakeholder oder Kunden. Betatests (eine Vorabversion der Software) tragen dazu bei, die Qualität und Kundenzufriedenheit sicherzustellen. Wer könnte sonst am besten beurteilen, ob das gelieferte Produkt den Anforderungen entspricht?

• Systemingenieure entwerfen und gestalten das System anhand der gesammelten Anforderungen und Konzepte. Aufgrund ihres Wissens über das System definieren sie Testfälle auf Systemebene, die später vom QA-Team und/oder den Softwareentwicklern umgesetzt werden. Sie verifizieren auch die Übereinstimmung der Anforderungen mit den Testfällen. In hochkomplexen Systemen, die mit Modellierung arbeiten, werden die Tests durch die Modellausführung des logischen und/oder physischen Systementwurfs oft von Systemingenieuren durchgeführt.

Wann sollte man mit dem Testen beginnen?

Am besten frühzeitig, weil dadurch die Kosten und die notwendige Zeit für das Überarbeiten und das Erstellen einer sauberen Architektur und einer fehlerfreien Software reduziert werden. Jede Phase des Lebenszyklus der Softwareentwicklung (SDLC) bietet sich als Gelegenheit zum Testen an, das in verschiedenen Arten erfolgt.

Beispielsweise kann eine Form des Testens im SDLC bereits in der Phase der Anforderungserhebung beginnen. Die Anforderungen müssen klar verstanden werden. Die Rücksprache mit den Beteiligten, um die Anforderungen zu klären und zu verhandeln, ist eine Form des Überprüfens der Interpretation ihrer Vorgaben, um sicherzustellen, dass das  richtige System erstellt wird. Dies ist ein wichtiger Teil des Produkt- und Projektmanagements. Zu definieren sind auch Testfälle für die Abnahmeprüfung.

Es ist wichtig, zu verstehen, dass es sich bei den in der Systementwicklungsphase definierten Testfällen um textbasierte Testfälle handelt, die erklären, was am System und wie es getestet werden soll. Sie werden später vom Entwicklungs- und/oder QS-Team auf der Grundlage der textbasierten Testfälle der Systementwickler und der damit verbundenen Anforderungen umgesetzt. Die Validierung oder Ausführung der realisierten Testfälle führt zu den Pass/Fail-Ergebnissen, die den Nachweis der ordnungsgemäßen Funktionalität erbringen und auch für etwaige Konformitäts-Anforderungen genutzt werden können.

In der Phase der Bedarfszerlegung und des Architekturentwurfs wird das System auf einer anderen Abstraktionsebene weiter aufgegliedert. Schnittstellen werden definiert, und wenn die Modellierung mit SysML, UML oder einer anderen Sprache erfolgt, ist das Testen der Architektur durch Simulation zur Beseitigung von Entwurfsfehlern eine weitere wichtige Aufgabe. Während dieses Prozesses werden zusätzliche Anforderungen definiert, einschließlich der Testfälle, mit denen die Verifizierung und Validierung der einzelnen Anforderungen erfolgt. Im Zuge einer weiteren Zerlegung entsteht der Feinentwurf.

Treffen Sie die Experten der Branche in Sindelfingen

Europas Leitkongress für Embedded Software Professionals

Jedes Jahr im Dezember treffen sich über 1.200 Professionals, um sich über aktuelle Technologien und Methoden zu informieren, Trends zu diskutieren sowie die Weichen für die Zukunft zu stellen.

In 14 Seminaren, 95 Vorträgen und 3 Keynotes warten fachlich fundierte und praxisnahe Inhalte auf die Teilnehmer des ESE Kongress. Der Kongress ist die ideale Plattform, um sich über moderne Methoden des Software Engineering und den Stand der Technik zu informieren. Melden Sie sich an und werden Teil der Embedded-Software-Community.

Jetzt informieren

Schließlich lassen sich die Anforderungen auf Systemebene zu den Testfällen auf Systemebene zurückverfolgen, die Anforderungen an die Architektur zu den Testfällen der Integrationstests und die genauen Entwurfsanforderungen oder Low-Level-Vorgaben zu den Unit-Testfällen. Das Verifizieren der Vorgaben kann beginnen, um sicherzustellen, dass sich jede Anforderung auf einen Testfall zurückführen lässt. Ideal ist eine Matrix zur Verfolgbarkeit von Anforderungen, um Lücken in der Traceability aufzuspüren.

Wenn die Übergabe von den System- an die Software-Entwickler erfolgt, beginnen diese mit der Implementierung auf der Grundlage der Anforderungen. Um die Codequalität sicherzustellen, wenden sie Programmierstandards an oder sollten sie anwenden. Hier bietet sich die statische Code-Analyse an – als eine Art des Testens in den frühesten Stadien der Implementierungsphase, wenn Fehler auch am billigsten zu beheben sind, deckt sie  Programmierfehler sowie Sicherheits- und Schutzprobleme auf. Es folgen Unit-Tests, wobei jeder realisierte Unit-Testfall mit den zugehörigen Low-Level-Anforderungen oder Testfällen verknüpft werden muss.

Im Zuge der weiteren Systemimplementierung müssen die zuvor im Rahmen des Systems-Engineering-Prozesses definierten Testfälle realisiert und für das in der Entwicklung befindliche System ausgeführt werden. Dies beginnt mit Unit-Tests, gefolgt von Integrationstests, Systemtests und Abnahmetests. Darüber hinaus müssen je nach Dienstqualität andere Testmethoden durchgeführt werden, wie z. B. API-Tests, Leistungstests, Belastungstests, Portabilitätstests, Benutzerfreundlichkeitstests.

Was sind Software-Testmethoden?

Dabei handelt es sich um die Strategien, Prozesse oder Umgebungen, die zum Testen verwendet werden. Die beiden populärsten SDLC-Methoden sind Agile und Wasserfall, wobei das Testen in diesen beiden Umgebungen sehr unterschiedlich erfolgt.

Wasserfall Modell

Bei diesem Modell finden beispielsweise die formalen Tests in der Testphase statt, die sofort nach Abschluss der Entwicklungsphase beginnt. Testen nach dem Wasserfall Modell funktioniert gut bei kleinen, weniger komplexen Projekten, weil es weniger Prozesse und Akteure gibt, was zu einem schnelleren Projektabschluss führen kann. Sind die Anforderungen zu Beginn nicht klar definiert, und werden Fehler erst später in der Entwicklung gefunden, ist deren Behebung teurer, denn es ist äußerst schwierig, in abgeschlossenen Phasen Änderungen vorzunehmen.

Agile Modell

Das Agile Modell eignet sich am besten für größere Entwicklungsprojekte. Agiles Testen ist ein inkrementelles Modell, bei dem die Tests am Ende jedes Abschnitts oder jeder Iteration erfolgen. Außerdem wird die gesamte Anwendung nach Abschluss des Projekts getestet. Das Agile Modell birgt weniger Risiken im Entwicklungsprozess, da jedes Teammitglied weiß, was fertiggestellt wurde und was nicht. Die Ergebnisse von Entwicklungsprojekten sind bei Agile in der Regel besser, wenn es einen starken, erfahrenen Projektmanager gibt, der schnelle Entscheidungen treffen kann.

Iteratives Modell

Beim iterativen Modell erstellen die Programmierer Grundversionen der Software, überprüfen und verbessern die Anwendung in kleinen Schritten. Dies ist ein guter Ansatz für extrem große Anwendungen, bei denen eine schnelle Fertigstellung notwendig ist. Fehler lassen sich früher erkennen, wenn ihre Behebung weniger kostspielig ist.

DevOps-Ansatz und kontinuierliches Testen

(Bild: Parasoft)

Bei einem DevOps-Ansatz für das (kontinuierliche) Testen arbeiten die Teams während des gesamten Produktlebenszyklus zusammen, und warten mit dem Testen nicht, bis die Software erstellt ist oder kurz vor der Fertigstellung steht. Dadurch läuft der Softwarebereitstellungsprozess schneller ab, Fehler werden früher erkannt und ihre Behebung ist weniger kostspielig. Beim kontinuierlichen Testen kommen automatisierte Tests und Automatisierungstools als Elemente der Softwareentwicklungspipeline zum Einsatz, um sofortiges Feedback zu eventuell bestehenden Geschäftsrisiken zu erhalten.

Welche Arten von Softwaretests gibt es?

Zu den gängigsten Arten von Softwaretests gehören:

• Statische Analyse

• Unit-Tests

• Integrationsprüfung

• Systemtests

• Abnahmetests

(Bild: Parasoft)

Statische Analyse

Die statische Analyse verlangt keine dynamische Ausführung der zu prüfenden Software und kann mögliche Fehler in einem frühen Stadium aufdecken, bevor das Programm ausgeführt wird. Sie erfolgt während oder nach der Programmierung und vor der Ausführung von Unit Tests. Sie kann von einer Code-Analyse-Engine ausgeführt werden, um den Quellcode automatisch zu ‚durchlaufen‘ und nicht konforme Regeln oder lexikalische, syntaktische und sogar einige semantische Fehler zu erkennen.

Statische Code-Analyse-Tools bewerten, kompilieren und prüfen auf Schwachstellen und Sicherheitsmängel, um den zu testenden Code zu analysieren. Die modernen statischen Analysetools von Parasoft helfen Anwendern beim Verwalten der Testergebnisse, einschließlich der Priorisierung von Ergebnissen, der Unterdrückung unerwünschter Ergebnisse und der Zuweisung von Ergebnissen an Entwickler. Diese Tools unterstützen ein breites Spektrum an Entwicklungs-Ökosystemen zur Integration in eine umfassende Liste von IDE-Produkten zur Durchführung statischer Analysen für C, C++, Java, C# und VB.NET.

Unit-Tests

Das Ziel von Unit-Tests ist es, jeden Teil des Programms zu isolieren und zu zeigen, dass die einzelnen Teile in Bezug auf die Anforderungen und die Funktionalität korrekt sind.

Diese Art von Tests wird von den Entwicklern durchgeführt, bevor sie das Setup dem Testteam zur formalen Ausführung der Testfälle übergeben. Unit-Tests werden von den jeweiligen Entwicklern an den zugewiesenen Bereichen der einzelnen Quellcode-Einheiten durchgeführt. Sie nutzen Testdaten, die sich von denen des Qualitätssicherungsteams unterscheiden.

Die Durchführung von Verzweigungs-, Anweisungs- und MC/DC-Abdeckung mit Parasoft ist eine Art des Unit-Tests. Dabei wird die Software auf jede Funktion isoliert und diese einzelnen Teile werden untersucht. Die Einschränkung bei Unit-Tests besteht darin, dass sie nicht jeden Fehler in der Anwendung abfangen können, da sie keinen Thread oder Ausführungspfad in der Anwendung bewerten.

Integrationstests

Integrationstests bedeutet das Testen von kombinierten Teilen einer Anwendung, um festzustellen, ob sie korrekt funktionieren. Sie können auf zwei Arten erfolgen:

• 1. Bottom-up: Das Testen beginnt mit Unit-Tests, gefolgt von schrittweise höheren Kombinationen von Einheiten, die als Module oder Builds bezeichnet werden.

• 2. Top-down: Bei diesen Tests werden zuerst die Module der höchsten Ebene getestet, danach schrittweise die Module der niedrigeren Ebene.

Systemtests

Hierbei findet der Test des Systems als Ganzes statt, wobei es als Blackbox betrachtet wird und keine Notwendigkeit besteht, die innere Funktionsweise des zu testenden Systems zu verstehen. Systemtests erfolgen, sobald alle Komponenten integriert sind. Durchgeführt wird diese Test-Art vom QS-Team.

• Bei Systemtests ist das System oder die Anwendung vollständig implementiert und wird als Ganzes getestet.

• Im Zuge gründlicher Tests wird verifiziert, dass die Anwendung die funktionalen Vorgaben, die Anforderungen an die Dienstqualität und die geschäftlichen Belange erfüllt.

• Der Test der Anwendung findet in der endgültigen Produktionsumgebung oder in einer Umgebung statt, die der Produktionsumgebung, in der die Anwendung eingesetzt werden soll, sehr nahekommt.

• Mit Systemtests können Unternehmen ein Gefühl für die Zeit bis zur Markteinführung bekommen, bis positive Ergebnisse erzielt werden.

Abnahmetests

Auch diese wohl wichtigste Test-Art führt das QS-Team durch, um festzustellen, ob die Anwendung die vorgesehenen Spezifikationen erfüllt und den Anforderungen des Kunden entspricht. Das QS-Team verfügt über eine Reihe von vorformulierten Szenarien und Testfällen, die für den Test der Anwendung zum Einsatz gelangen.

Es kommt zum Austausch von weiteren Ideen über die Anwendung, und zusätzliche Tests können ausgeführt werden, um die Genauigkeit der Anwendung und die Gründe, warum das Projekt initiiert wurde, zu beurteilen. Abnahmeprüfungen sollen nicht nur auf einfache Rechtschreibfehler, Schönheitsfehler oder Schnittstellenlücken hinweisen, sondern auch auf Bugs in der Anwendung, die zu Systemabstürzen oder größeren Fehlern in der Anwendung führen.

Im Zuge von Abnahmetests einer Anwendung kann das Testteam ableiten, wie diese in der Praxis funktionieren wird. Bei der Abnahme des Systems sind auch rechtliche und vertragliche Anforderungen zu beachten.

Wann ist das Testen abgeschlossen und zu Ende?

Es ist schwierig zu bestimmen, wann das Testen beendet werden sollte, da es ein nie endender Prozess ist und niemand behaupten kann, dass Software zu 100 % geprüft ist. Dennoch gibt es Kriterien, die als Indikatoren für die Beendigung von Tests dienen können:

• Management-Entscheidung. Der vielleicht einfachste und häufigste Hinweis auf einen Teststopp ist die Entscheidung des Managements, den Testprozess zu beenden. Diese kann auf Zeit- oder Budgetbeschränkungen beruhen und damit die Qualität beeinträchtigen. Sie kann aber auch einfach darin begründet sein, dass das Projekt den Umfang der erforderlichen Tests erreicht hat, d. h. dass die Testfristen eingehalten wurden.

• Abgeschlossene Testausführung. Nach Abschluss der Testfälle sollte die Erfolgsquote bei 95 % liegen, und alle kritischen Testfälle bestanden worden sein. Bei den restlichen 5 %  sollte es sich um Testfälle mit niedriger Priorität handeln.

• Abschluss der Anforderung- und Stabilitätstests. Indem Entwickler und Tester die Daten aus den Testergebnissen analysieren, können sie sicherstellen, dass die Anwendung wie erwartet funktioniert und für jede definierte Anforderung ein positives Ergebnis erzielt. Außerdem werden alle wichtigen Funktionsabläufe mit verschiedenen Eingaben erfolgreich ausgeführt und funktionieren gut.

• Codeabdeckung bis zu einem vorher festgelegten Prozentsatz. Die Instrumentierung des Codes und die Ausführung aller Testfälle liefert nicht nur einen prozentualen Anteil des getesteten Codes, sondern deckt auch Code auf, der nicht ausgeführt wurde und möglicherweise versteckte Fehler enthält. Einige Unternehmen sind mit einer Codeabdeckung von 80% und mehr zufrieden, während andere Unternehmen eine 100%ige Abdeckung von Anweisungen, Verzweigungen und geänderten Bedingungen verlangen.

• Die Fehlerrate fällt unter ein bestimmtes Niveau. Wenn die Fehlerrate unter ein vorab festgelegtes Niveau fällt und keine Fehler mit hoher Priorität identifiziert werden, können die Tests eingestellt werden.

(Bild: Parasoft)

Welche Unterstützung bietet Parasoft beim Testen?

(Bild: Parasoft)

Software-Testautomatisierungslösungen von Parasoft bieten ein einheitliches Toolset zur Beschleunigung des Testens, indem sie Teams dabei helfen, das Testen in die frühen Phasen der Entwicklung zu verlagern und gleichzeitig die Nachvollziehbarkeit, die Aufzeichnung der Testergebnisse, die Details der Codeabdeckung, die Berichterstellung und die Compliance-Dokumentation aufrechtzuerhalten. Damit unterstützt Parasoft bei der Bereitstellung von Qualitätssoftware, die sicher und zuverlässig ist, und zwar in großem Umfang mit automatisierten Testlösungen, die jede Phase des Entwicklungszyklus umfassen. Unternehmen aus den Märkten Automotive, Luft-/Raumfahrt, Medizingeräte, Railway und Industrieautomatisierung setzen auf Parasofts automatisierte Testlösungen.

* Ricardo Camacho ist Senior Technical Product Marketing Manager für die eingebetteten Testlösungen von Parasoft und hat Erfahrung mit dem SDLC und der Testautomatisierung von eingebetteten Echtzeit-, Sicherheits- und sicherheitskritischen Anwendungen sowie der Einhaltung von Industriestandards durch Software.

Welche Softwaretests gibt es?

Welche IT Tests gibt es?

Was versteht man unter Softwaretest?

Wie wird eine Software getestet?