From Theory to Practice: How to Automate Your System-Level Tests

This presentation shows the benefits of incorporating early-stage software testing at system level into the development cycle. A practical example illustrates the ease of virtualizing a system under test for Software-in-the-Loop and demonstrates how the tests and simulations can be reused in the subsequent Hardware-in-the-Loop phase.

Referenten: Philipp Hallmen und Mario Winkler

Philipp Hallmen and Mario Winkler are working in an R&D Team on tools supporting the simulation and test of complex embedded systems. These tools accelerate the development process and help to increase the quality of embedded devices.

Entwicklungsbegleitende Integrationstests für Embedded Linux in der CI: Mit Labgrid das Betriebssystem auf Serienhardware testen

Embedded Linux ist eine mächtige Plattform, die aus Projekten mit hohen Anforderungen an Grafik, Konnektivität oder Speicher nicht mehr wegzudenken ist.
Moderne Embedded-Linux-Systeme bestehen aus einer Vielzahl an Einzelprojekten, die jeweils unabhängig von einander entwickelt werden.
Gleichzeitig sind durch regulatische Anforderungen wie aus dem Cyber Resilience Act, aber auch durch Verbesserungen regelmäßige Updates der Systeme die Regel.
Um die Zuverlässigkeit jedes Releases sicherzustellen sind daher automatisierte Tests auf allen Ebenen des Gesamtsystems naheliegend.

Mit dem Open-Source-Projekt Labgrid steht ein Werkzeugkasten für das automatisierte Testen eines vollständigen Embedded Linux auf der
echten Hardware zur Verfügung.
Labgrid fokusiert sich auf testen des Bootloaders und Betriebssystems – ist darüber hinaus aber auch für den Test der Applikation einsetzbar.
Es schließt als Hardwareabstraktion die Lücke zwischen der Fernsteuerhardware und dem Test-Code.
Durch die Entwicklung von Tests in ‚pytest‘ fühlt sich die Arbeit damit wie normales Software-Testing an.
Labgrid ist für den Einsatz durch oder zusammen mit den Embedded-Linux-Entwicklern konzipiert und setzt daher auch selbst auf Werkzeuge aus dem Linux-Baukasten.

Dieser Talk beginnt mit einer Motivation für das Testen von Embedded Linux auf der tatsächlichen Hardware.
Anschließend wird gezeigt mit welchen Mitteln Embedded-Linux-Geräte ferngesteuert werden können.
Darauf aufbauend wird die Architektur von Labgrid, sowie die unterschiedlichen Einsatzszenarien vorstellt.
Zuletzt wird exemplarisch an einem Embedded-Linux-System gezeigt, wie sich automatisierte Tests und interaktive Arbeit ergänzen.

Referent: Chris Fiege

Chris Fiege hat an der FH Aachen Nachrichtentechnik studiert und entwickelt seit 2011 beruflich Elektronik. Nach einigen Jahren und der Mitarbeit in diversen Entwicklungsprojekten für Fahrzeuge und Spezialmesstechnik
in der Automotivebranche ist er 2017 zu Pengutronix gewechselt. Dort beschäftigt er sich seit dem mit der Entwicklung von Produkten aus dem Embedded Linux Umfeld.

Mit seinem Team entwickelt er unter anderem Geräte, die das Testen von Embedded Linux auf Serienhardware vereinfachen. Chris arbeitet seit vielen Jahren begeistert, sowohl beruflich und ehrenamtlich, an Open Source Projekten und ist von den Vorteilen dieser in beiden Kontexten überzeugt.

Entwicklungsbegleitendes Testen – Wunsch und Wirklichkeit

Bei Embedded Projekten ist das schnelle Ausprobieren und frühzeitige Testen durch die Abhängigkeit von physischer Hardware oft eine große Herausforderung. In agilen Projekten ist dieser entwicklungsbegleitende Ansatz besonders wichtig – denn nur so können Inkremente auch mit einer belastbaren Qualität herausgegeben werden.

Zum Einstieg wird anhand eines persönlichen Erfahrungsberichts aus der agilen Entwicklung eines Brandmelde -und Löschsystems eine typische Herangehensweise verdeutlicht:
– Was konnte getan werden, um dem Wunsch nach zeitnahem Testen zu entsprechen?
– Wo blieben Probleme und Nadelöhre?

Danach geht es in die Diskussion und den Austausch mit den Teilnehmern.
Erläutern Sie Ihre konkreten Problembestellungen – gemeinsam versuchen wir Ideen und Lösungen dafür zu entwickeln.

Referent: Daniel Penning

Daniel Penning studierte Elektrotechnik und arbeitete in Embedded Projekten in der Industrie- und Sicherheitstechnik.
Seine Begeisterung für qualitativ hochwertige Embedded-Entwicklung versucht er regelmäßig auf Konferenzen weiterzugeben.
Als Geschäftsführer bei embeff unterstützt er Kunden mit innovativen Lösungen zur entwicklungsbegleitenden Testautomatisierung.

Mit Justifications zu 100% Coverage

Code Coverage soll zeigen, dass der Quellcode eines Softwareprodukts durch Tests abgedeckt ist. Tool-Anbieter und Tester unternehmen große Anstrengungen, um der 100% Abdeckung möglichst nahe zu kommen. Dabei wird es immer Fälle geben, für die eine vollständige Testabdeckung nicht erreicht werden kann. Solche Fälle werden im Vortrag exemplarisch vorgestellt. Diese „Fehlstellen“ müssen in einem zweiten Arbeitsschritt erklärt werden.

Wichtige Anforderungen an Rechtfertigungen für fehlende Coverage sind: Ihre nachvollziehbare Dokumentation, ihre Wiederverwendbarkeit und eine effektive Ermittlung ihres Einflusses auf die Coverage – letzteres ist wichtig, um ein Kriterium an der Hand zu haben, wann alles getestet oder gerechtfertigt ist.

In diesem Vortrag diskutieren wir diese Anforderungen und stellen die Möglichkeiten vor, diese Prozessschritte toolbasiert zu unterstützen.

Referent: Michael Winterer

Aktuell:
– Software-Entwickler bei Verifysoft GmbH für das Software Tool Testwell CTC++
Zuvor:
– R&D Engineer bei Dassault Systemes GmbH (Bereich Computer Aided Engineering)
– CAE Engineer (dynamische FE-Analysen)
– Studium Maschinenbau an der HS Offenburg und HS Karlsruhe (Master, Bachelor)

Einführung zur ISO/IEC/IEEE 29119 oder warum gibt es einen Standard „Software Testing“

Jeder veröffentlichte Standard spiegelt den Stand der Technik in seinem vorgesehenen Anwendungsbereich wider. Daher wird es nicht überraschen, dass es auch für Softwaretests einen Standard gibt. In diesem Beitrag wird die entsprechende Standardreihe ISO/IEC/IEEE 29119 vorgestellt.
Diese befasst mit den verschiedenen Aspekten von Softwaretests, wie Testprozesse, -dokumentation und -techniken. Dadurch wird eine international anerkannte Methodik für Softwaretests definiert.
Dieser Beitrag zeigt auch inwiefern sich diese Methodik in anderen Standards, z.B. zur Funktionalen Sicherheit oder SPICE, wiederfindet.

Referentin: Gudrun Neumann

Gudrun Neumann studierte Informatik an der Technischen Universität München und schloss das Studium als Diplom-Informatikerin Univ. im Jahr 1990 ab.
Seit dem Jahr 2005 befasst sich Frau Neumann mit der Funktionalen Sicherheit von sicherheitsrelevanten Steuerungen mit Schwerpunkt Software in den Bereichen Automotive, Maschine, Industrie, Haushalt und Medizingeräte.

Seit 2010 ist sie Produkt Managerin der Funktionalen Sicherheit Software bei der SGS-TÜV Saar GmbH und seit 2012 Teamleiterin Funktionale Sicherheit. In diesem Rahmen ist sie für die Norm konforme Definition und Durchführung von Analysen und Beurteilungen komplexer Software Systeme verantwortlich.

Entwicklungsbegleitendes Testen – Wunsch und Wirklichkeit

Bei Embedded Projekten ist das schnelle Ausprobieren und frühzeitige Testen durch die Abhängigkeit von physischer Hardware oft eine große Herausforderung. In agilen Projekten ist dieser entwicklungsbegleitende Ansatz besonders wichtig – denn nur so können Inkremente auch mit einer belastbaren Qualität herausgegeben werden.

Zum Einstieg wird anhand eines persönlichen Erfahrungsberichts aus der agilen Entwicklung eines Brandmelde -und Löschsystems eine typische Herangehensweise verdeutlicht:
– Was konnte getan werden, um dem Wunsch nach zeitnahem Testen zu entsprechen?
– Wo blieben Probleme und Nadelöhre?

Danach geht es in die Diskussion und den Austausch mit den Teilnehmern.
Erläutern Sie Ihre konkreten Problembestellungen – gemeinsam versuchen wir Ideen und Lösungen dafür zu entwickeln.

Referent: Daniel Penning

Daniel Penning studierte Elektrotechnik und arbeitete in Embedded Projekten in der Industrie- und Sicherheitstechnik.
Seine Begeisterung für qualitativ hochwertige Embedded-Entwicklung versucht er regelmäßig auf Konferenzen weiterzugeben.
Als Geschäftsführer bei embeff unterstützt er Kunden mit innovativen Lösungen zur entwicklungsbegleitenden Testautomatisierung.

Sensorsimulation als wichtiger Bestandteil des HIL-Tests

Das beste Steuergerät kann nur dann sinnvoll arbeiten, wenn es ausreichend mit Daten versorgt wird. Das ist bei den derzeit ansteigenden Datenmengen nicht so leicht zu bewerkstelligen. Dies gilt insbesondere dann, wenn z.B. die Daten nicht über ein standardisiertes Bussystem zugeführt werden, sondern vom Steuergerät durch Sensoren selbst erhoben werden. Kommt dann noch die Tatsache hinzu, dass beim Hardware-in-the-Loop (HIL)-Test genau hier die Grenzen des zu testenden Objekts liegen, wird es interessant. Eine steigende Anzahl von Protokollen und Schnittstellen tut ihr Übriges dazu. Abhilfe schafft hier der Einsatz geeigneter Sensorsimulationen. Über eine Sensorsimulationsbox wird der passende Sensor für das Steuergerät virtualisiert. Dieser Ersatz bietet sogar Vorteile gegenüber der Verwendung des Originalteils. Durch Fehlerinjektion können Zustände geprüft werden, die man in der Realität nicht erreichen kann, z.B. weil sie technisch nicht möglich oder zu teuer in der Durchführung sind. Auch Prüfungen, die für den Tester zu gefährlich sind, spielen eine Rolle. Dies ist, um ein Beispiel aus dem Automotive-Umfeld zu nennen, z.B. das Abtrennen eines ABS-Sensors im Fahrwerksteuergerät bei hoher Geschwindigkeit. Ein Manöver, das so für den Fahrer nicht durchführbar ist. Durch geschickte Anbindung an ein flexibles Testsystem mit aktiver Middleware ist die Bedatung der Sensorsimulationsbox in Echtzeit möglich.

Referenten: Manfred Felkl

Manfred Felkl war nach Abschluss seines Informatik-Studiums an der Ohm-Hochschule Nürnberg im Bereich Softwareentwicklung in der Medizintechnik tätig. Im Jahr 2007 wechselte er in den Testbereich zur Firma iSyst Intelligente Systeme GmbH. Dort baute er als Abteilungsleiter den Bereich Modultest auf, bevor er die Position des Senior Expert Software Development übernahm.

The Good, the Bad, and the Bug: Agile Testautomatisierung und ihr Scheitern

Auf der staubigen Straße der Software-Entwicklung spielen die echten Helden oft im Verborgenen. Dabei hat mancher, der das Handwerkszeug der Testautomatisierung beherrscht, das Zeug zum Westernhelden. Mit einem Faktor von 20 schneller als manuell ablaufende Tests, sind automatisierte Tests das zuverlässige Sheriffs, die jederzeit, alleine und unbeaufsichtigt, für Ordnung sorgen. Sie sind essentiell – gerade in agilen Teams. Doch warum trifft das oft auf taube Ohren und warum scheitert Testautomatisierung so häufig? Dieser Vortrag richtet den Fokus auf die Grundursachen, nicht nur die sichtbaren Symptome. Wir nehmen uns die Zeit, einen Schritt zurückzutreten und jede Ebene der Automatisierung kritisch zu beleuchten. Erst recht, wenn man erkennt, dass Testautomatisierung weit mehr ist als skriptgesteuertes Ausführen von Tests. Wir werfen auch einen kritischen Blick auf die Bestandteile der Automatisierung und stellen klar: Testskripte sind nicht mehr aber auch nicht weniger als das Abfallprodukt vorheriger Arbeiten. Wirklich entscheidend sind methodische Ansätze, die von agilen Regressionstests, über Test-Gap-Analysen bis hin zu Testgetriebenen Entwicklungsmethoden reichen. Am Ende dieses knallharten Western-Abenteuers bleibt nur eins wichtig: das Vertrauen in die Qualität unseres Produkts. Sind Sie bereit, sich uns anzuschließen? Strap on your boots, wir erkunden die Frontiers der Testautomatisierung Zusammen!

Referent: Georg Haupt

Als Quality Evangelist lautet mein Motto: „Aus der Praxis für die Praxis!“ Denn als Test- und Qualitäts-Management-Experte blicke ich auf 20 Jahre praktische Erfahrung für sowohl agile als auch klassische Soft- und Hardwaretests zurück. Weitere Schwerpunkte sind für mich: Test-Automatisierung, Test-Analyse sowie Security-Tests. Hierbei liegt mir besonders teamübergreifende und agile Qualitätssicherung am Herzen.

Ich lege hohen Wert auf eine ausgewogene Mischung aus manuellen, explorativen und automatisierten Tests. Das Entwickeln und Etablieren von Testmethoden und Prozessen ist für mich langjährige Praxis. Darüber hinaus biete ich Ihnen praktische Erfahrung in der Einführung von teamübergreifenden Test- und Testmanagementwerkzeugen und Prozessen.

Privat bin ich ein experimentell verspielter Smart Home-Technikfreak. Und dazu seit über 25 Jahren als DJ, Webradiomoderator und Cineast unterwegs. Aber nichts ist schöner als ein anständiger Wein mit der Familie, entweder bei einem guten Film im Heimkino oder beim Brettspiel.

Verlässliche Systeme durch Künstliche Intelligenz: Innovative Ansätze im Testprozess

In einer zunehmend digitalisierten Welt sind verlässliche Softwaresysteme unerlässlich. Der Einsatz von Künstlicher Intelligenz (KI) beim Testen bietet vielversprechende Ansätze zur Verbesserung der Zuverlässigkeit. In diesem Vortrag wird die Rolle von KI in verschiedenen Phasen des Testprozesses beleuchtet, angefangen bei automatisierten Unittests bis hin zur Anomalie-Erkennung in Echtzeit.

KI-gestützte Penetrationstests und intelligente Vulnerability-Management-Systeme adressieren die immer mehr in den Fokus zu rückende Thematik Security. Innovative Techniken im Testprozess helfen dabei, Schwachstellen effizient zu identifizieren und zu priorisieren. Die Bedeutung der Zusammenarbeit zwischen KI und menschlichen Testern, um die Stärken beider Seiten zu nutzen, wird im Vortrag angesprochen, ebenso wie praxisnahe Beispiele die zeigen, wie KI dazu beiträgt, Test- und Sicherheitsstrategien zu optimieren und somit verlässlichere und robustere Systeme zu entwickeln.

Dieser Vortrag richtet sich an Entwickler, Sicherheitsbeauftragte und Entscheidungsträger, die die Potenziale von KI im Bereich der Softwaretests verstehen und nutzen möchten, auch unter dem Aspekt, den wachsenden Bedrohungen im Cyberraum proaktiv zu begegnen.

Referent: Frank Poignée

Nach dem Informatikstudium an der FH Würzburg erste Erfahrung gesammelt in der Entwicklung von Hard- und Software für Automatisierungssysteme. Digitale Kommunikationssysteme in der Schwerindustrie waren der nächste Schritt, bevor das Thema funktionale Sicherheit den Schwerpunkt bei der Entwicklung von Software-Systemen eingenommen hat. Dabei war immer etwas mehr als nur ein Augenmerk auf innovative Entwicklungen gerichtet, wie z. B. Künstliche Intelligenz, die aktuell eine sehr prominente Stellung in der Entwicklung nicht nur von Software eingenommen hat.

Vom „Digitalen Zwilling“ Buzzwording zum realistischen Lösungsansatz!

Aktuell kursieren zahlreiche neue Buzzwords wie „Digital Twin“, „Lifecycle Twin“ und „Virtual Validation“ im Netz. Das allein zeigt, dass meist noch unklar ist, wie virtuelle Technologien und Testmethoden sinnvoll kombiniert und effizient eingesetzt werden können. Der Vortrag gibt einen Überblick darüber, welche Test- und Simulationsstrategien geeignet sind und wie sie nahtlos ineinandergreifen. Auf dieser Grundlage wird dann gezeigt, wie diese Methoden bereits heute in der Entwicklung und Inbetriebnahme von Maschinen und Produktionsanlagen sehr erfolgreich genutzt werden können.

Referent: Robert Schachner

Robert Schachner beschäftigt sich seit fast 30 Jahren mit dem Thema Echtzeitkommunikation, Middleware Technologien und Qualitätssicherung durch Test und Simulation im industriellen Umfeld. In mehr als 300 Projekten konnte Herr Schachner die Vorteile Middleware basierter Technologien gegenüber klassischen Architekturen nachweisen.
Die Mitarbeit an der Richtlinie VDI/VDE 2657 – Middleware in der Automatisierungstechnik und vor allem die Lehrtätigkeit an der Hochschule Rosenheim im Bereich Informatik haben darüber hinaus auch das theoretische Verständnis für industrielle Technologien weiter vertieft. Herr Schachner war die meiste Zeit selbstständig tätig und ist seit 2020 CTO der embedded ocean GmbH. Ihr Schwerpunkt ist dabei die Entwicklung der nächsten Generation Echtzeit-Middleware in der Steuerungssysteme mit IoT, Test- und Simulation modular auf einer Plattform vereint sind.

Wirtschaftlichkeit oder Digitalisierung? Die unbequeme Wahrheit über Testautomatisierung bei Legacy-Produkten

Budgetbeschränkungen in der Produktentwicklung führen häufig dazu, dass die Qualitätssicherung insbesondere bei Legacy-Produkten größtenteils manuell erfolgt. Dies betrifft vor allem die Weiterentwicklung und Modernisierung von Medizintechnikprodukten, deren Lebensdauer verlängert werden soll, bevor sie durch neue Gerätegenerationen ersetzt werden. Hauptgründe für die Modernisierung bereits auf dem Markt befindlicher Produkte sind die Erfüllung regulatorischer Vorgaben, die Obsoleszenz von Hardware-Komponenten und die Einführung moderner Funktionen, die häufig in Form neuer Software-Funktionalitäten realisiert werden.

Dabei stellt die Einhaltung strenger regulatorischer Anforderungen eine zentrale Herausforderung dar, die umfassende Tests auf verschiedenen Ebenen notwendig macht. Integrationstests und Systemtests spielen hierbei eine entscheidende Rolle, um die Zulassung und die hohe Produktqualität zu gewährleisten. Doch obwohl Testautomatisierung das Potenzial hätte, Effizienz und Qualität erheblich zu steigern, sind Unternehmen häufig gezwungen, aufgrund knapper Budgets und mangelnder Erfahrung manuelle Tests vorzuziehen.

In unserem Vortrag möchten wir zeigen, wie sich die Testing-Aktivitäten auf der Integrationstest- und Systemtestebene bei der Weiterentwicklung eines IVDR-konformen Medizinprodukts gestalten unter Verwendung agiler Arbeitsmethoden. Dabei beleuchten wir die Vorteile und Herausforderungen einer vollständigen Testautomatisierung, die in der Praxis jedoch oft an wirtschaftliche Grenzen stößt.

Referenten:

Teodor Grünberg-Vasile Senior Consultant – Software Test Manager

8 Jahre IT-Projekterfahrung in verschiedenen Rollen. In den letzten Jahren tätig als Product Owner und Test Manager für eingebettete Systeme im regulierten Umfeld, mit starkem Fokus auf Systemintegration sowie die Entwicklung neuer Medizinprodukte und die Modernisierung von Legacy-Produkten.

Daniel Müller Senior Consultant – Software Test Engineer

6 Jahre IT-Projekterfahrung in den Bereichen Automotive und Medizintechnik. Systemtestingenieur und Spezialist für Systemintegration sowie Verifikations- und Validierungsprozesse medizinischer Produkte.

Spiel: Das Rennen gegen Fehler – Der Weg zur Effizienz

Stellen Sie sich vor, Ihre Softwareentwicklung sei ein Brettspiel
Sie sind auf einer spannenden Expedition durch die komplexen Pfade der Softwareentwicklung. „Das Rennen gegen Fehler“ ist kein gewöhnliches Brettspiel, es ist eine bezaubernde Reise, die Sie durch die unergründlichen Tiefen von Fehlern und ihrer Psychologie führt. Ihr Ziel? Fehler frühzeitig aufspüren und vermeiden, während Sie kostbare Zeit und Ressourcen sparen!

Ziehen Sie eine ‚Psychologie der Fehler‘-Karte und tauchen Sie ein in die verborgenen Ecken des menschlichen Verstandes, ergründen Sie die Wurzeln von Fehlern und lernen Sie, wie Sie diese in ihren Anfängen ausmerzen können.

Ziehen Sie eine ‚Zeitersparnis‘-Karte und entdecken Sie, wie das frühzeitige Aufdecken von Fehlern Ihnen hilft, wertvollste Zeit zu sparen und die Effizienz Ihres Teams zu erhöhen.

Aber Achtung! Ziehen Sie eine ’späte Fehlerentdeckung‘-Karte, müssen Sie mit den hohen Kosten rechnen, die durch aufgeschobene Probleme anfallen.

In „Das Rennen gegen Fehler“ geht es nicht nur um Spaß, sondern auch darum, die ISO-Norm für eine frühe Fehleraufdeckung zu folgen. Ziehen Sie eine ‚ISO-Norm‘-Karte, und erlernen Sie die besten Praktiken zum frühzeitigen Aufdecken von Fehlern.

Ziel des Spiels ist es, mit dem geringsten finanziellen Aufwand und in der kürzesten Zeit die Ziellinie zu erreichen, ohne Fehler auf dem Weg zu übersehen. Eine perfekte Balance zwischen Spaß und Lernen, bei der die Spieler die Nützlichkeit des frühzeitigen Testens und die Wichtigkeit der Fehlervermeidung verstehen und anwenden lernen.

Spielleiter: Georg Haupt

Als Quality Evangelist lautet mein Motto: „Aus der Praxis für die Praxis!“ Denn als Test- und Qualitäts-Management-Experte blicke ich auf 20 Jahre praktische Erfahrung für sowohl agile als auch klassische Soft- und Hardwaretests zurück. Weitere Schwerpunkte sind für mich: Test-Automatisierung, Test-Analyse sowie Security-Tests. Hierbei liegt mir besonders teamübergreifende und agile Qualitätssicherung am Herzen.

Ich lege hohen Wert auf eine ausgewogene Mischung aus manuellen, explorativen und automatisierten Tests. Das Entwickeln und Etablieren von Testmethoden und Prozessen ist für mich langjährige Praxis. Darüber hinaus biete ich Ihnen praktische Erfahrung in der Einführung von teamübergreifenden Test- und Testmanagementwerkzeugen und Prozessen.

Privat bin ich ein experimentell verspielter Smart Home-Technikfreak. Und dazu seit über 25 Jahren als DJ, Webradiomoderator und Cineast unterwegs. Aber nichts ist schöner als ein anständiger Wein mit der Familie, entweder bei einem guten Film im Heimkino oder beim Brettspiel.