Quality Assurance of Machine Learning Applications

Heute werden ML-Engineering und -Entwicklung in fast jeder Organisation in unterschiedlichem Umfang durchgeführt und eingesetzt - in einer sehr analogen Weise, wie es die allgemeine Software-Entwicklung über die Jahre hinweg getan hat. ML-Software hat jedoch eindeutige Merkmale, die sie von der traditionellen Unternehmenssoftwareentwicklung erheblich unterscheiden:
a) Modelle basieren auf historischen Daten, während sich die Daten selbst ständig ändern.
b) Die Datenqualität wird oft als selbstverständlich angesehen, ohne dass sie angemessen getestet und validiert wird.
c) Leistungszusammenfassungen (Genauigkeit, Präzision, F1-Ergebnis) für bestimmte Testdatensätze bieten keine Gewähr für die Verallgemeinerungsleistung bei Daten aus der realen Welt.
d) Die Integrationsbemühungen werden in der Regel unterschätzt und oft als bloßes Einfügen von Modellen in nachgelagerte Prozesse mit dem Ergebnis aufgeblasener oder fehlgeschlagener Integrationen handwerklich gehandhabt.
e) Ständige Weiterentwicklung von Werkzeugen und Techniken im ML-Ökosystem, die ein fortwährendes Phänomen einer Vielzahl beweglicher Teile schaffen.

Ziel des Verbundes ist es, KMU bei dem speziellen ML-Softwareentwicklungs-Lebenszyklus (ML-SDLC) und den dabei wichtigen Qualitätsindikatoren zu unterstützen. 5 KMU arbeiten mit 3 HAW zusammen, um passende Instrumente zur Bewertung der Daten-Qualität bezüglich repräsentativer Abdeckung des Merkmalsraums sowie zur Bewertung der im Lernprozess erreichten Qualität des erlernten KI-Modells zu erarbeiten. Dies sichert das Produktrisiko des Herstellers KI-basierter Produkte ab und gewährleistet dem Kunden eine quantifizierte Leistung der Produkte hinsichtlich der Entscheidungen der KI.

Projektpartner:

Hochschule Offenburg, Hochschule Karlsruhe
Competion IT GmbH, Inferics GmbH, C.R.S. iiMotion GmbH, tepcon GmbH, schrempp edv GmbH

Förderung:

MINISTERIUM FÜR WISSENSCHAFT, FORSCHUNG UND KUNST Baden-Württemberg

Ansprechpartner