Q-AMeLiA

Quality Assurance of Machine Learning Applications

Heute werden ML-Engineering und -Entwicklung in fast jeder Organisation in unterschiedlichem Umfang durchgeführt und eingesetzt - in einer sehr analogen Weise, wie es die allgemeine Software-Entwicklung über die Jahre hinweg getan hat. ML-Software hat jedoch eindeutige Merkmale, die sie von der traditionellen Unternehmenssoftwareentwicklung erheblich unterscheiden:

• Modelle basieren auf historischen Daten, während sich die Daten selbst ständig ändern.
• Die Datenqualität wird oft als selbstverständlich angesehen, ohne dass sie angemessen getestet und validiert wird.
• Leistungszusammenfassungen (Genauigkeit, Präzision, F1-Ergebnis) für bestimmte Testdatensätze bieten keine Gewähr für die Verallgemeinerungsleistung bei Daten aus der realen Welt.
• Die Integrationsbemühungen werden in der Regel unterschätzt und oft als bloßes Einfügen von Modellen in nachgelagerte Prozesse mit dem Ergebnis aufgeblasener oder fehlgeschlagener Integrationen handwerklich gehandhabt.
• Ständige Weiterentwicklung von Werkzeugen und Techniken im ML-Ökosystem, die ein fortwährendes Phänomen einer Vielzahl beweglicher Teile schaffen.

Ziel des Verbundes ist es, KMU bei dem speziellen ML-Softwareentwicklungs-Lebenszyklus (ML-SDLC) und den dabei wichtigen Qualitätsindikatoren zu unterstützen. Fünf KMU arbeiten mit drei HAW zusammen, um passende Instrumente zur Bewertung der Daten-Qualität bezüglich repräsentativer Abdeckung des Merkmalsraums sowie zur Bewertung der im Lernprozess erreichten Qualität des erlernten KI-Modells zu erarbeiten. Dies sichert das Produktrisiko des Herstellers KI-basierter Produkte ab und gewährleistet dem Kunden eine quantifizierte Leistung der Produkte hinsichtlich der Entscheidungen der KI.