ML-Modelle testen: Daten, Bias und Qualitätsmerkmale

Ein Machine-Learning-Modell zu testen bedeutet, drei Dinge zu prüfen, die klassisches Softwaretesten ignoriert: die Qualität der Daten, aus denen das Modell gelernt hat, ob es Bias übernommen hat und wie es sich gegenüber KI-spezifischen Qualitätsmerkmalen wie Robustheit und Erklärbarkeit verhält. Da ein ML-Modell sein Verhalten aus Daten und nicht aus handgeschriebenen Regeln ableitet, lassen sich die meisten Modellfehler auf die Daten zurückführen, nicht auf den Code.

Warum ist das Testen eines ML-Modells anders?

Bei klassischer Software wird die Logik von Entwicklern geschrieben, man testet den Code gegen eine Spezifikation. Ein ML-Modell hat keine explizite Regel für jede Ausgabe — es erkennt Muster aus Beispielen. Es gibt keine einzelne korrekte Antwort, das Verhalten ist probabilistisch und dasselbe Modell kann sich verschlechtern, wenn sich reale Daten verschieben. Das Testen verschiebt sich von entspricht der Code der Spezifikation hin zu ist das Modell auf ungesehenen Daten gut, fair und zuverlässig genug. Begriffe wie Robustheit und Drift folgen dem ISTQB-Glossar.

Beginnen Sie mit der Datenqualität

Die Datenqualität bestimmt die Modellqualität: Garbage in, garbage out gilt doppelt, denn schlechte Daten erzeugen nicht nur schlechte Ausgaben, sondern bringen dem Modell auch schlechte Muster bei. Bevor Sie ein Modell beurteilen, testen Sie den Datensatz entlang dieser Dimensionen:

• Korrektheit — spiegeln die Werte die Realität wider, mit korrekten Labels und ohne beschädigte Datensätze?

• Vollständigkeit — gibt es fehlende Werte oder unterrepräsentierte Gruppen?

• Konsistenz — gleiches Format und gleiche Bedeutung über Quellen hinweg (Einheiten, Kodierungen, Datumsformate)?

• Eindeutigkeit — Duplikate, die das Modell Datensätze auswendig lernen lassen oder die Klassenbalance verzerren?

• Aktualität — sind die Daten aktuell genug, um das heutige Problem abzubilden?

• Relevanz — hängen die Merkmale wirklich mit dem zusammen, was vorhergesagt wird?

Daten aufteilen: Trainings-, Validierungs- und Testdaten

Ein ML-Datensatz wird in ein Trainingsset (das Modell lernt daraus), ein Validierungsset (zur Abstimmung der Hyperparameter) und ein Testset (zurückgehalten zur Schätzung der realen Performance) aufgeteilt. Die goldene Regel: Das Testset muss während des Trainings ungesehen bleiben. Gelangen Test- oder Validierungsinformationen ins Training — ein Fehler namens Data Leakage —, sehen die Metriken im Labor hervorragend aus und brechen in der Produktion ein. Ein typischer Split liegt bei etwa 60/20/20 oder 80/10/10, entscheidend ist aber, dass das Testset repräsentativ und isoliert ist.

Bias erkennen und testen

Bias bedeutet, dass das Modell bestimmte Gruppen oder Ergebnisse systematisch bevorzugt oder benachteiligt. Er gelangt meist über die Daten hinein. Achten Sie auf:

• Sample- bzw. Selection-Bias — die Trainingsdaten repräsentieren nicht die reale Population, z. B. nur Tageslichtfotos.

• Label-Bias — historische menschliche Labels kodieren frühere Vorurteile, die das Modell reproduziert.

• Algorithmischer Bias — Merkmals- oder Optimierungsentscheidungen verstärken ein kleines Ungleichgewicht in den Daten.

• Klassen-Ungleichgewicht — eine Klasse dominiert, sodass ein triviales Modell hohe Accuracy erzielt und die seltene Klasse verfehlt.

Testen Sie auf Bias, indem Sie Metriken pro Untergruppe bewerten, nicht nur insgesamt. Ein Modell mit 94% Gesamt-Accuracy kann für eine Minderheitengruppe weit schlechter sein — das Accuracy-Paradox. Unser Leitfaden zu Precision, Recall und F1 für Tester erklärt, warum ein einzelner Accuracy-Wert diese Fehler verbirgt.

KI-spezifische Qualitätsmerkmale

Der ISTQB-CT-AI-Lehrplan erweitert die klassischen Qualitätsmerkmale um solche, die nur für KI-Systeme relevant sind. Planen Sie beim Testen eines Modells Abdeckung für:

• Robustheit und Anpassungsfähigkeit — hält die Performance bei verrauschten, adversariellen oder leicht verschobenen Eingaben stand?

• Autonomie und Selbstlernen — bleibt ein weiterlernendes Modell innerhalb sicherer Grenzen?

• Erklärbarkeit, Interpretierbarkeit und Transparenz — können Stakeholder nachvollziehen, warum eine Entscheidung getroffen wurde?

• Fairness und Bias-Freiheit — sind die Ergebnisse über Gruppen hinweg gerecht?

• Sicherheit und Nebenwirkungen — vermeidet das Modell schädliches oder unbeabsichtigtes Verhalten bei der Optimierung seines Ziels?

Techniken zum Testen von ML-Modellen

Da man selten ein exaktes erwartetes Ergebnis hat, stützt sich das ML-Testen auf Techniken, die Beziehungen statt einzelner Antworten prüfen:

• Metamorphes Testen — eine Transformation anwenden, die das Ergebnis nicht ändern sollte (Bild drehen, Satz umformulieren), und prüfen, ob die Ausgabe konsistent bleibt.

• Back-to-back-Testen — das neue Modell mit einer Vorgängerversion oder einem Referenzmodell auf denselben Eingaben vergleichen.

• A/B-Tests und Canary-Releases — einen kleinen Teil des Live-Traffics auf das neue Modell leiten und die Ergebnisse vor dem vollen Rollout vergleichen.

• Adversariales Testen — gezielt Eingaben erzeugen, die das Modell täuschen sollen, um die Robustheit zu prüfen.

• Performance-Metriken — Precision, Recall, F1 und die Konfusionsmatrix auf dem zurückgehaltenen Testset messen.

Häufige ML-Fehler, auf die man achten sollte

Zwei Fehlerarten dominieren. Overfitting: Das Modell lernt die Trainingsdaten auswendig — etwa 99% Trainings-Accuracy — schneidet aber auf dem Testset weit schlechter ab, etwa 72%; es hat Rauschen gelernt, nicht das Muster. Drift: Die Welt ändert sich nach dem Deployment, sodass Concept Drift (die Beziehung zwischen Eingaben und Ausgaben verschiebt sich) oder Data Drift (die Eingabeverteilung verschiebt sich) die Accuracy leise untergräbt. Overfitting fängt man vor dem Release mit einem sauberen Testset ab; Drift nach dem Release durch kontinuierliches Monitoring.

Das Testen von ML-Modellen ist der Punkt, an dem KI-Testen konkret wird, und ein Kernbestandteil der ISTQB-CT-AI-Zertifizierung. Um Fragen zu Datenqualität, Bias und Metriken unter Prüfungsbedingungen zu üben, probieren Sie den ExamCaliber CT-AI Mock-Test.