Precision, Recall und F1 für Tester: Worauf es wirklich ankommt

Precision, Recall und F1 sind die drei Metriken, mit denen ein Tester beurteilt, ob ein Klassifikationsmodell wirklich gut ist — nicht nur numerisch beeindruckend. Precision misst, wie viele der positiven Vorhersagen des Modells korrekt waren. Recall misst, wie viele der tatsächlich positiven Fälle das Modell gefunden hat. F1 fasst beide zu einem ausgewogenen Wert zusammen. Wer KI-Systeme testet, erfährt aus diesen drei Zahlen weit mehr als aus einer einzelnen Accuracy-Angabe.

Das ist eines der am häufigsten geprüften Themen der ISTQB CT-AI (Certified Tester AI Testing)-Zertifizierung und eine der praktischsten Fähigkeiten beim Testen von Machine-Learning-Funktionen. Dieser Leitfaden erklärt jede Metrik aus Testersicht, mit einem nachvollziehbaren Rechenbeispiel.

Was ist eine Konfusionsmatrix?

Eine Konfusionsmatrix ist eine kleine Tabelle, die für ein Klassifikationsproblem die Vorhersage des Modells mit dem tatsächlichen Ergebnis vergleicht. Jede Vorhersage fällt in eine von vier Zellen:

• True Positive (TP) — positiv vorhergesagt und wirklich positiv.

• False Positive (FP) — positiv vorhergesagt, aber tatsächlich negativ (Fehlalarm, Typ-I-Fehler).

• False Negative (FN) — negativ vorhergesagt, aber tatsächlich positiv (übersehener Fall, Typ-II-Fehler).

• True Negative (TN) — negativ vorhergesagt und wirklich negativ.

Jede folgende Metrik ist nur ein anderes Verhältnis dieser vier Zahlen. Wer die vier Zellen versteht, muss die Formeln nicht auswendig lernen.

Was ist Precision?

Precision beantwortet: Wenn das Modell "positiv" sagt, wie oft stimmt das? Die Formel lautet Precision = TP / (TP + FP). Niedrige Precision bedeutet viele Fehlalarme. Precision zählt am meisten, wenn das Reagieren auf einen False Positive teuer oder störend ist — etwa ein Spam-Filter, der echte Rechnungen aussortiert, oder ein Fehlerklassifikator, der Entwickler mit Fehlwarnungen überflutet, bis sie ihm nicht mehr vertrauen.

Was ist Recall?

Recall beantwortet: Von allen wirklich positiven Fällen, wie viele hat das Modell erkannt? Die Formel lautet Recall = TP / (TP + FN). Niedriger Recall bedeutet, dass echte Fälle übersehen werden. Recall zählt am meisten, wenn ein übersehener Fall gefährlich oder kostspielig ist — Krankheitsscreening, Betrugserkennung oder sicherheitskritische Fehlererkennung, wo ein durchgerutschter echter Fall weit schlimmer ist als ein Fehlalarm.

Precision vs. Recall: der Zielkonflikt

Precision und Recall ziehen meist gegeneinander. Senkt man die Entscheidungsschwelle, sodass das Modell schneller "positiv" sagt, findet man mehr echte Fälle (Recall steigt), erzeugt aber auch mehr Fehlalarme (Precision sinkt). Erhöht man die Schwelle, verbessert sich Precision, während Recall fällt. Es gibt keine einzig "richtige" Balance — es ist eine Geschäftsentscheidung nach den Kosten eines Fehlalarms gegenüber denen eines übersehenen Falls. Als Tester machen Sie diesen Kompromiss explizit und testbar, statt einer einzelnen Zahl hinterherzujagen.

Was ist der F1-Score?

F1 fasst Precision und Recall zu einer Zahl zusammen, damit Modelle leichter vergleichbar sind. Die Formel lautet F1 = 2 x (Precision x Recall) / (Precision + Recall). Es ist das harmonische Mittel, nicht der einfache Durchschnitt, weshalb F1 niedrig bleibt, sobald eine der beiden Metriken niedrig ist. Ein Modell mit 95% Precision, aber 10% Recall erhält keine bequemen 52% — sein F1 liegt bei etwa 18%. Genau darum ist F1 bei unausgewogenen Daten nützlich: Es belohnt kein Modell, das die eine Hälfte der Aufgabe gut und die andere schlecht erledigt.

Ein Rechenbeispiel

Angenommen, ein Fehlervorhersagemodell prüft 1.000 Codeänderungen. Es markiert 100 als fehlerhaft; 80 davon waren wirklich fehlerhaft (TP) und 20 sauber (FP). Es ließ 900 Änderungen durch, aber 40 davon enthielten tatsächlich Fehler (FN); die übrigen 860 waren wirklich sauber (TN). Dann gilt:

• Precision = 80 / (80 + 20) = 0,80 (80%).

• Recall = 80 / (80 + 40) = 0,667 (etwa 67%).

• F1 = 2 x (0,80 x 0,667) / (0,80 + 0,667) = 0,727 (etwa 73%).

• Accuracy = (80 + 860) / 1.000 = 0,94 (94%).

Die Schlagzeile von 94% Accuracy sieht hervorragend aus. Aber der Recall liegt nur bei 67% — das Modell übersieht still jeden dritten Fehler. Ob das akzeptabel ist, hängt allein davon ab, was ein übersehener Fehler kostet. Diese Lücke ist der ganze Grund, warum Tester Precision und Recall berichten, nicht nur Accuracy.

Warum Accuracy täuschen kann: das Accuracy-Paradoxon

Bei unausgewogenen Datensätzen wird Accuracy aktiv irreführend. Stellen Sie sich einen Betrugsdetektor vor, bei dem nur 1% der Transaktionen betrügerisch sind. Ein träges Modell, das jedes Mal "kein Betrug" vorhersagt, erreicht 99% Accuracy — und findet null Betrugsfälle. Sein Recall ist 0% und sein F1 ist 0%. Das ist das Accuracy-Paradoxon, und deshalb sollte ein Tester immer nach der Klassenverteilung fragen, bevor er einer Accuracy-Zahl traut. Bei unausgewogenen Klassen sagen Precision, Recall und F1 die Wahrheit.

Was Tester tatsächlich tun müssen

Einen ML-Klassifikator zu testen bedeutet nicht, diese Formeln auswendig wiederzugeben — es bedeutet, die richtigen Fragen zu stellen. Klären Sie, welche Klasse als "positiv" gilt und warum. Prüfen Sie, ob der Datensatz ausgewogen ist. Bestimmen Sie, welcher Fehler für dieses Produkt schlimmer ist, ein False Positive oder ein False Negative, und bestätigen Sie, dass die berichtete Metrik diese Priorität widerspiegelt. Bestehen Sie auf einer Baseline, damit eine Zahl Bedeutung hat. Und achten Sie auf eine verdächtig hohe Accuracy neben niedrigem Recall — diese Kombination ist ein klassisches Zeichen für ein Modell, das auf einer Folie gut aussieht und in Produktion versagt.

Diese Metriken sind Teil des größeren ML-Testbildes, das unser ISTQB CT-AI Zertifizierungsleitfaden behandelt; der CT-AI-v2.0-Lehrplan hat ihre Einordnung neu strukturiert — siehe was sich im Lehrplan 2026 geändert hat. Um das Berechnen von Precision und Recall aus einer Konfusionsmatrix unter Prüfungsbedingungen zu üben, nutzen Sie die CT-AI Mock-Prüfungen, bei denen jede Antwort eine vollständige Begründung trägt. Definitionen folgen dem offiziellen ISTQB-Glossar.