Lernstandsdashboard: KI-Risikoscore, Datenschutz und Fairness
Der Schulträger pilotiert an einem Gymnasium mit 950 Schülerinnen und Schülern und 70 Lehrkräften ein Lernstandsdashboard. Das LMS liefert Noten, Fehlzeiten, Bearbeitungszeiten und Freitextkommentare; ein Anbieter berechnet daraus einen Risikowert für Schulabbrich. Im Pilot werden 18 % der Lernenden mit einem Wert über 0,7 markiert; eine interne Evaluation nennt Precision 0,62 und Recall 0,81. Die Daten sollen fünf Jahre auf Servern in den USA gespeichert werden; Eltern wurden nicht informiert, die Schulleitung möchte das Dashboard aber für die Verteilung von Förderbudget nutzen. Ein Teil der Lehrkräfte will auf die Freitextkommentare verzichten, ein anderer Teil hält sie für besonders aussagekräftig. Die Schülervertretung fordert Transparenz und eine menschliche Entscheidung im Einzelfall. Der Anbieter wirbt mit einer Trefferquote von 90 %, die sich aber auf ein anderes Testkollektiv bezieht.
1. Bewerte den Pilot datenschutzrechtlich und ethisch. Gehe auf Rechtsgrundlage, Transparenz, Speicherdauer, Drittlandtransfer und die Kennzahlen Precision/Recall ein.
Read the worked answer
Rechtlich ist das Vorhaben in der beschriebenen Form problematisch. DSGVO Art. 5 verlangt Zweckbindung, Datenminimierung und Speicherbegrenzung; fünf Jahre für ein Prognose-Dashboard sind schwer zu rechtfertigen, wenn der Zweck nach dem Schuljahr erreicht ist. Art. 6 braucht eine Rechtsgrundlage; bei Schulen kommt oft eine gesetzliche Aufgabe nach Schulgesetz BW in Betracht, aber nicht automatisch für ein KI-Risikoscoring. Art. 13 verlangt Transparenz gegenüber Betroffenen; die fehlende Elterninformation ist ein Verstoß. Art. 22 greift bei ausschließlich automatisierten Entscheidungen mit erheblicher Wirkung; hier entscheidet zwar ein Mensch über Förderbudget, aber der Score kann faktisch determinieren. Freitextkommentare können besondere Kategorien (Gesundheit, Herkunft) enthalten; das wäre Art. 9. Die USA-Übermittlung braucht ein Transferinstrument (Angemessenheitsbeschluss oder SCC) und eine Prüfung.
Precision 0,62 heißt: Von 100 markierten Kindern sind ca. 62 richtig, 38 falsch; bei 18 % von 950 = 171 Markierten sind das ca. 65 falsche Alarme. Das ist mit stigmatisierenden Folgen verbunden. Empfehlung: Rechtsgrundlage prüfen, Eltern informieren, Freiwilligkeit und Widerspruch, Datenminimierung (keine Freitexte, keine Herkunft), EU-Hosting, kurze Löschfristen, menschliche Letztentscheidung und Dokumentation.
2. Schlage eine datenschutzfreundlichere Alternative für die Förderung vor und wäge Nutzen und Eingriff ab.
Read the worked answer
Datenschutzfreundliche Alternative: Statt individueller Risikowerte ein aggregiertes Monitoring, das nur Gruppen (z. B. Jahrgang, Fach) auswertet und keine personenbezogene Prognose liefert. Wenn individuelle Unterstützung gewünscht ist, sollten Lehrkräfte auf konkrete Beobachtungen (Fehlzeiten, Leistungsabfall) mit klaren Schwellen reagieren, nicht auf einen intransparenten Score.
Maßnahmen: Zweckbindung auf Förderung, nicht Sanktion; Datenminimierung (keine Freitextkommentare, keine sozioökonomischen Merkmale); Pseudonymisierung für Analyse, aber Rückführbarkeit nur im Einzelfall mit Berechtigung; Speicherdauer ein Schuljahr, dann Löschung; EU-Hosting; Datenschutz-Folgenabschätzung; Transparenz und Einwilligung, soweit erforderlich; menschliche Entscheidung mit Begründung; Evaluation auf Bias.
Abwägung: Der Nutzen (frühe Förderung) kann den Eingriff rechtfertigen, aber nur bei nachgewiesener Wirksamkeit und geringerem Eingriff. Die 65 falsch positiven Fälle pro 171 Markierungen sind ein starkes Argument gegen automatisierte Budgetzuweisung.
3. Diskutiere Bias und die Folgen von falsch positiven Markierungen. Welche Maßnahmen würden die Entscheidung fairer machen?
Read the worked answer
Bias entsteht, wenn Features wie Nutzungsdauer oder Freitexte mit Herkunft, Geschlecht oder sozioökonomischem Status korrelieren. Dann kann der Score benachteiligen, obwohl er fachlich neutral wirkt. Precision 0,62 und Recall 0,81 sind ohne Prävalenz nicht direkt interpretierbar; bei niedriger Prävalenz sind viele Markierte falsch positiv. Ein Schwellenwert 0,7 optimiert nicht automatisch Fairness.
Für die Förderbudgetverteilung sollte der Score höchstens ein Hinweis sein; die Entscheidung muss menschlich, begründet und überprüfbar sein. Fairness-Metriken (gleiche Falsch-Positiv-Rate über Gruppen) sollten gemessen werden, ebenso die Kosten: Ein falsch positiver Fall kann stigmatisieren, ein falsch negativer Fall verpasst Förderung. Wenn die Schule den Score nutzt, dann mit niedrigerem Schwellenwert für Unterstützung (mehr Recall) und ohne Sanktionen; Freitextkommentare sollten entfernt werden, weil sie besonders bias-anfällig und schwer zu prüfen sind. Eine regelmäßige externe Evaluation ist nötig; ohne sie ist die Verwendung ethisch nicht vertretbar.