< zurück zur Dokumentation

Deutsches Unterrichtsfeedback prüfen

Dieser Prüfstand enthält 16 synthetische, öffentliche Fälle für LF05 (Python), LF22 (JavaScript/DOM) und SQL. Er vergleicht einzelne Modellantworten sowie generative Suffizienzprüfungen mit OpenAI Decisions. Er ist kein bereits durchgeführter Unterrichtspilot und vergibt keine Kompetenznoten. Die Falltexte enthalten keine Schülerdaten. Die Aufgaben im Produkt werden dadurch nicht geändert.

Zusätzliche Hinweisprüfung im Pilotkurs 2

Im Pilotkurs 2 ist die zusätzliche Decisions-Hinweisprüfung aktiv. Ein Request prüft drei getrennte Risikoprädikate: Aufgabenreparatur vorgegeben, Hilfestufe überschritten und ausdrücklich unzulässige Methode verlangt. Gewählt ist die Betriebsweise: Klare Verstöße überarbeiten; unsichere Hinweise gezielt kürzen, ohne automatische Sperre. Ein klar beanstandeter oder zunächst unklar bewerteter Hinweis erhält höchstens eine Kurzüberarbeitung durch das Kursmodell mit anschließender Nachprüfung. Bleibt ein klarer Verstoß oder unzulässiger Codeblock bestehen oder scheitert die Generierung, erscheint eine feste Rückfrage. Bloße Unsicherheit nach der Kurzüberarbeitung sperrt die Antwort nicht und ist kein Qualitätssiegel. Eine zweite Überarbeitung erfolgt nicht. Auch generativ erzeugter Suffizienztext wird im aktiven Pilot nicht ungeprüft ausgegeben; bei unzureichenden Angaben verwendet der Ablauf eine feste Rückfrage.

Die drei Risikoprädikate berücksichtigen gemeinsam alle vier Hilfestufen: Stufe 1 verlangt eine einzelne kurze Leitfrage; Stufe 2 darf eine relevante Stelle eingrenzen; Stufe 3 erlaubt ein kleines unabhängiges Syntaxbeispiel; Stufe 4 regt einen eigenen begründeten Versuch an. Aufgabenreparatur bleibt ausgeschlossen. Stufe 3 darf auch nach der Überarbeitung einen passenden Codeblock enthalten; die bloße Codeblockform sperrt diesen Hinweis nicht. Eine klare Beanstandung führt weiterhin zur festen Rückfrage.

Der Reviewer ist keine vollständige Faktenprüfung und vergibt keine Kompetenznachweise. Eine angezeigte Antwort ersetzt die fachliche Prüfung durch die Lehrkraft nicht.

Die Datei dev/fixtures/hint_review_de_cases.json enthält 20 synthetische Hinweisprüffälle: zehn erwartete Beanstandungen wegen zu umfangreicher, lösungsnaher oder methodisch unpassender Hinweise und zehn angemessene Gegenbeispiele. Dazu kommen 16 Unterrichtsfälle als vollständige Pipeline und zehn unabhängige Holdout-Fälle. Die Pipeline mit dev/hint_review_eval.py umfasst im Unterschied zu den einzelnen Stufen unten Generierung, Hinweisprüfung und gegebenenfalls eine Überarbeitung mit Nachprüfung.

Ergebnisse und Modellkonfiguration werden für jeden Lauf separat protokolliert. Fixture-Erwartungen sind vorab formulierte Prüfannahmen, keine gemessenen Erfolge oder Lehrkraftbewertungen. Einzelne Risikoprädikate, Konfidenz, Kurzüberarbeitung, verbleibende Unsicherheit, feste Rückfälle und endgültiger sichtbarer Text werden getrennt ausgewertet. Frühere Einzelstufenmessungen belegen nicht die Qualität der vollständigen Pipeline; vorhandene Tests allein sind kein Qualitätsnachweis.

Die vollständige E2E-Livemessung über alle vier Hilfestufen wird gesondert abgenommen. Vorhandene Fixture- oder Einzelstufenprüfungen bestätigen diese Abnahme nicht. Es wird weder ein neuer Messerfolg noch eine Erprobung in Moodle oder mit einer realen Klasse behauptet.

Gen-Ed und beide Jobe-KI-Feedbackdienste sind zentral im Modus observe erfasst; eine aktive Budgetsperre besteht nicht, historische Kosten bleiben unbekannt. Die ergänzte persistente Outbox (Migration 77) übermittelt ausstehende Budgetabschlüsse mit begrenzter idempotenter Wiederholung erneut, ohne Provideraufrufe zu wiederholen. pending, begründet unbekannte Abschlüsse und spätere vollständige Nachweise werden getrennt dokumentiert; eine bereits erfolgte Live-Bereinigung wird daraus nicht abgeleitet.

Offline starten

python dev/classroom_eval.py validate
python dev/classroom_eval.py report /tmp/classroom-luna.jsonl --output /tmp/classroom-luna-report.json

Beide Befehle funktionieren ohne LiteLLM, API-Schlüssel oder Netzwerk. Die Fälle stehen in dev/fixtures/classroom_de_cases.json. Jeder Fall nennt behandelte Mittel, erwartete Diagnose, Suffizienzentscheidung, Hilfestufe, öffentliche Diagnoseprüfungen, Antwortbudget und eine Lehrkraftrubrik. Einige enthalten bewusst schlechte Beispielantworten mit Lösungsverrat oder unbehandelten Konzepten, um die Rubrik gemeinsam zu kalibrieren. Diese Beispiele sind keine Modellmessungen.

Die öffentlichen Prüfungen sind lesbare Testideen und Erwartungswerte für die Lehrkraft; sie sind keine versteckten CodeRunner-Tests und werden nicht automatisch in Kurse importiert. Bei Bedarf kann eine Lehrkraft sie in der Entwurfs-Testansicht nachvollziehen.

Begrenzte Live-Messung

Nur collect --live sendet Anfragen. Modell und maximale Anzahl der Versuche müssen ausdrücklich angegeben werden. Es gibt keine automatische Wahl eines stärkeren Modells. Als Modellnamen erwartet die generative Route einen aktiven konfigurierten Kurznamen, keinen frei erfundenen Anbieter-String.

# Schlüssel vorher sicher in der Prozessumgebung bereitstellen, niemals in die Befehlszeile schreiben.
python dev/classroom_eval.py collect --live \
  --model 'GPT-5.6 Luna' --max-calls 2 \
  --case lf05-range-exclusive --case ambiguous-enough-code \
  --stage hint --output /tmp/classroom-luna.jsonl

# Gleiche Fälle, gleiche Modellkonfiguration, nur Suffizienz:
python dev/classroom_eval.py collect --live \
  --model 'GPT-5.6 Luna' --max-calls 2 \
  --case ambiguous-enough-code --case insufficient-no-code \
  --stage sufficiency --output /tmp/classroom-sufficiency.jsonl

# Eigenständig geschlüsselter Decisions-Vergleich:
python dev/classroom_eval.py collect --live \
  --model gpt-6-luna --max-calls 2 \
  --case ambiguous-enough-code --case insufficient-no-code \
  --stage decisions --output /tmp/classroom-decisions.jsonl

Generative Aufrufe verwenden CLASSROOM_EVAL_API_KEY, ersatzweise SYSTEM_API_KEY, aus der Umgebung. Decisions verwendet ausschließlich OPENAI_DECISIONS_API_KEY. Die Anwendungsprompts und der instrumentierte LLM-Client werden wiederverwendet. Für Decisions werden derselbe Request-/Antwortvertrag sowie Usage-Ledger und Budgetreservierung genutzt. Der Prüfstand lädt keine Deployment-.env automatisch.

--models-db /absoluter/pfad/codehelp.db liest ausschließlich die ausgewählte Modellkonfiguration schreibgeschützt aus einer bestehenden Datenbank. Ohne diese Option gilt der mitgelieferte Modellkatalog. Es werden keine Lernenden, Codes oder Kursanfragen aus dieser Datenbank gelesen und keine Produktionsdaten geändert. Der Usage-Ledger entsteht in einer frischen temporären Datenbank; seine inhaltsfreien Ereignisse werden als RUN.jsonl.usage.jsonl gesichert.

Bestehende Ausgabedateien und Usage-Sidecars verhindern den Start. --max-calls begrenzt auf 1–20 Versuche einschließlich Fehlern, --max-output-tokens auf höchstens 1200. SDK-Wiederholungen sind deaktiviert. Jeder abgeschlossene Versuch wird unmittelbar gespeichert. Generative Versuche haben eine Gesamtlaufzeit von höchstens 45 Sekunden, Decisions höchstens 3 Sekunden. classroom_eval.py führt pro Fall genau eine Stufe aus; es gibt keine verdeckte nachgeschaltete Nachfrage oder Hauptantwort. Konfigurierte SHARED_BUDGET_MODE, SHARED_BUDGET_URL und SHARED_BUDGET_TOKEN werden aus der Umgebung übernommen. Ohne Budgetkonfiguration gilt der Anwendungsstandard off.

Die Decisions-Datei unterscheidet die rohe Klassifikation (decision) und den tatsächlich bei 0,90 Konfidenz und Wahrscheinlichkeit zulässigen positiven Kurzpfad (active_shortcut). Eine Entscheidung missing ersetzt im Produkt keine hilfreiche generative Rückfrage. Ein fehlgeschlagener Decisions-Versuch wird hier nicht automatisch mit einem weiteren kostenpflichtigen Aufruf wiederholt.

JSONL-Vertrag und Auswertung

Eine Zeile pro Versuch:

{"case_id":"lf05-range-exclusive","model":"GPT-5.6 Luna","stage":"hint","status":"complete","response":"Prüfe den letzten ausgegebenen Wert.","latency_ms":850,"usage":{"prompt_tokens":340,"completion_tokens":16},"finish_reason":"stop"}

stage ist hint, sufficiency oder decisions; status ist complete, error, cancelled oder incomplete. Fehlende Verbrauchswerte bleiben unbekannt. Optionale decision-Werte sind sufficient, missing und fallback. Generative Suffizienz wird nur bei exakt OK. als ausreichend eingeordnet, jede andere vollständige Antwort als Rückfrage; ob diese Rückfrage angemessen ist, prüft die Lehrkraft. Die Berichtszahlen bleiben ein beobachteter Vergleich, keine API-Erfolgsgarantie.

Der Bericht zeigt nach Modell und Stufe getrennt:

  • Mechanische Prüfsignale: abgeschlossen, abgeschnitten, Latenz-/Tokenbudget, erwartete Suffizienz, Codeblock und bekannte unerwünschte Muster. Ein fehlendes Muster beweist keinen fehlenden Lösungsverrat. Auch Prosa und Inline-Code können eine fertige Lösung enthalten.
  • Lehrkraftprüfung: fachliche Richtigkeit, einfaches Deutsch, angemessene Hilfestufe und Lösungsverrat. Alle vier Felder beginnen mit null. Importierte Modell-Selbstbewertungen werden ignoriert. Die Lehrkraft kann pass, fail oder uncertain mit kurzem Beleg im Bericht eintragen.
  • Verbrauch: bekannte Input-/Output-Token als Untergrenze und Anzahl der jeweils unbekannten Verbrauchswerte. Reasoning-Tokens sind Teil der Output-Tokens; es wird nichts doppelt gezählt. Bei fehlenden Daten wird kein Preis oder Vollverbrauch erfunden.

Protokoll für einen echten Unterrichtspiloten

  1. Lehrkraft prüft vorab, welche Konzepte in der konkreten Klasse tatsächlich behandelt wurden; die synthetischen Mittel und Fälle bei Bedarf anpassen. Besonders MariaDB-Modus, SQLite-Version und DOM-Umgebung festhalten.
  2. Mindestens die sechs Fehlvorstellungen Initialisierung, Rücksetzen, Überschreiben, Endgrenze, DOM-Auswahl und SQL-Dialekt abdecken. Dieselben Fälle und Hilfestufen in gleicher Version mit den zu vergleichenden Modellen verwenden. Für Streuung drei getrennte Läufe planen; jeder Lauf behält seine explizite Aufrufgrenze.
  3. Modellnamen für die fachliche Sichtung möglichst ausblenden und Antworten anhand der vier Rubriken prüfen. Ein zweiter Prüfer bewertet kritische Abweichungen unabhängig, wenn möglich. Keine LLM-Selbstbewertung als Lehrkrafturteil übernehmen.
  4. Im Unterricht zunächst einen kleinen von der Lehrkraft begleiteten Durchgang durchführen. Pro Fall erfassen: Hat die Schülerin oder der Schüler den nächsten Schritt verstanden und selbst ausgeführt? Welche zusätzliche Erklärung war erforderlich? Eigenständige Korrektur und spätere Transferaufgabe getrennt von Antwortqualität dokumentieren.
  5. Vor Freigabe konkrete Fehler beheben und dieselben Gegenbeispiele erneut prüfen. Fachlich falsche Hinweise und Lösungsverrat gesondert zählen; ein guter Durchschnitt kompensiert diese Fehler nicht. Modellwechsel oder breitere Nutzung benötigen neue Evidenz.

Kopiervorlage für Evidenz, ohne Namen oder Rohcode von Lernenden:

Datum / Fall / Lauf Modell und Konfiguration Fachlich Deutsch Hilfestufe Verrat Beleg / nächster Schritt Latenz / bekannte Tokens Durchführung / Transfer
Noch nicht durchgeführt offen ungeprüft ungeprüft ungeprüft ungeprüft offen unbekannt nicht beobachtet

Der automatisierte Prüfstand kann den beschriebenen echten Klassendurchlauf und diese Lehrkrafturteile nicht ersetzen.