Training und Evaluierung von ML-ModellenAktivitäten & Unterrichtsstrategien
Aktives Lernen funktioniert hier besonders gut, weil Schülerinnen und Schüler durch praktische Experimente mit echten Datensätzen verstehen, warum die Aufteilung in Trainings-, Validierungs- und Testdaten entscheidend ist. Sie erleben selbst, wie Modelle sich verhalten, wenn sie zu stark an Trainingsdaten angepasst werden oder zu wenig Informationen haben, um gute Vorhersagen zu treffen.
Lernziele
- 1Analysieren Sie die Auswirkungen verschiedener Metriken (Genauigkeit, Präzision, Recall, F1-Score) auf die Bewertung der Modellgüte für spezifische Anwendungsfälle.
- 2Bewerten Sie die Effektivität von Techniken wie k-Fold-Cross-Validation zur Vermeidung von Overfitting und Underfitting anhand von Simulationsergebnissen.
- 3Erklären Sie die Rolle von Trainings-, Validierungs- und Testdatensätzen bei der Entwicklung robuster Machine Learning-Modelle.
- 4Entwerfen Sie eine Strategie zur Datensplittung und Hyperparameter-Optimierung für ein gegebenes Machine Learning-Problem.
- 5Vergleichen Sie die Performance zweier ML-Modelle auf Basis von Validierungsmetriken und begründen Sie die Wahl des besseren Modells.
Möchten Sie einen vollständigen Unterrichtsentwurf mit diesen Lernzielen? Mission erstellen →
Pair Programming: Dataset-Aufteilung
Paare laden ein Dataset, teilen es in Train/Validierung/Test auf und trainieren ein einfaches Modell mit Scikit-learn. Sie vergleichen Vorhersagen und notieren erste Metriken. Abschließend diskutieren sie Auswirkungen falscher Aufteilungen.
Vorbereitung & Details
Erklären Sie die Bedeutung von Trainings-, Validierungs- und Testdatensätzen.
Moderationstipp: Stellen Sie sicher, dass die Paare während der Pair Programming unterschiedliche Datensätze verwenden, damit die Klasse später vielfältige Beispiele diskutieren kann.
Setup: Gruppentische mit Zugang zu Recherchequellen
Materials: Dokumentation des Problemszenarios, KWL-Tabelle (Wissen, Wollen, Lernen) oder Inquiry-Framework, Ressourcenpool / Handapparat, Vorlage für die Ergebnispräsentation
Small Groups: Metriken-Analyse
Gruppen wählen ein Klassifikationsproblem, berechnen Genauigkeit, Präzision und Recall für verschiedene Modelle. Sie erstellen eine Tabelle und visualisieren Ergebnisse mit Matplotlib. Gemeinsam identifizieren sie das beste Modell.
Vorbereitung & Details
Analysieren Sie verschiedene Metriken zur Bewertung der Modellperformance (z.B. Genauigkeit, Präzision, Recall).
Moderationstipp: Fordern Sie die Kleingruppen in der Metriken-Analyse auf, ihre Ergebnisse auf Flipcharts festzuhalten, um sie später im Plenum zu vergleichen.
Setup: Gruppentische mit Zugang zu Recherchequellen
Materials: Dokumentation des Problemszenarios, KWL-Tabelle (Wissen, Wollen, Lernen) oder Inquiry-Framework, Ressourcenpool / Handapparat, Vorlage für die Ergebnispräsentation
Whole Class: Overfitting-Demonstration
Die Klasse beobachtet eine Live-Demo: Ein Modell wird auf wachsenden Trainingsdaten trainiert, Metriken auf Testdaten geplottet. Alle notieren Beobachtungen und schlagen Verbesserungen vor. Diskussion schließt ab.
Vorbereitung & Details
Bewerten Sie Strategien zur Vermeidung von Overfitting und Underfitting.
Moderationstipp: Zeigen Sie die Overfitting-Demonstration mit einer interaktiven Whiteboard-Grafik, die Schüler direkt beschriften und annotieren können.
Setup: Gruppentische mit Zugang zu Recherchequellen
Materials: Dokumentation des Problemszenarios, KWL-Tabelle (Wissen, Wollen, Lernen) oder Inquiry-Framework, Ressourcenpool / Handapparat, Vorlage für die Ergebnispräsentation
Individual: Optimierungs-Challenge
Jeder Schüler optimiert ein vorgegebenes Modell gegen Overfitting, testet Regularisierungstechniken und dokumentiert Metriken. Ergebnisse werden in einer Klassentabelle gesammelt und verglichen.
Vorbereitung & Details
Erklären Sie die Bedeutung von Trainings-, Validierungs- und Testdatensätzen.
Moderationstipp: Geben Sie der Optimierungs-Challenge klare Zeitvorgaben, damit die Schüler gezielt eine Hyperparameter-Kombination testen und dokumentieren können.
Setup: Gruppentische mit Zugang zu Recherchequellen
Materials: Dokumentation des Problemszenarios, KWL-Tabelle (Wissen, Wollen, Lernen) oder Inquiry-Framework, Ressourcenpool / Handapparat, Vorlage für die Ergebnispräsentation
Dieses Thema unterrichten
Erfahrene Lehrkräfte wissen, dass der Unterschied zwischen Theorie und Praxis hier besonders groß ist. Sie vermeiden es, nur die Formeln der Metriken zu erklären, sondern lassen die Schüler diese selbst berechnen und interpretieren. Ein weiterer Schlüssel ist, immer wieder auf die Konsequenzen im echten Leben hinzuweisen, z.B. warum ein medizinischer Test hohe Recall-Werte braucht, auch wenn das die Genauigkeit senkt.
Was Sie erwartet
Erfolgreiches Lernen zeigt sich darin, dass Schülerinnen und Schüler die drei Datensätze sinnvoll aufteilen und ihre Entscheidungen mit konkreten Metriken begründen können. Sie erkennen Overfitting und Underfitting in Grafiken und wählen für gegebene Szenarien die passenden Bewertungsmetriken aus.
Diese Aktivitäten sind ein Ausgangspunkt. Die vollständige Mission ist das Erlebnis.
- Vollständiges Moderationsskript mit Lehrkraft-Dialogen
- Druckfertige Schülermaterialien, bereit für den Unterricht
- Differenzierungsstrategien für jeden Lerntyp
Vorsicht vor diesen Fehlvorstellungen
Häufige FehlvorstellungWährend der Pair Programming mit Dataset-Aufteilung könnte ein Team denken: 'Hohe Genauigkeit auf den Trainingsdaten bedeutet, dass das Modell gut ist.'
Was Sie stattdessen lehren sollten
Fordern Sie das Team auf, die Metriken auf dem Validierungs- und Testdatensatz zu berechnen und die Unterschiede in einer kurzen Reflexion festzuhalten. Nutzen Sie die Gelegenheit, um gemeinsam die Begriffe Overfitting und Generalisierung zu klären.
Häufige FehlvorstellungWährend der Small Groups Metriken-Analyse könnte eine Gruppe argumentieren: 'Accuracy ist immer die beste Metrik.'
Was Sie stattdessen lehren sollten
Bitten Sie die Gruppe, eine Confusion Matrix für einen unausbalancierten Datensatz zu erstellen und die Werte für Präzision und Recall zu berechnen. Zeigen Sie auf, wie Accuracy hier irreführend sein kann.
Häufige FehlvorstellungWährend der Individual Optimierungs-Challenge könnte ein Schüler annehmen: 'Mehr Trainingsdaten lösen jedes Underfitting-Problem.'
Was Sie stattdessen lehren sollten
Fordern Sie den Schüler auf, die Verlustkurven seines Modells zu betrachten und zu prüfen, ob das Problem wirklich mit mehr Daten oder mit einer Anpassung der Modellkomplexität gelöst werden muss.
Ideen zur Lernstandserhebung
Nach der Small Groups Metriken-Analyse erhalten die Schüler ein Szenario (z.B. Betrugserkennung im Banking) und sollen in 2-3 Sätzen begründen, welche Metrik Priorität hat. Die Antworten werden eingesammelt und ausgewertet, um das Verständnis für kontextbezogene Bewertungen zu prüfen.
Während der Whole Class Overfitting-Demonstration zeigt die Lehrkraft eine Grafik mit Trainings- und Validierungsverlustkurven. Die Schüler schreiben auf, welches Problem vorliegt (Overfitting oder Underfitting) und nennen zwei Strategien zur Lösung, z.B. Regularisierung oder mehr Trainingsdaten.
Während der Pair Programming Dataset-Aufteilung teilt die Lehrkraft einen Datensatz in Kleingruppen auf und lässt jede Gruppe ihre Aufteilung präsentieren. Die Klasse diskutiert gemeinsam, ob Datenlecks vorliegen könnten und wie die Aufteilung verbessert werden kann.
Erweiterungen & Unterstützung
- Fordern Sie schnelle Schüler auf, ein eigenes Modell mit einem alternativen Datensatz zu trainieren und die Metriken mit den Ergebnissen der Klasse zu vergleichen.
- Unterstützen Sie unsichere Schüler mit einer vorstrukturierten Tabelle für die Metriken-Berechnung und einem Beispiel, das sie Schritt für Schritt nachvollziehen können.
- Bieten Sie vertiefende Materialien an, z.B. einen Artikel über Bias in Trainingsdaten und wie man Datenlecks vermeidet, für Schüler, die mehr wissen wollen.
Schlüsselvokabular
| Overfitting | Ein Zustand, bei dem ein Machine Learning-Modell die Trainingsdaten zu gut lernt, einschließlich Rauschen und Ausreißern, was zu schlechter Generalisierung auf neuen Daten führt. |
| Underfitting | Ein Zustand, bei dem ein Machine Learning-Modell zu einfach ist, um die zugrundeliegenden Muster in den Trainingsdaten zu erfassen, was zu schlechter Performance sowohl auf Trainings- als auch auf Testdaten führt. |
| Hyperparameter-Tuning | Der Prozess der Anpassung von Parametern eines Machine Learning-Algorithmus, die nicht während des Trainings gelernt werden (z.B. Lernrate, Anzahl der Schichten), um die Modellperformance zu optimieren. |
| k-Fold-Cross-Validation | Eine Methode zur Evaluierung von Machine Learning-Modellen, bei der die Trainingsdaten in 'k' Teilmengen aufgeteilt werden. Das Modell wird 'k'-mal trainiert, wobei jedes Mal eine andere Teilmenge als Validierungsdatensatz verwendet wird. |
| Präzision (Precision) | Das Verhältnis der korrekt als positiv klassifizierten Instanzen zur Gesamtzahl der als positiv klassifizierten Instanzen. Misst, wie viele der als positiv vorhergesagten Fälle tatsächlich positiv waren. |
| Recall (Sensitivität) | Das Verhältnis der korrekt als positiv klassifizierten Instanzen zur Gesamtzahl der tatsächlich positiven Instanzen. Misst, wie viele der tatsächlichen positiven Fälle das Modell korrekt identifiziert hat. |
Vorgeschlagene Methoden
Planungsvorlagen für Informatik Oberstufe: Komplexe Systeme und Theoretische Grundlagen
Mehr in Künstliche Intelligenz und Machine Learning
Einführung in Künstliche Intelligenz
Die Schülerinnen und Schüler lernen die Definition, Geschichte und Anwendungsbereiche der KI kennen.
2 methodologies
Grundlagen des Machine Learning
Die Schülerinnen und Schüler verstehen die Konzepte von überwachtem, unüberwachtem und bestärkendem Lernen.
2 methodologies
Lineare Regression und Klassifikation
Die Schülerinnen und Schüler lernen grundlegende Machine Learning-Modelle wie lineare Regression und logistische Regression kennen.
2 methodologies
Grundlagen neuronaler Netze
Modellierung biologischer Lernprozesse durch Perzeptrone und Backpropagation.
3 methodologies
Deep Learning und Convolutional Neural Networks (CNNs)
Die Schülerinnen und Schüler lernen Deep Learning-Architekturen und CNNs für Bilderkennung kennen.
2 methodologies
Bereit, Training und Evaluierung von ML-Modellen zu unterrichten?
Erstellen Sie eine vollständige Mission mit allem, was Sie brauchen
Mission erstellen