Anfängerpraktikum (BSc Informatik) - Neural Networks From Scratch

Kursübersicht

Entdecke die Faszination des Maschinellen Lernens und erfahre, wie man neuronalen Netze von Grund auf programmiert! Von den ersten Schritten am kleinen XOR Problem bis zu Transformer Architekturen, welche heutzutage der Stand der Technik für das Verarbeiten natürlicher Sprache sind (siehe ChatGPT). Später im Praktikum werden wir von reinen CPU Berechnungen auf die GPUs unseres Clusters umsteigen, um auch größere Architekturen und Datensets erfolgreich verarbeiten zu können.

Das Praktikum findet generell in Gruppen von bis zu drei Studenten statt. Während der Beginn des Praktikums den gleichen Inhalt für alle Gruppen vorsieht, werden in der zweiten Hälfte von den Gruppen individuelle Themen angegangen, die sich mit fortgeschrttenen Themen der tiefen neuronalen Netze befassen.

Entlang des Weges werden wir sehen, was ein neuronales Netz eigentlich ausmacht. Weiterhin stellen wir Tooling für die Überwachung und die Verwaltung vieler Experimente, sowie Methoden zur Visualisierung neuraler Netze vor, um deren Lernprozesse und Parameter intuitiv zu verstehen.

Dozenten

Inhalte

  • Machinelles Lernen
    • XOR lernen von Grund auf
    • Multi-Layer-Perceptron auf dem MNIST Dataset
    • Transformer für Textverarbeitung von Grund auf
  • Tooling
    • CPU-optimierte Programme in Python
    • Visualisierung von Experimenten und Experimentdaten
    • GPU Beschleunigung mit CuPy

Voraussetzungen

  • Gute Kenntnisse in Python
    • Optional Erfahrung mit numpy und matplotlib
  • Kein Vorwissen zu Maschinellem Lernen (ML) nötig
  • Vorausgesetzte Veranstaltungen
    • Einführung in die Praktische Informatik (IPI)
    • Programmierkurs (IPK)
    • Lineare Algebra 1 (MA4) oder Mathematik für Informatik 1 (IMI1)

Hinweise

Anfängerpraktikum BSc Informatik:

  • 6 CP (2 + 4 ÜK)
  • 180 h (165 h Einarbeitung anhand der Literatur und Vorbereitung mit dem Betreuer + 15 Präsenzstunden)
  • Prüfung besteht aus einer Presentation (Interview und Gespräch mit den Betreuern) und einem Report plus dokumentiertem ML-Programm.