Wir konzentrieren uns auf die Theorie und praktische Anwendung von Deep Learning (DL). Wir beginnen mit den Grundlagen des DL und tauchen in die Details der am häufigsten verwendeten modernen Deep-Learning-Modelle ein, ihre Fähigkeiten und Einschränkungen sowie ihre Anwendung in realen Anwendungsfällen aus verschiedenen Bereichen.

Fortgeschrittene maschinellen Lernlösungen auf Basis von Deep Learning (DL) haben in vielen verschiedenen Bereichen beeindruckende Leistungen auf herausfordernden, praxisrelevanten Problemen gezeigt und sind auch in zunehmend vielen Bereichen unseres Lebens präsent, wie z.B. Bildanalyse (Gesichtserkennung, Qualitätskontrolle), Sprachtechnologien (virtuelle Assistenten, Emotionserkennung), Zeitreihenanalyse (Investitionsmodellierung, Sensordatenfusion), personalisierte Gesundheitsversorgung (Diagnose, Arzneimittelentwicklung), personalisierte Werbung oder autonome Fahrzeuge. Tiefe neuronale Netze haben sich somit zu einem kritischen Bestandteil der Informatik im Allgemeinen entwickelt und sind ein wichtiger Bestandteil vieler Jobprofile in der Informatik und Datenwissenschaft.

In diesem Modul bieten wir eine umfassende Einführung in das Deep Learning an, indem wir zunächst die Grundlagen (Hauptkonzepte, grundlegende Bausteine neuronaler Netze, Backpropagation, Gradientenabstieg, Optimierung) behandeln, die den Weg für den tiefen Einstieg in die Details moderner tiefer neuronaler Architekturen bereiten, wie z.B. verschiedene Varianten von Convolutional Neural Networks, Recurrent Neural Networks, Graph Neural Networks und Transformers. Wir werden diese Modelle und Algorithmen untersuchen, ihre Vorteile, Einschränkungen und Herausforderungen analysieren und diskutieren.

Themenliste:

• Einführung in DL (z.B. aktuelle Anwendungen und Erfolge, grundlegende Prinzipien, tiefe Feedforward-Netze, gradientenbasiertes Lernen, Backpropagation, Optimierung, Regularisierung)
• Convolutional Neural Networks (z.B. VGG, ResNet)
• Sequenzmodellierung (z.B. RNN, LSTM, Attention und Transformer)
• Graphen-Neuronale Netze (z.B. GCN)
• Generative Modelle
• Ausgewählte Themen (z.B. Deep RL, erklärbare KI, Meta-Lernen)

Begleitende Praktika

Um die angemessene Anwendung der Deep-Learning-Methoden in der Praxis zu verstehen, werden wir realitätsnahe Anwendungen aus verschiedenen Bereichen (z.B. Computer Vision, Natural Language Processing, Gesundheitsversorgung) diskutieren und eine große Anzahl von praktischen Beispielen auf realen Datensätzen mithilfe von state-of-the-art Tools und Frameworks bereitstellen. In einer Projektarbeit können die Teilnehmenden das Gelernte anwenden. 
 

• Vorlesungsfolien
• Material zu den Praktika

• Simon J.D. Prince: "Understanding Deep Learning", MIT Press, 2023 https://udlbook.github.io/udlbook/  
• I. Goodfellow, Y. Bengio, and A. Courville: “Deep Learning”, MIT press, 2016, https://www.deeplearningbook.org/
• S. Raschka, Y. Liu, V. Mirjalili: “Machine Learning with PyTorch and Scikit-Learn: Develop machine learning and deep learning models with Python”, Packt Publishing, 2022.  https://sebastianraschka.com/blog/2022/ml-pytorch-book.html
• Wissenschaftliche Literatur

• Allgemeine Einfühurng in machinelles Lernen und neuronale Netze, wie erfolgreiches Aschließen von MLDM1
• Python