LLM für den Hausgebrauch – Large Language Models verständlich erklärt

Eine fundierte Einführung in Large Language Models – von Tokenisierung und Embeddings bis Transformer, Self-Attention und Retrieval-Augmented Generation (RAG)

Large Language Models (LLMs) wie GPT oder LLaMA prägen moderne Softwareentwicklung, Recherche und Wissensarbeit. Doch wie funktionieren diese Modelle intern? Dieses Skript erklärt Large Language Models verständlich und mathematisch sauber – geeignet für Studium, Lehre und technisch Interessierte.

Beginnend bei der Tokenisierung über Embeddings und den Self-Attention-Mechanismus bis hin zur Transformer-Architektur wird Schritt für Schritt gezeigt, wie LLMs Wahrscheinlichkeiten für das nächste Token berechnen und daraus Antworten erzeugen.

Überblick über das Skript

Das Skript führt systematisch durch die Architektur moderner Large Language Models: von den mathematischen Grundlagen über Trainingsverfahren bis hin zu aktuellen Erweiterungen wie Vektor-Datenbanken und Retrieval-Augmented Generation (RAG).

Inhaltliche Schwerpunkte

• Funktionsweise von LLMs: Vom Token zur Antwort
• Transformer-Architektur und Self-Attention
• Mathematische Grundlagen: Gradienten, Matrizen, Softmax
• Konkrete Rechenbeispiele zur Next-Token-Prediction
• Training, Backpropagation und Modelllernen
• Vektor-Datenbanken und semantische Suche
• Grenzen und Risiken moderner Sprachmodelle

Interaktive Jupyter Notebooks

Zu allen zentralen Konzepten stehen interaktive Jupyter Notebooks zur Verfügung, die direkt in Google Colab ausgeführt werden können – ohne lokale Installation.