Grundlagen großer Sprachmodelle

Teil 1: Konzeptuelle Grundlagen und Funktionsweisen

Christof Schöch
Universität Trier

Workshop Large Language Models in der Romanistik
Organisation: Sascha Resch und Verena Weiland
AG Digitale Romanistik

18 Jun 2026

Orientierung

Teaser…

Any sufficiently advanced technology is indistinguishable from magic.

– Arthur C. Clarke, British science fiction writer

Unser Thema heute: generative Sprachmodelle verstehen

• Grundlagen von LLMs verstehen, um…
  • … hinter die scheinbare Magie zu schauen
  • … kompetent mit LLMs umzugehen
  • … Stärken und Schwächen korrekt einzuschätzen
• Erste Hinweise + Lektüreempfehlungen
• Teil 2: Konkrete Anwendungsszenarien

Mein Profil / Perspektive: Digital Humanities

• Französische Literatur + Computational Literary Studies
  • Topic Modeling
  • Stilometrische Autorschaftsattribution
  • Kontrastive Analyse (keyness)
  • Linked Open Data
    
• Master of Science “Digital Humanities” @ Uni Trier
  • Grundlagen der Digital Humanities
  • Programmierausbildung (Textprozessieren, Machine Learning)
  • Current Topics in DH (u.a. “LLMs in DH”, “Multilingualism”)
• Trier Center for Digital Humanities
  • Digitale Edition
  • Digitale Lexikografie
  • Digitale Kulturwiss., uvm.

Infos: Homepage | TCDH | DHd-Verband.

Überblick

• Woher LLMs kommen: Konzeptuelle Grundlagen und Vorläufer
• Wie generative LLMs trainiert werden und funktionieren
• Welche aktuellen Entwicklungen es derzeit gibt

Vorab: Begrifflichkeiten / Differenzierungen

• (Traditionelles) Machine Learning: Regression, Clustering, Klassifikation mit Algorithmen
• Sprachmodelle / (Large) Language Models:
  • Encoder-Modelle: Systeme, die Text / Medien vektorbasiert repräsentieren können (‘Embeddings’ / BERT-Modelle)
  • Encoder-Decoder-Modelle: generative, auto-regressive Systeme, die Text / Medien interaktiv erzeugen (‘LLMs’)
• Künstliche Intelligenz (im starken Sinne): autonome, intelligente, lernende, kreative Systeme

Abgrenzung und Kontext im Detail

Algorithmus => Machine Learning => Sprachmodelle

• Erste Verschiebung (Architektur)
  • Algorithmus: Input + Regeln => Antwort
  • Machine Learning: Input + Antworten => Regeln (dann Einsatz im Algorithmus)
• Zweite Verschiebung (Input)
  • Algorithmus und Machine Learning: Input = spezifisch generierte Merkmale (bspw. Annotation)
  • Sprachmodelle: Input = gelernte Repräsentation der Rohdaten (bspw. als Embeddings)

Trade-off bei komplexen Klassifikationsaufgaben

	Algorithmus	Machine Learning	Sprachmodelle
Trainingsdaten	keine notwendig	viele notwendig	sehr viele notwendig
Merkmale	explizit erstellt wenige transparent	explizt erstellt viele transparent	gelernt sehr viele intransparent
Regeln	vorgegeben transparent	gelernt ggfs. intransparent	gelernt intransparent
Domänen- expertise	viel notwendig	einiges notwendig	weniger notwendig
Ressourcenbedarf	sehr niedrig	moderat	extrem hoch
Performance	moderat	oft deutlich höher	oft noch höher

Hintergrundlektüre: Allam et al. (2025) und Russell and Norvig (2022) (Kap 1, 2, 19, 22, 25).

Generative Sprachmodelle vs. “echte KI” (AGI)

Generative LLMs (seit ~2018)

• Beruhen auf statistischer Inferenz über Sprachmustern
• Reagieren auf sprachliche Prompts
• Haben nur ein begrenztes Gedächtnis für die laufende Interaktion
• Haben kein echtes Verständnis von Kausalität oder Weltmodellen
• Können nicht wirklich planen oder auf Umgebungsfeedback reagieren
• Generieren plausiblen Text, der nicht unbedingt wahr / intelligent ist
• Output wird trainiert und optimiert (RLHF)

Artificial General Intelligence (ab ??)

• Derzeit unbekannte Architektur
• Interagiert autonom mit der Welt und lernt daraus
• Trifft autonome Entscheidungen
• Hat eine kohärente innere Repräsentationen der Realität (statt Wortstatistik)
• Versteht warum Dinge geschehen (nicht nur Korrelationen)
• Habt eigene Ziele, Überzeugungen und Wünsche (nicht nur Trainingsfeedback)

Woher LLMs kommen:
Konzeptuelle Grundlagen und Vorläufer

Übersicht

• Vektorraum-Modell
• Distributionelle Semantik
• Neuronale Netze
• Word Embeddings
• BERT-Modelle (Attention)

Lektürempfehlung: Widdows and Cohen (2025) (zur Geschichte der Technik).

Vektorraum-Modell im Information Retrieval

• Jedes Dokument ist durch die Häufigkeit seiner Keywords beschrieben
• Eine Suche (Query) besteht ebenfalls aus Keywords
• Räumliche Nähe im Vektorraum = Ähnlichkeit von Query und Dokument

Quelle: Gerald Salton et al. (1975). Bild: Riclas, Wikimedia Commons, CC BY 3.0.

Distributionelle Semantik

You shall know a word by the company it keeps. (Firth 1957)

• Bedeutung bestimmt sich aus dem Kontext
• Wörter mit ähnlichem Kontext haben ähnliche Bedeutung
• Kontext kann man statistisch modellieren
• Bedeutung kann man statistisch modellieren
• Umkehrung ggü. Information Retrieval
  • IR: Dokumente als Vektoren aus Wörtern
  • DS: Wörter als Vektoren aus Dokumenten (!)

Neuronale Netze: Input, hidden, output layers

Quelle und weitere Infos: Skansi (2018), figure 4.1.

Lernen = Gewichte im neuronalen Netz optimieren

• Gewichte im Netz mit Zufallswerten initialisieren
• Eine Klassifikationsaufgabe bearbeiten (“feed-forward”)
• Die Abweichung zwischen Antwort und Lösung ermitteln (Fehler)
• Gewichte minimal und zielführend anpassen (“back-propagation”)
• Mechanismus: “gradient descent”
  • Ableitung der Fehlerkurve zeigt Richtung und Stärke der Korrektur
  • Lernrate steuert das Ausmaß der Änderung pro Iteration
• Tausendfach wiederholen, bis Fehler minimiert ist

Mehr: Philips (2023).

Word Embeddings: Semantik im Vektorraum (Ergebnis)

Mehr: Einführend Schöch (2022), grundlegend Widdows (2004).

Word Embeddings: Training

Einführend Schöch (2022), Überblick Russell and Norvig (2022) (Kap. 25), technisch Mikolov 2013.

Wie generative LLMs funktionieren

Übersicht

• Konzeptuelle Entwicklung in der Übersicht
• Trainingsdaten: Was steckt drin?
• Modelle: Wie groß sind die Modelle?
• Encoder + Decoder = ‘autoregressive sequence-to-sequence model’
• RLHF (Human Feedback: erwünschte Antworten)
• Was aktuelle Modelle können (und was nicht)

Konzeptuelle Entwicklung seit word2vec

• Word Embeddings (word2vec, Mikolov 2013)
  • statisches, token-basiertes Encoder-Modell
  • Repräsentation von Morphologie + Semantik
• BERT-Modelle / Transformer (Vaswani et al. 2017)
  • kontext-abhängiges Encoder-Modell
  • repräsentiert ganze Korpora als Embeddings
• GPT (OpenAI 2018)
  • kontextuelles Encoder + Decoder-Modell
  • liest Input ein, reagiert mit Output
  • Sequence-to-sequence Modeling + ‘Autoregression’
• ChatGPT und andere Chatsysteme (ab Ende 2022)
  • GPT mit RHLF (Reinforcement Learning from Human Feedback)

Encoder-Modelle (BERT / Transformer / Attention)

BERT = Bidirectional Encoder Representations from Transformers

• Unterschiede zu statischen Word Embeddings
  • Es wird nicht ein Lexikon repräsentiert, sondern ein Korpus
  • Jedes Token hat je nach Kontext einen eigenen Vektor (it => animal!)
  • Der Kontext wird in beide Richtungen berücksichtigt (bidirectional)
  • Der Kontext wird je unterschiedlich gewichtet (“Attention”)

Lektüreempfehlung: Alammar (2018), “The Illustrated Transformer”.

Encoder + Decoder = GPT

GPT = Generative Pre-trained Transformer

• Unterschiede zum BERT-Modell
  • Modell hat Encoder + Decoder: bekommt Input, produziert Output
  • Trainingsdaten sind paarweise Wort-Sequenzen:
    Frage/Antwort, Anfang/Fortsetzung, Original/Übersetzung, Problem/Code
• Prinzipien
  • ‘Sequence-to-sequence modeling’ mit schrittweiser Generierung
  • ‘Autoregressiv’: die generierten Tokens werden Teil des Prompts für die Fortsetzung
  • Sukzessive Generierung: jedes weitere Token passt (optimal / fast optimal) zum vorangegangenen Kontext
  • ‘temperature’: Transformation der Wort-Wahrscheinlichkeiten: <1 = weniger Variation, >1 = mehr Variation
• Ergebnis
  • Modell, das auf einen sprachlichen Prompt mit natürlicher Sprache reagiert
  • Der Prompt beinhaltet die Anweisung und das zu bearbeitende Material

GPT + RLHF (Reinforcement Learning from Human Feedback) = Chatbot

1. Generatives LLM wird trainiert, um Text zu generieren
2. Menschen bewerten Frage/Antwort-Paare (nützlich? sinnvoll? angemessen? sozial erwünscht?)
3. Auf dieser Grundlage wird ein “Belohnungsmodell” trainiert, das das genLLM steuert
4. Das genLLM wird optimiert, damit es Antworten generiert, die Menschen nützlich, angemessen, ehrlich finden

Trainingsdaten: Was steckt drin?

• Wissensressourcen: Wikipedia, Wikidata
• Akademische Publikationen: arXiv, PubMed, DOAJ
• Web-Crawling: CommonCrawl, Amazon, YouTube
• Bücher: Google Books, Project Gutenberg
• Social Media: Reddit, Twitter
• Code: Github, Kaggle, StackOverflow
• Nachrichten: NYT, Google News, uvm.
• Anderes: Patente, Gesetze, etc.

(Wegen ‘rechtlicher Schwierigkeiten’ werden die Anbieter zunehmend verschwiegen bei dem Thema.)

Wie groß sind die Modelle?

Bezeichnung (Jahr, Anbieter)	Daten (Tokens)	Modell (Parameter)
GPT-3 (2020, OpenAI)	300 B	175B
GPT-4 (2023, OpenAI)	unbekannt	? 1 Trillion
LLama 2 (2023, Meta)	2 T	7B, 13B, 70B
DeepSeek V3.1 (2025)	unbekannt	671 B
Mistral Large 3 (2025)	unbekannt	675B / 41B active
GPT-OSS (2025, OpenAI, lokal)	unbekannt	20B, 120B
*OLMo-2 (2025, AllenAI, lokal)	5 T	7B, 13B, 32B
Qwen 3.6 (Juni 2026, lokal)	unbekannt	27B, 35B MoE

1 Billion Tokens ≈ 1000 Romane (je 100.000 Wörter) ≈ 3 Jahre Lektüre
Parameter = die Gewichte im neuronalen Netz
Faustregel für lokale Modelle: 1 B Parameter ≈ <1 GB benötiger Arbeitsspeicher (RAM)
Infos über Modelle, inkl. Openness: European Open Source AI Index.

Welche neuen Entwicklungen und aktuellen Themen gibt es?

Übersicht

• Was aktuelle Modelle gut können (und was nicht)
• Multimodale Sprachmodelle
• Mehrsprachigkeit / low-resoure languages
• Offene, effiziente Modelle für lokalen Einsatz

Was aktuelle Modelle gut können (und was nicht)

• Plausiblen, natürlich-sprachlichen Text generieren
• Wortvektoren für Annotationsaufgaben mobilisieren
• Mit mehrsprachigen Ressourcen umgehen
• Programmiercode generieren, erklären, verbessern
• Und (wegen RLHF): sozial erwünschte Reaktionen ausgeben
• Zunehmend (agentische Ansätze): selbständig Aufgaben lösen

Was aktuelle Modelle nicht so gut können

• Sich immer an die Faktenlage halten (bspw. keine Knowledge Base als Referenz)
• Analyse von Metrik und Reim (Frage der internen Repräsentation)
• Reproduzierbare Ergebnisse liefern (weil probabilistisch; hohe ‘Prompt-Sensitivität’)
• Zunehmend besser:
  • Strukturierte Daten liefern (nicht mehr nur ‘Prosa-Maschinen’)
  • Bei exotischeren technischen Fragen helfen (SPARQL, Typst)

Multimodale Sprachmodelle

• Modelle, die mit Sprache, aber auch mit Bildern umgehen können (Decoder und/oder Encoder)
• Absoluter “game changer” für Bild- und Kulturwissenschaften, Archive, Bibliotheken
• Erlaubt algorithmischen Zugang zum Bildinhalt (Objekte, Farben, Stile)

Offene, effiziente Modelle für lokalen Einsatz

• Vorteile
  • Sehr bequem bspw. über Ollama oder LM Studio (Chat oder API)
  • Bessere Reproduzierbarkeit
  • Besserer Datenschutz
  • Geringerer Ressourceneinsatz
  • Modelle für Text, Bild, Sprache, Code etc.
• Nachteile
  • Nicht absolute Top-Performance
  • Größere Modelle erfordern leistungsfähige Hardware (GPU)

Siehe ollama.com und LM Studio.

Weitere wichtige Themen

• Agentive AI (LLMs, die selbständig Lösungswege, Modelle, Datensätze auswählen)
• Ethical AI: soziale, politische, ökologische, ästhetische Konsequenzen
• Reproducible / explainable AI: mehr Transparenz und Reproduzierbarkeit

Lektürempfehlung: Raaijmakers (2025) (Implikationen und ‘bigger picture’) und Bender et al. (2021) (Kritik-Klassiker).

Fazit

Meine persönlichen ‘Lessons Learned’

• Begrifflich möglichst genau sein: Embeddings vs. generative LLMs vs. “KI”
• Der eigentliche “game changer” waren die BERT-Modelle: nuancierter, algorithmischer Zugang zu Semantik
• Europäische Modelle bspw. von Mistral haben Vorteile für romanische Sprachen
• Wann immer möglich lokale Modelle nutzen (Reproduzierbarkeit, Effizienz, Datenschutz)
• Immer möglichst offene Modelle nutzen, siehe European Open Source AI Index
• Im wiss. Kontext: LLMs nur für evaluierbare Tasks einsetzen (Annotationstasks vs. offene Wissenstasks)
• “Know when and when not to use LLMs”

Danke! Ich freue mich auf die Diskussion!

(Und hier geht es zu Teil 2: Anwendungsszenarien.)

References

Alammar, Jay. 2018. “The Illustrated Transformer.” JAlammar. https://jalammar.github.io/illustrated-transformer/.

Allam, Hesham, Lisa Makubvure, Benjamin Gyamfi, Kwadwo Nyarko Graham, and Kehinde Akinwolere. 2025. “Text Classification: How Machine Learning Is Revolutionizing Text Categorization.” Information 16 (2): 130. https://doi.org/10.3390/info16020130.

Bender, Emily M., Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell. 2021. “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜.” In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–23. FAccT ’21. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3442188.3445922.

Philips, Hunter. 2023. “A Simple Introduction to Gradient Descent.”

Raaijmakers, Stephan. 2025. Large Language Models. MIT Press.

Russell, Stuart J., and Peter Norvig. 2022. Artificial Intelligence: A Modern Approach. Fourth edition, global edition. Boston: Pearson.

Schöch, Christof. 2022. “Quantitative Semantik. Word Embedding Models für literaturwissenschaftliche Fragestellungen.” In Digitale Literaturwissenschaft: DFG-Symposion 2017, edited by Fotis Jannidis, 535–62. Stuttgart: Metzler. https://doi.org/10.1007/978-3-476-05886-7_22.

Skansi, Sandro. 2018. Introduction to Deep Learning: From Logical Calculus to Artificial Intelligence. Undergraduate Topics in Computer Science. Cham: Springer. https://doi.org/10.1007/978-3-319-73004-2.

Widdows, Dominic. 2004. Geometry and Meaning. Stanford: CSLI Publ.

Widdows, Dominic, and Trevor Cohen. 2025. Large Language Models: How They Work and Why They Matter. Semantic Vectors Publishing.