Ein praktischer Leitfaden für große Sprachmodelle: Von der Vorschulung bis zu RAG und Agenten

Shanghai 交通大学 (SJTU) hat den offenen Kurs „动手学大模型“ (Dive into LLMs) veröffentlicht – eine Schritt-für-Schritt-Anleitung für die Arbeit mit großen Sprachmodellen: von der Feinabstimmung und RAG bis hin zum Agentenaufbau und der Sicherheit. Das Material basiert auf Vorlesungen über NLP- und KI-Sicherheit, die an der Fakultät für Informatik gehalten werden, und umfasst vorgefertigte Jupyter-Notebooks für jede Phase – von der Einrichtung der Umgebung bis hin zu fortgeschrittenen Techniken wie RLHF-Ausrichtung und versteckter Datenübertragung (Steganographie) bei der Generierung.

Was ist im Kurs enthalten?

Der Kurs ist in 11 unabhängige Kapitel unterteilt, jedes ein separates Notizbuch mit Code und Erklärungen. Startermodule decken die grundlegende Infrastruktur ab: Laden von Modellen über Hugging Face Transformers, effizienter Service auf vLLM, Aufruf von API Cloud LLM. Als nächstes kommen die praktischen Blöcke: Prompt Engineering mit Vorlagen für Chat, Zusammenfassung und Faktenextraktion; LoRA/QLoRA-Zusatzschulung des 4B-Modells auf Consumer-Hardware; Aufbau einer RAG-Pipeline mit Vektordatenbanken (Milvus, Chroma, FAISS) und Rerankern; Entwicklung von Agenten auf LangChain/LangGraph mit Tools, Speicher und MCP-Protokoll.

Fortgeschrittene Themen: Sicherheit und versteckte Funktionen

Separate Kapitel sind Themen gewidmet, die in Basis-Tutorials selten vorkommen: Wissensbearbeitung eines Modells ohne Umschulung, Schutz vor Jailbreaks und Hinweisangriffen, Wasserzeichen im generierten Text, Steganographie – Einbetten unsichtbarer Markierungen in Modellantworten, RLHF-Ausrichtung auf PPO. Alle Laptops laufen auf einer einzigen RTX 4090 (24 GB VRAM) oder kostenlosen Cloud-Umgebungen wie AutoDL / CodeWithGPU.

So fangen Sie an

Repository auf GitHub: Lordog/dive-into-lms (50.000+ Sterne). Klonen Sie, wählen Sie ein Kapitel von Interesse aus und führen Sie die Notizbuchzellen der Reihe nach aus. Für die Kapitel über zusätzliche Schulungen und RAG benötigen Sie eine GPU – die README enthält Links zu vorgefertigten Docker-Images und Anleitungen zum Mieten günstiger Instanzen. Der Kurs ist völlig kostenlos, Apache-2.0-Lizenz, PR mit Korrekturen und neue Themen sind willkommen.

Quelle: GitHub – „动手学大模型“-Reihe