Ein praktischer Leitfaden für große Sprachmodelle: von der Feinabstimmung bis hin zu RAG und Agenten
Die Shanghai Jiao Tong University (SJTU) hat einen offenen Kurs „Dive into LLMs“ (动手学大模型) veröffentlicht – eine Schritt-für-Schritt-Anleitung für die Arbeit mit großen Sprachmodellen: von der Feinabstimmung und RAG bis hin zum Aufbau von Agenten und Sicherheit. Das Material basiert auf NLP- und AI-Sicherheitsvorlesungen, die an der School of Computer Science gehalten werden, und umfasst betriebsbereite Jupyter-Notebooks für jede Phase – von der Umgebungseinrichtung bis hin zu fortgeschrittenen Techniken wie RLHF-Ausrichtung und Steganographie in der Generierung.
Was ist im Kurs enthalten?
Der Kurs ist in 11 unabhängige Kapitel unterteilt, jedes ein separates Notizbuch mit Code und Erklärungen. Einführungsmodule decken die grundlegende Infrastruktur ab: Laden von Modellen über Hugging Face Transformers, effiziente Bereitstellung auf vLLM, Aufrufen von Cloud-LLM-APIs. Als nächstes folgen praktische Blöcke: Prompt Engineering mit Vorlagen für Chat, Zusammenfassung und Faktenextraktion; LoRA/QLoRA Feinabstimmung eines 4B-Modells auf Consumer-Hardware; Aufbau einer RAG-Pipeline mit Vektordatenbanken (Milvus, Chroma, FAISS) und Rerankern; Entwicklung von Agenten auf LangChain/LangGraph mit Tools, Speicher und dem MCP-Protokoll.
Fortgeschrittene Themen: Sicherheit und versteckte Fähigkeiten
Spezielle Kapitel behandeln Themen, die in einfachen Tutorials selten vorkommen: Wissensbearbeitung ohne Umschulung, Schutz vor Jailbreaks und Prompt-Injection, Wasserzeichen in generiertem Text, Steganographie – Einbetten unsichtbarer Markierungen in Modellausgaben, RLHF-Ausrichtung mit PPO. Alle Notebooks laufen auf einer einzelnen RTX 4090 (24 GB VRAM) oder in kostenlosen Cloud-Umgebungen wie AutoDL / CodeWithGPU.
Wie fange ich an?
GitHub-Repository: Lordog/dive-into-lms (50.000+ Sterne). Klonen Sie, wählen Sie ein interessantes Kapitel aus und führen Sie die Notizbuchzellen der Reihe nach aus. Für die Feinabstimmung und RAG Kapitel benötigen Sie eine GPU – die README-Links zu vorgefertigten Docker-Images und Anweisungen zum Mieten günstiger Instanzen. Der Kurs ist völlig kostenlos, Apache-2.0-lizenziert und PRs mit Korrekturen und neuen Themen sind willkommen.
Quelle: GitHub – „动手学大模型“-Reihe
