En praktisk guide til store sprogmodeller: fra finjustering til RAG og agenter

Shanghai Jiao Tong University (SJTU) har udgivet et åbent kursus "Dive into LLMs" (动手学大模型) - en trin-for-trin guide til at arbejde med store sprogmodeller: fra finjustering og RAG til byggeagenter og sikkerhed. Materialet er baseret på NLP- og AI-sikkerhedsforelæsninger, der undervises på School of Computer Science og inkluderer klar til at køre Jupyter-notebooks til hvert trin - fra miljøopsætning til avancerede teknikker som RLHF-justering og steganografi i generation.

Hvad er der inde i kurset

Kurset er opdelt i 11 selvstændige kapitler, hver en separat notesbog med kode og forklaringer. Introduktionsmoduler dækker grundlæggende infrastruktur: indlæsning af modeller via Hugging Face Transformers, effektiv visning på vLLM, kalder cloud LLM API'er. Dernæst kommer praktiske blokke: hurtig udvikling med skabeloner til chat, opsummering og faktaudtræk; LoRA/QLoRA finjustering af en 4B-model på forbrugerhardware; opbygning af en RAG-pipeline med vektordatabaser (Milvus, Chroma, FAISS) og rerankere; udvikle agenter på LangChain/LangGraph med værktøjer, hukommelse og MCP-protokollen.

Avancerede emner: sikkerhed og skjulte muligheder

Dedikerede kapitler dækker emner, der sjældent ses i grundlæggende selvstudier: vidensredigering uden genoptræning, forsvar mod jailbreaks og hurtig indsprøjtning, vandmærker i genereret tekst, steganografi - indlejring af usynlige mærker i modeloutput, RLHF-justering med PPO. Alle notebooks kører på en enkelt RTX 4090 (24 GB VRAM) eller i gratis cloud-miljøer som AutoDL / CodeWithGPU.

Sådan starter du

GitHub-lager:Lordog/dykke-i-llms(50k+ stjerner). Klon, vælg et kapitel af interesse, og kør notebook-cellerne i rækkefølge. Til finjustering og RAG-kapitler skal du bruge en GPU - README-linkene til færdiglavede Docker-billeder og instruktioner til leje af billige forekomster. Kurset er helt gratis, Apache-2.0 licenseret, og PR'er med rettelser og nye emner er velkomne.

Kilde:GitHub — "动手学大模型"-serien