Een praktische gids voor grote taalmodellen: van finetuning tot RAG en agents
Shanghai Jiao Tong University (SJTU) heeft een open cursus "Dive into LLMs" (动手学大模型) uitgebracht - een stapsgewijze handleiding voor het werken met grote taalmodellen: van verfijning en RAG tot het bouwen van agenten en veiligheid. Het materiaal is gebaseerd op NLP- en AI-beveiligingslezingen die worden gegeven aan de School of Computer Science en bevat kant-en-klare Jupyter-notebooks voor elke fase – van het opzetten van de omgeving tot geavanceerde technieken zoals RLHF-uitlijning en steganografie in generatie.
Wat zit er in de cursus
De cursus is opgesplitst in 11 onafhankelijke hoofdstukken, elk een apart notitieboekje met code en uitleg. Inleidende modules behandelen de basisinfrastructuur: modellen laden via Hugging Face Transformers, efficiënt serveren op vLLM, cloud LLM API's aanroepen. Vervolgens komen praktische blokken: prompt engineering met sjablonen voor chat, samenvatting en extractie van feiten; LoRA/QLoRA verfijning van een 4B-model op consumentenhardware; het bouwen van een RAG-pijplijn met vectordatabases (Milvus, Chroma, FAISS) en rerankers; agenten ontwikkelen op LangChain/LangGraph met tools, geheugen en het MCP-protocol.
Geavanceerde onderwerpen: veiligheid en verborgen mogelijkheden
Speciale hoofdstukken behandelen onderwerpen die zelden voorkomen in basistutorials: kennisbewerking zonder omscholing, verdediging tegen jailbreaks en snelle injectie, watermerken in gegenereerde tekst, steganografie – het inbedden van onzichtbare markeringen in modeluitvoer, RLHF-uitlijning met PPO. Alle notebooks draaien op een enkele RTX 4090 (24 GB VRAM) of in gratis cloudomgevingen zoals AutoDL / CodeWithGPU.
Hoe te beginnen
GitHub-opslagplaats:Lordog/duik-in-llms(50k+ sterren). Kloon, kies een interessant hoofdstuk en voer de notebookcellen op volgorde uit. Voor fine-tuning en RAG-hoofdstukken heb je een GPU nodig - de README-links naar kant-en-klare Docker-images en instructies voor het huren van goedkope instances. De cursus is volledig gratis, heeft een Apache-2.0-licentie en PR's met oplossingen en nieuwe onderwerpen zijn welkom.
