Praktyczny przewodnik po dużych modelach językowych: od dostrajania po RAG i agentów

Uniwersytet Jiao Tong w Szanghaju (SJTU) opublikował otwarty kurs „Zanurz się w LLM” (动手学大模型) — przewodnik krok po kroku dotyczący pracy z dużymi modelami językowymi: od dostrajania i RAG po agentów budowlanych i bezpieczeństwo. Materiał opiera się na wykładach dotyczących bezpieczeństwa NLP i sztucznej inteligencji prowadzonych w Szkole Informatyki i zawiera gotowe do uruchomienia notatniki Jupyter na każdym etapie — od konfiguracji środowiska po zaawansowane techniki, takie jak wyrównanie RLHF i steganografia w generowaniu.

Co znajduje się w kursie

Kurs jest podzielony na 11 niezależnych rozdziałów, każdy z nich stanowi oddzielny notatnik z kodem i objaśnieniami. Moduły wprowadzające obejmują podstawową infrastrukturę: ładowanie modeli za pomocą Hugging Face Transformers, wydajne serwowanie na vLLM, wywoływanie API LLM w chmurze. Następnie przychodzą bloki praktyczne: szybka inżynieria z szablonami do czatu, podsumowań i wydobywania faktów; Dostrajanie LoRA/QLoRA modelu 4B na sprzęcie konsumenckim; budowanie rurociągu RAG z wektorowymi bazami danych (Milvus, Chroma, FAISS) i rerankerami; tworzenie agentów na LangChain/LangGraph z narzędziami, pamięcią i protokołem MCP.

Tematy zaawansowane: bezpieczeństwo i ukryte możliwości

Dedykowane rozdziały obejmują tematy rzadko spotykane w podstawowych tutorialach: edycja wiedzy bez ponownego szkolenia, obrona przed jailbreakami i natychmiastowym wstrzykiwaniem, znaki wodne w wygenerowanym tekście, steganografia — osadzanie niewidzialnych znaków w wynikach modelu, wyrównanie RLHF z PPO. Wszystkie notebooki działają na pojedynczej karcie RTX 4090 (24 GB VRAM) lub w bezpłatnych środowiskach chmurowych, takich jak AutoDL / CodeWithGPU.

Jak zacząć

Repozytorium GitHuba:Lordog/zanurz się w-llms(50 tys.+ gwiazdek). Klonuj, wybierz interesujący Cię rozdział i uruchom komórki notatnika w odpowiedniej kolejności. Do dostrajania i rozdziałów RAG będziesz potrzebować procesora graficznego — linki README do gotowych obrazów Dockera i instrukcji wynajmu tanich instancji. Kurs jest całkowicie darmowy, posiada licencję Apache-2.0, mile widziane są PR-y z poprawkami i nowymi tematami.

Źródło:GitHub — seria „动手学大模型”.