Gyakorlati útmutató a nagy nyelvi modellekhez: a finomhangolástól a RAG-ig és az ügynökökig
A Shanghai Jiao Tong Egyetem (SJTU) kiadott egy nyílt kurzust: „Merüljön el az LLM-ekbe” (动手学大模型) – lépésről lépésre útmutató a nagy nyelvi modellekkel való munkavégzéshez: a finomhangolástól és a RAG-tól az építőanyagokig és a biztonságig. Az anyag a Számítógéptudományi Iskolában tanított NLP és AI biztonsági előadásokon alapul, és minden szakaszban futtatásra kész Jupyter notebookokat tartalmaz – a környezetbeállítástól a fejlett technikákig, mint például az RLHF-igazítás és a szteganográfia a generálás során.
Mi van a tanfolyamon belül
A kurzus 11 független fejezetre oszlik, mindegyik külön jegyzetfüzet kóddal és magyarázatokkal. A bevezető modulok lefedik az alapvető infrastruktúrát: modellek betöltése Hugging Face Transformers segítségével, hatékony kiszolgálás vLLM-en, felhőalapú LLM API-k hívása. Következnek a gyakorlati blokkok: gyors tervezés sablonokkal a csevegéshez, összefoglaláshoz és tények kinyeréséhez; 4B modell LoRA/QLoRA finomhangolása fogyasztói hardveren; RAG pipeline építése vektoradatbázisokkal (Milvus, Chroma, FAISS) és átrendezőkkel; ügynökök fejlesztése a LangChain/LangGraph-on eszközökkel, memóriával és MCP protokollal.
Haladó témák: biztonság és rejtett képességek
A dedikált fejezetek az alapvető oktatóanyagokban ritkán látható témákat fedik le: tudásszerkesztés átképzés nélkül, védelem a jailbreak és azonnali befecskendezés ellen, vízjelek a generált szövegben, szteganográfia – láthatatlan jelek beágyazása a modellkimenetekbe, RLHF-illesztés a PPO-val. Minden notebook egyetlen RTX 4090-en (24 GB VRAM) vagy ingyenes felhőkörnyezetben, például AutoDL / CodeWithGPU-n fut.
Hogyan kezdjem
GitHub adattár:Lordog/dive-into-llms(50 ezer+ csillag). Klónozzon, válasszon ki egy érdekes fejezetet, és futtassa sorrendben a notebook celláit. A finomhangoláshoz és a RAG-fejezetekhez GPU-ra lesz szüksége – a README hivatkozások a kész Docker-képekre és az olcsó példányok bérlésére vonatkozó utasításokra mutatnak. A tanfolyam teljesen ingyenes, Apache-2.0 licenccel, és várjuk a PR-okat javításokkal és új témákkal.
Forrás:GitHub – „动手学大模型” sorozat
