Käytännön opas suuriin kielimalleihin: hienosäädöstä RAG:iin ja agentteihin
Shanghai Jiao Tong University (SJTU) on julkaissut avoimen kurssin "Dive into LLMs" (动手学大模型) – vaiheittaisen oppaan työskentelyyn suurten kielimallien kanssa: hienosäädöstä ja RAG:sta rakennusagentteihin ja turvallisuuteen. Materiaali perustuu tietotekniikan korkeakoulussa opetettuihin NLP- ja AI-tietoturvaluennoille, ja se sisältää käyttövalmiita Jupyter-kannettavia jokaiseen vaiheeseen – ympäristön asetuksista kehittyneisiin tekniikoihin, kuten RLHF-kohdistus ja steganografia sukupolvessa.
Mitä kurssin sisällä on
Kurssi on jaettu 11 itsenäiseen lukuun, joista jokainen on erillinen muistikirja koodilla ja selityksillä. Esittelymoduulit kattavat perusinfrastruktuurin: mallien lataamisen Hugging Face Transformersin kautta, tehokkaan palvelun vLLM:ssä, pilvi-LLM-sovellusliittymien kutsumisen. Seuraavaksi tulevat käytännön lohkot: nopea suunnittelu chat-, yhteenveto- ja faktojen poiminnan malleilla; 4B-mallin LoRA/QLoRA-hienosäätö kuluttajalaitteistolla; RAG-putkilinjan rakentaminen vektoritietokannoilla (Milvus, Chroma, FAISS) ja uudelleensijoittajilla; agenttien kehittäminen LangChain/LangGraphissa työkalujen, muistin ja MCP-protokollan avulla.
Edistyneet aiheet: turvallisuus ja piilotetut ominaisuudet
Omituissa luvuissa käsitellään aiheita, joita harvoin nähdään perusopetusohjelmissa: tiedon muokkaaminen ilman uudelleenkoulutusta, suojautuminen jailbreakiltä ja nopealta injektiolta, vesileimat luodussa tekstissä, steganografia – näkymättömien merkkien upottaminen mallin tulosteisiin, RLHF-linjaus PPO:n kanssa. Kaikki kannettavat tietokoneet toimivat yhdellä RTX 4090:llä (24 Gt VRAM) tai ilmaisissa pilviympäristöissä, kuten AutoDL / CodeWithGPU.
Kuinka aloittaa
GitHub-arkisto:Lordog/dive-into-llms(50 000+ tähteä). Kloonaa, valitse kiinnostava luku ja suorita muistikirjan solut järjestyksessä. Hienosäätöä ja RAG-lukuja varten tarvitset GPU:n – README-linkit valmiisiin Docker-kuviin ja ohjeisiin halpojen instanssejen vuokraamiseen. Kurssi on täysin ilmainen, Apache-2.0 lisensoitu, ja PR:t korjauksilla ja uusilla aiheilla ovat tervetulleita.
Lähde:GitHub — "动手学大模型" -sarja
