Ένας πρακτικός οδηγός για μεγάλα γλωσσικά μοντέλα: από τη λεπτομέρεια μέχρι το RAG και τους πράκτορες
Το Πανεπιστήμιο Jiao Tong της Σαγκάης (SJTU) κυκλοφόρησε ένα ανοιχτό μάθημα "Dive into LLMs" (动手学大模型) — έναν οδηγό βήμα προς βήμα για την εργασία με μεγάλα γλωσσικά μοντέλα: από τη λεπτομέρεια και το RAG έως τους κατασκευαστικούς παράγοντες και την ασφάλεια. Το υλικό βασίζεται σε διαλέξεις ασφάλειας NLP και AI που διδάσκονται στη Σχολή Επιστήμης Υπολογιστών και περιλαμβάνει έτοιμα προς λειτουργία σημειωματάρια Jupyter για κάθε στάδιο — από τη ρύθμιση περιβάλλοντος έως προηγμένες τεχνικές όπως η ευθυγράμμιση RLHF και η στεγανογραφία στη γενιά.
Τι υπάρχει μέσα στο μάθημα
Το μάθημα χωρίζεται σε 11 ανεξάρτητα κεφάλαια, το καθένα ξεχωριστό σημειωματάριο με κώδικα και επεξηγήσεις. Οι εισαγωγικές ενότητες καλύπτουν βασική υποδομή: φόρτωση μοντέλων μέσω Hugging Face Transformers, αποτελεσματική εξυπηρέτηση σε vLLM, κλήση cloud LLM API. Ακολουθούν πρακτικά μπλοκ: άμεση μηχανική με πρότυπα για συνομιλία, σύνοψη και εξαγωγή γεγονότων. Τελειοποίηση LoRA/QLoRA ενός μοντέλου 4Β σε καταναλωτικό υλικό. κατασκευή ενός αγωγού RAG με διανυσματικές βάσεις δεδομένων (Milvus, Chroma, FAISS) και rerankers. ανάπτυξη πρακτόρων στο LangChain/LangGraph με εργαλεία, μνήμη και το πρωτόκολλο MCP.
Προηγμένα θέματα: ασφάλεια και κρυφές δυνατότητες
Τα αφιερωμένα κεφάλαια καλύπτουν θέματα που σπάνια συναντώνται σε βασικά σεμινάρια: επεξεργασία γνώσεων χωρίς επανεκπαίδευση, άμυνα έναντι jailbreak και άμεση έγχυση, υδατογραφήματα στο κείμενο που δημιουργείται, στεγανογραφία — ενσωμάτωση αόρατων σημαδιών σε εξόδους μοντέλων, ευθυγράμμιση RLHF με PPO. Όλοι οι φορητοί υπολογιστές τρέχουν σε ένα μόνο RTX 4090 (24 GB VRAM) ή σε περιβάλλοντα δωρεάν cloud, όπως το AutoDL / CodeWithGPU.
Πώς να ξεκινήσετε
Αποθετήριο GitHub:Lordog/ dive-into-llms(50k+ αστέρια). Κλωνοποιήστε, επιλέξτε ένα κεφάλαιο που σας ενδιαφέρει και εκτελέστε τα κελιά του σημειωματάριου με τη σειρά. Για λεπτομέρεια και κεφάλαια RAG θα χρειαστείτε μια GPU — οι σύνδεσμοι README με έτοιμες εικόνες Docker και οδηγίες για ενοικίαση φθηνών παρουσιών. Το μάθημα είναι εντελώς δωρεάν, με άδεια χρήσης Apache-2.0 και PR με διορθώσεις και νέα θέματα είναι ευπρόσδεκτα.
