מדריך מעשי למודלים של שפות גדולות: מכיוונון עדין ועד RAG וסוכנים

אוניברסיטת Shanghai Jiao Tong (SJTU) פרסמה קורס פתוח "צלול לתוך LLMs" (动手学大模型) - מדריך שלב אחר שלב לעבודה עם מודלים של שפות גדולות: מכוונון עדין ו-RAG ועד סוכני בנייה ובטיחות. החומר מבוסס על הרצאות אבטחה של NLP ו-AI הנלמדות בבית הספר למדעי המחשב וכולל מחברות Jupyter מוכנות להפעלה לכל שלב - מהגדרת הסביבה ועד לטכניקות מתקדמות כמו יישור RLHF וסטגנוגרפיה בדור.

מה יש בתוך הקורס

הקורס מחולק ל-11 פרקים עצמאיים, כל אחד מחברת נפרדת עם קוד והסברים. מודולי היכרות מכסים תשתית בסיסית: טעינת מודלים באמצעות Hugging Face Transformers, הגשה יעילה ב-vLLM, קריאת ממשקי API של ענן LLM. בהמשך באים בלוקים מעשיים: הנדסה מהירה עם תבניות לצ'אט, סיכום והפקת עובדות; כוונון עדין של LoRA/QLoRA של דגם 4B על חומרה לצרכן; בניית צינור RAG עם מסדי נתונים וקטוריים (Milvus, Chroma, FAISS) ומדריכים מחדש; פיתוח סוכנים על LangChain/LangGraph עם כלים, זיכרון ופרוטוקול MCP.

נושאים מתקדמים: בטיחות ויכולות נסתרות

פרקים ייעודיים מכסים נושאים שרואים לעתים רחוקות במדריכים בסיסיים: עריכת ידע ללא הדרכה מחדש, הגנה מפני פריצות לכלא והזרקה מיידית, סימני מים בטקסט שנוצר, סטגנוגרפיה - הטמעת סימנים בלתי נראים בפלטי המודל, יישור RLHF עם PPO. כל המחשבים הניידים פועלים על RTX 4090 יחיד (24 GB VRAM) או בסביבות ענן חינמיות כמו AutoDL / CodeWithGPU.

איך להתחיל

מאגר GitHub:לורדוג/צלילה-ל-llms(50 אלף+ כוכבים). שכפל, בחר פרק מעניין והפעל את תאי המחברת לפי הסדר. עבור כוונון עדין ופרקי RAG תזדקק ל-GPU - ה-README קישורים לתמונות Docker מוכנות והוראות לשכירת מופעים זולים. הקורס חינמי לחלוטין, מורשה Apache-2.0, ואנשי יחסי ציבור עם תיקונים ונושאים חדשים יתקבלו בברכה.

מָקוֹר:GitHub - סדרת "动手学大模型".