اگه قراره یه ویدیو دربارهٔ LLMها ببینید…
ویدیوی Deep Dive into LLMs like ChatGPT از کارپتی؛ با یه برنامهٔ ساده برای دیدنش.
اگه فقط قراره یه ویدیو دربارهٔ LLMها ببینید، به نظرم این یکی رو ببینید:
Deep Dive into LLMs like ChatGPT — Andrej Karpathy
یه ویدیوی حدوداً ۳.۵ ساعته که از جمع‌کردن دیتای اینترنت شروع می‌کنه و می‌رسه به اینکه مدل چطور جواب می‌ده، چطور دستیار می‌شه و چرا بعضی وقت‌ها جواب غلط رو با اعتمادبه‌نفس تحویلمون می‌ده.
برای مخاطب عمومی ساخته شده؛ یعنی لازم نیست برنامه‌نویس باشید. ولی اگر هم هستید، باز دیدنش می‌تونه به فهمیدنِ چیزی که هر روز باهاش کار می‌کنیم کمک کنه.
چه چیزهایی رو پوشش می‌ده؟
- داده‌های آموزش از کجا میان و چطور تمیز می‌شن.
- متن چطور به توکن و عدد تبدیل می‌شه.
- شبکهٔ عصبی و فرایند پاسخ‌دادن مدل.
- اینکه چرا مدل Base هنوز «دستیار» نیست.
- Post-training، Fine-tuning و Reinforcement Learning.
- Hallucination، استفاده از ابزار و بعضی کارهای ظاهراً ساده که مدل‌ها هنوز توشون اشتباه می‌کنن.
پیشنهادم برای دیدنش
اگر وقت دیدن یک‌جاش رو ندارید، توی سه جلسه ببینیدش. جلسهٔ اول از داده‌ها تا مدل پایه؛ جلسهٔ دوم از ساخت دستیار تا محدودیت‌ها؛ جلسهٔ سوم هم آموزش و تصویر کلی‌تر ماجرا.
بعد از هر جلسه چند خط از چیزهایی که فهمیدید برای خودتون بنویسید. حتی اگر شد چند تا سؤال که هنوز جوابشون رو نمی‌دونید. به نظرم این مکث کوتاه از پلی‌کردنِ بی‌وقفهٔ ادامهٔ ویدیو مفیدتره.
ما هر روز با این مدل‌ها حرف می‌زنیم؛ بد نیست یه بار هم با حوصله ببینیم پشت این جواب‌ها چه خبره.