| محتوای مربوط یه این سوال را می‌توانید از [این لینک](/contest/assignments/65406/download_problem_initial_project/223713/) دانلود کنید.| | :--: | نسترن این ترم برای درس مدل‌های زبانی بزرگ (*Large Language Model*) باید یک کد **تنظیم‌دقیق (fine tune)** برای یک مدل زبانی توسعه دهد. او پس از جستجو در مخزن‌های کد موجود یک کد نسبتاً مناسب پیدا کرده است اما نمی‌تواند این کد را اجرا کند. این کد یک مدل زبانی از نوع gpt-2 که روی نظرات فارسی تنظیم‌دقیق، شده است به آدرس [(HooshvareLab/gpt2-fa)](https://huggingface.co/HooshvareLab/gpt2-fa) را روی یک مجموعه‌داده‌ی ترجمه شده از *alpaca* به زبان فارسی تنظیم‌دقیق ‌می‌کند. مجموعه‌داده در فولدر `dataset` موجود است. دستور (*Prompt*) مورد استفاده نیز در فولدر `utils` قرار داده شده است. به نسترن کمک کنید که بتواند این کدها را روی Colab و با تنظیمات زیر اجرا کند. ``` python batch_size=64 num_epochs=2 learning_rate=3e-5 lr_schedular=cosine optimizer=admaw-torch Warmup_ratio=0.05 warmup_steps=10 max_seq_length=1024 ``` در ضمن تنظیمات آموزش مدل را به نحوی قرار دهید که: + از *mixed precision training* با تنظیمات `fp16` استفاده شود + در هر ۵۰ مرحله (*step*) یک نسخه از **مدل** ذخیره شود و **حداکثر** ۳ نسخه آخر از مدل نگه داشته شود. + در هر ۱۰ مرحله (*step*) **مقدار تابع هزینه** و **نرخ یادگیری (Learning Rate)** و درصد پیشرفت هر **ایپاک (ِ*Epoch*)** در خروجی چاپ شود. + خروجی مدل به صورت `safetensors` ذخیره شود + نام پروژه در `wandb` به صورت `LLM-Hackathon` باشد. ## خروجی نهایی فایل‌های تکمیل شده خود را نیز شامل فولدرها و فایل زیر به صورت فشرده شده با نام `result.zip` و با همان ساختار فعلی پروژه ذخیره کنید و ارسال کنید. + از فولدر `/results` پوشه و محتویات فولدر `pt_lora_model` و فایل `result.log` + فولدر `/Arguments` + فولدر `/models` + فولدر `/utils` + فایل `requirements.txt` + فایل `run.sh` + فایل `run_model.py` + فایل `main.py`