سلام دوست عزیز😃👋
لینکهای مفید برای شرکت در مسابقه:
در طول مسابقه، میتوانید سؤالات خود را از قسمت «سؤال بپرسید» مطرح کنید.
در زمانهای زیر، پاسخگوی سؤالات شما هستیم:
فراموش نکنید فایل کد سؤالات «آزمایش احسان»، «فارسیبازی» و «جلالبرت!» رو در بخش «بارگذاری کدها» (سؤال آخر) بارگذاری کنید.
موفق باشید 😉✌
محتوای مربوط یه این سوال را میتوانید از این لینک دانلود کنید. |
---|
نسترن این ترم برای درس مدلهای زبانی بزرگ (Large Language Model) باید یک کد تنظیمدقیق (fine tune) برای یک مدل زبانی توسعه دهد. او پس از جستجو در مخزنهای کد موجود یک کد نسبتاً مناسب پیدا کرده است اما نمیتواند این کد را اجرا کند.
این کد یک مدل زبانی از نوع gpt-2 که روی نظرات فارسی تنظیمدقیق، شده است به آدرس (HooshvareLab/gpt2-fa) را روی یک مجموعهدادهی ترجمه شده از alpaca به زبان فارسی تنظیمدقیق میکند. مجموعهداده در فولدر dataset
موجود است. دستور (Prompt) مورد استفاده نیز در فولدر utils
قرار داده شده است. به نسترن کمک کنید که بتواند این کدها را روی Colab و با تنظیمات زیر اجرا کند.
در ضمن تنظیمات آموزش مدل را به نحوی قرار دهید که:
از mixed precision training با تنظیمات fp16
استفاده شود
در هر ۵۰ مرحله (step) یک نسخه از مدل ذخیره شود و حداکثر ۳ نسخه آخر از مدل نگه داشته شود.
در هر ۱۰ مرحله (step) مقدار تابع هزینه و نرخ یادگیری (Learning Rate) و درصد پیشرفت هر ایپاک (ِEpoch) در خروجی چاپ شود.
خروجی مدل به صورت safetensors
ذخیره شود
نام پروژه در wandb
به صورت LLM-Hackathon
باشد.
فایلهای تکمیل شده خود را نیز شامل فولدرها و فایل زیر به صورت فشرده شده با نام result.zip
و با همان ساختار فعلی پروژه ذخیره کنید و ارسال کنید.
از فولدر /results
پوشه و محتویات فولدر pt_lora_model
و فایل result.log
فولدر /Arguments
فولدر /models
فولدر /utils
فایل requirements.txt
فایل run.sh
فایل run_model.py
فایل main.py