سلام دوست عزیز😃👋

لینک‌های مفید برای شرکت در مسابقه:

در طول مسابقه، می‌توانید سؤالات خود را از قسمت «سؤال بپرسید» مطرح کنید.

در زمان‌های زیر، پاسخگوی سؤالات شما هستیم:

  • ۹:۰۰ تا ۱۰:۳۰
  • ۱۲:۳۰ تا ۱۴:۰۰

فراموش نکنید فایل کد سؤالات «آزمایش احسان»، «فارسی‌بازی» و «جلال‌برت!» رو در بخش «بارگذاری کدها» (سؤال آخر) بارگذاری کنید.

موفق باشید 😉✌

پروژه نسترن


محتوای مربوط یه این سوال را می‌توانید از این لینک دانلود کنید.

نسترن این ترم برای درس مدل‌های زبانی بزرگ (Large Language Model) باید یک کد تنظیم‌دقیق (fine tune) برای یک مدل زبانی توسعه دهد. او پس از جستجو در مخزن‌های کد موجود یک کد نسبتاً مناسب پیدا کرده است اما نمی‌تواند این کد را اجرا کند.

این کد یک مدل زبانی از نوع gpt-2 که روی نظرات فارسی تنظیم‌دقیق، شده است به آدرس (HooshvareLab/gpt2-fa) را روی یک مجموعه‌داده‌ی ترجمه شده از alpaca به زبان فارسی تنظیم‌دقیق ‌می‌کند. مجموعه‌داده در فولدر dataset موجود است. دستور (Prompt) مورد استفاده نیز در فولدر utils قرار داده شده است. به نسترن کمک کنید که بتواند این کدها را روی Colab و با تنظیمات زیر اجرا کند.

batch_size=64
num_epochs=2
learning_rate=3e-5
lr_schedular=cosine
optimizer=admaw-torch
Warmup_ratio=0.05
warmup_steps=10
max_seq_length=1024
Python

در ضمن تنظیمات آموزش مدل را به نحوی قرار دهید که:

  • از mixed precision training با تنظیمات fp16 استفاده شود

  • در هر ۵۰ مرحله (step) یک نسخه از مدل ذخیره شود و حداکثر ۳ نسخه آخر از مدل نگه داشته شود.

  • در هر ۱۰ مرحله (step) مقدار تابع هزینه و نرخ یادگیری (Learning Rate) و درصد پیشرفت هر ایپاک (ِEpoch) در خروجی چاپ شود.

  • خروجی مدل به صورت safetensors ذخیره شود

  • نام پروژه در wandb به صورت LLM-Hackathon باشد.

خروجی نهایی🔗

فایل‌های تکمیل شده خود را نیز شامل فولدرها و فایل زیر به صورت فشرده شده با نام result.zip و با همان ساختار فعلی پروژه ذخیره کنید و ارسال کنید.

  • از فولدر /results پوشه و محتویات فولدر pt_lora_model و فایل result.log

  • فولدر /Arguments

  • فولدر /models

  • فولدر /utils

  • فایل requirements.txt

  • فایل run.sh

  • فایل run_model.py

  • فایل main.py

ارسال پاسخ برای این سؤال
در حال حاضر شما دسترسی ندارید.