جلال بعد از مشاهده نتایج آزمایش‌هایی که احسان در سوال اول روی مدل برت *[(HooshvareLab/bert-fa-zwnj-base)](https://huggingface.co/HooshvareLab/bert-fa-zwnj-base)* انجام داده بود این ایده به ذهنش رسید که برخی از بلوک‌های مدل را حذف کند تا مدل کوچکتر و سریع‌تر شود، اما طبیعی است که با این کار مدل به درستی کار نخواهد کرد و نیاز به تنظیم‌دقیق (fine-tuning) مجدد دارد. برای این‌کار جلال فقط ایده‌ی پردازی کرده است و از شما می‌خواهد پیاده‌سازی ایده‌هایش را انجام دهید.
جلال از شما می‌خواهد، از مدل پایه فقط لایه‌های شماره صفر، ۴، ۸ و ۱۱ را نگه‌دارید و بقیه را حذف کنید. جالب است که در نهایت جلال اسم این مدل را «جلال‌برت» گذاشت!
ابتدا به عنوان **مدل پایه (baseline)** تصمیم به ارزیابی «جلال‌برت» گرفت و برای این کار به ازاء تمام توکن‌هایی که در *Tokenizer* مدل وجود داشت خروجی **لایه آخر** را با خروجی **لایه آخر مدل هوشواره** مقایسه کرد و میانگین تابع هزینه را بر اساس تابع **Kullback-Leibler Divergence** و **MSE** به طور جداگانه محاسبه کرد.
سپس تصمیم به تنظیم‌دقیق مدل گرفت.این تنظیم دقیق به صورت **لایه به لایه (layer-wise)** انجام می‌شود. توجه کنید که تناظر زیر بین لایه های مدل هوشواره و «جلال‌برت» وجود دارد:
| شماره لایه در برت هوشواره | شماره لایه در «جلال‌برت» |
|:-:|:-:|
| لایه صفر| لایه صفر|
| لایه چهارم| لایه اول|
| لایه هشتم| لایه دوم|
| لایه یازدهم| لایه سوم|
برای سادگی و کاهش هزینه در این مرحله، ورودی مدل برای تنظیم دقیق، همان توکن‌های موجود در *Tokenizer* مدل هستند.
برای تنظیم‌دقیق لایه $i$ام از «جلال‌برت» که $i=1,2,3,4$ است، ابتدا وزن لایه‌های قبل را ثابت نگه می‌داریم (**freeze**) و سپس **تابع هزینه (loss)** را بین خروجی این لایه و لایه متناظرش در مدل برت هوشواره محاسبه و با فرایند **انتشار رو به عقب (backpropagation)** وزن‌های آن لایه را به‌روزرسانی می‌کنیم. این کار را از $i=1$ شروع می‌کنیم و تا $i=4$ ادامه می‌دهیم. مجدداً توجه شود که در حین تنظیم‌دقیق یک لایه باید وزن تمام لایه‌های قبل از آن ثابت نگه داشته شوند.
تمام این مراحل را یکبار با تابع هزینه **میانگین مربعات خطا (MSE)** و بار دیگر با تابع هزینه **Kullback-leibler Divergence** انجام می‌دهیم.
برای تنظیم دقیق با استفاده از تابع هزینه **Kullback-leibler Divergence** در صورت استفاده از تابع هزینه کتابخانه `pytorch` برچسب‌ها (*labels*) را از تابع `softmax` و پیش بینی‌ها (*predictions*) را از تابع `log_softmax` عبور دهید. در کتابخانه‌های دیگر طبق مستندات کتابخانه مشابه این کار را انجام دهید.
برای تنظیم دقیق هر لایه از تنظیمات زیر استفاده کنید:
```python
Num_epoch = 10
Optimizer = Adam
Learning_rate = 2e-5
Batch_size = 32
```
## خروجی نهایی
بعد از انجام تنظیم‌دقیق، یک پوشه به نام `model` بسازید و دو پوشه `kld` و `mse` داخل آن ایجاد کرده و هر کدام از مدل‌ها را در پوشه مربوط به خود قرار دهید و بعد از فشرده کردن پوشه آن را با نام `model.zip` در گوگل درایو خود آپلود کنید (جهت سهولت ارسال)، سپس لینک اشتراک فایل را (فراموش نکنید که دسترسی اشتراک لینک به صورت view داشته باشد) در یک فایل solution.txt قرار دهید و این فایل را برای داوری ارسال کنید.
یعنی تنها ارسال شما یک فایل solution.txt خواهد بود که لینک فایل `model.zip` آپلود شده در گوگل درایو را در خود دارد.
حجم هر مدل ارسالی حداکثر ۲۷۰ مگابایت باید باشد و با قطعه کد زیر قابل بارگذاری و استفاده باشد:
```python
from transformers import AutoModel
model = AutoModel.from_pretrained(“path/to/your/model/folder”)
output = model(input_ids=input_ids, attention_mask=attention_mask, token_type_ids= token_type_ids)
```
ضمناً خروجی لایه صفر و ۱ و ۲ و ۳ مدل برت ۴ لایه شما به ترتیب به صورت زیر برای محاسبه تابع هزینه باید قابل دسترسی باشد:
```python
output_of_layer_i = output.hidden_states[i+1]
```