در این سوال عملیات EDA روی یک مجموعه‌داده فارسی و انگلیسی انجام می‌شود.

مجموعه‌داده🔗

هنگامی که این فایل را از حالت فشرده خارج کنید، فایل‌ qoura_questions.csv و shereno.csv در اختیار شما خواهد بود.

فایل shereno.csv دارای ۴۴۰۰ سطر و ۴ ستون می‌باشد و جزییات آن در جدول زیر آمده‌است:

فایل qoura_questions.csv دارای ۱۹۰۳ سطر و ۱ ستون می‌باشد و جزییات آن در جدول زیر آمده‌است:

صورت مسئله🔗

1. تعداد کلمات منحصر به فرد (یکتا) در هر سوال (ستون question) در qoura_questions.csv را پیدا کنید سپس مجموع تعداد کلمات منحصر به فرد در هر سوال را ارسال کنید.

مثال ۱: جمله ?Why do I not lose weight when I throw up دارای ۹ کلمه یکتا می‌باشد.

مثال ۲: جمله Hi, my name is Ali.\nmy cousin's name is Ali too! دارای ۸ کلمه یکتا می‌باشد.

3453

2. ابتدا مجموع تعداد رقم‌های موجود در ستون سوال (question) در فایل qoura_questions.csv و سپس تعداد رقم موجود در ستون متن شعر (Poem) در فایل shereno.csv را به‌دست آورید.

مثال۱: جمله Are there any good horror movies in 2016 دارای ۴ رقم است.

412 532

3. با استفاده از فایل stopwords.txt تعداد stopword‌های استفاده شده در متن شعر (Poem) در فایل shereno.csv را به‌دست آورید.

3423

خروجی🔗

برای ارسال پاسخ، جواب هر سوال را مشابه‌ مثال، در یک سطر از یک فایل text بنویسید. در نهایت یک فایل سه خطی با نام output.txt را برای ما بارگذاری کنید.

در صورتی که جواب سوالی را نمی‌دانید در سطر مربوطه ۱- وارد کنید.

نمونه خروجی ۱🔗

3453
412 532
3423

نمونه خروجی ۲🔗

3256
-1
-1

در این سوال عملیات EDA روی یک مجموعه‌داده سوالات انگلیسی انجام می شود.

مجموعه داده🔗

صورت مسئله🔗

1. تعداد کلماتی که با m شروع میشوند، با t تمام می شوند و طول آنها بیشتر از ۴ کاراکتر است را به‌دست آورید.

43

2. مجموع تعداد ایموجی های متن را به‌دست آورید.

66

3. ۵ کلمه پر تکرار و تعداد تکرار آن‌ها را با با ترتیب نزولی به‌دست آورید.

the:14715 of:6742 and:6517 a:4805 to:4707

4. تعداد کلماتی که فقط یک بار در کل متن تکرار شده‌اند را به‌دست آورید.

2342

خروجی🔗

برای ارسال پاسخ، جواب هر سوال را مشابه‌ مثال، در یک سطر از یک فایل text بنویسید. در نهایت یک فایل چهار خطی با نام output.txt را برای ما بارگذاری کنید.

*در صورتی که جواب سوالی را نمی‌دانید در سطر مربوطه ۱- وارد کنید.*

نمونه خروجی ۱🔗

43
66
the:14715 of:6742 and:6517 a:4805 to:4707
2342

نمونه خروجی ۲🔗

3256
1000
-1
-1

تعدادی چکیده‌ی مقاله از دو شاخه‌ی مختلف «آمار در یادگیری ماشین» و «آمار کاربردی» به همراه برچسب شاخه‌ی آن‌ها در اختیار شما قرار گرفته است. شما باید یک دسته‌بند ساده آموزش دهید که بتواند با ورودی گرفتن چکیده، موضوع مقاله را پیش‌بینی کند.

شما می‌توانید از هر کتابخانه پایتونی برای حل این سوال استفاده کنید. دقت کنید که کد نفرات برتر مورد بررسی قرار خواهد گرفت.

مجموعه‌ی‌داده🔗

هنگامی که این فایل را از حالت فشرده خارج کنید، دو فایل train.csv و test.csvدر اختیار شما قرار می‌گیرد. فایل آموزش شامل دو ستون به شرح زیر است:

فایل آزمون (داده‌های آزمایش) تنها شامل ستون abstract است.

صورت مسئله🔗

از فایل train.csv برای پیش‌بینی موضوع مقاله با استفاده از چکیده آن و آموزش مدل استفاده کنید و از فایل test.csv برای آزمایش مدل شما در سیستم داوری استفاده می‌شود.

ارزیابی🔗

ارزیابی عملکرد بر اساس دقت (accuracy) بر روی داده‌های آزمایش خواهد بود؛ یعنی تعداد نمونه‌های درست دسته‌بندی شده تقسیم بر تعداد کل نمونه‌ها می‌شود. در نهایت امتیاز شما از این سوال طبق رابطه‌ی زیر محاسبه می‌شود:

$score = \begin{cases} 0 & accuracy<0.6 \\ accuracy \times 100 & accuracy\geq 0.6 \end{cases}.$

خروجی🔗

پیش‌بینی‌های مدل خود بر روی دادگان آزمایش (‍‍test.csv) را در فایلی با نام output.csv قرار دهید.

این فایل باید شامل یک ستون prediction باشد. در سطر i ام از این ستون باید پیش‌بینی مدل شما روی داده‌ی با اندیس i باشد. بعد از آماده‌سازی فایل output.csv، آن را برای ما بارگذاری کنید.

نمونه خروجی فایل output.csv (فقط پنج خط اول به همراه نام ستون)🔗

در این سوال ما یک مجموعه داده‌ی خبری داریم که دارای ۲۳ زیر مجموعه خبری است. شما باید مدلی بسازید که از این مجموعه داده استفاده کند و برای تخمین زیر مجموعه خبر مورد استفاده قرار گیرد.

شما می‌توانید از هر کتابخانه پایتونی برای حل این سوال استفاده کنید. دقت کنید که کد نفرات برتر مورد بررسی قرار خواهد گرفت.

مجموعه داده🔗

هنگامی که این فایل را از حالت فشرده خارج کنید فایل آموزش (train.csv) و آزمایش (test.csv) را مشاهده می‌کنید. فایل آموزش، دارای ساختار زیر است:

تنها تفاوت مجموعه داده آموزش با آزمایش در این است که مجموعه داده آزمایش، ستونsubgroup را ندارند.

صورت مسئله🔗

با استفاده از مجموعه داده آموزش، یک مُدل برای پیشبینی زیرگروه خبر (ستون subgroup) هر سطر آموزش دهید.

ارزیابی🔗

برای ارزیابی پاسخ شما از معیار F1 استفاده خواهد شد. این معیار به صورت زیر تعریف می‌شود:

$F_1 = 2 \times \frac{precision \times recall}{precision + recall}$

ولی به دلیل اینکه ستون پیشبینی دارای بیش از ۲ کلاس است ما از معیاری به نام Weighted F1 استفاده میکنیم که F1 میانگین وزنی کلاس ها را محاسبه میکند.

برای مطالعه بیشتر در مورد این معیار می‌توانید به این منبع مراجعه کنید.

خروجی🔗

پیش‌بینی‌های مدل خود بر روی دادگان آزمایش (‍‍test.csv) را در فایلی با نام output.csv قرار دهید.

این فایل باید دارای یک ستون به اسم subgroup باشد.(بزرگ و کوچک بودن حروف نام ستون رعایت شود) که ردیف i ام هر ستون، پیش‌بینی شما برای نظر ردیف i ام از فایل test.csv باشد. بعد از آماده‌سازی فایل output.csv، آن را برای ما بارگذاری کنید.

نمونه خروجی فایل output.csv (فقط چهار خط اول به همراه نام ستون)🔗

بخشی از فهم زبان طبیعی توسط مدل‌های هوش مصنوعی را می‌توان فهم آن‌ها از زمان در بستر متن دانست. در این سوال به وظیفه‌ای برای بررسی فهم مدل‌ها از جهت زمان در متون طبیعی می‌پردازیم. فرض کنید دو پاراگراف متوالی از یک کتاب داده شده باشند. هدف تشخیص آن است که ترتیب دو پاراگراف درست است یا خیر.

شما می‌توانید از هر کتابخانه پایتونی برای حل این سوال استفاده کنید. دقت کنید که کد نفرات برتر مورد بررسی قرار خواهد گرفت.

مجموعه‌داده🔗

هنگامی که این فایل را از حالت فشرده خارج کنید، سه فایل train.csv، val.csvو test.csv در اختیار شما قرار می‌گیرد. فایل آموزش و اعتبارسنجی شامل سه ستون به شرح زیر هستند:

فایل آزمون (دادگان آزمایش) تنها شامل دو ستون اول است.

صورت مسئله🔗

از فایل train.csv و val.csvبرای آموزش و ارزیابی مدل استفاده کنید و از فایل test.csv برای آزمایش مدل شما در سیستم داوری استفاده می‌شود.

ارزیابی🔗

ارزیابی عملکرد بر اساس دقت (accuracy) بر روی داده‌های آزمایش خواهد بود؛ یعنی تعداد نمونه‌های درست دسته‌بندی شده تقسیم بر تعداد کل نمونه‌ها می‌شود. در نهایت امتیاز شما از این سوال طبق رابطه‌ی زیر محاسبه می‌شود:

$score = \begin{cases} 0 & accuracy<0.6 \\ accuracy \times 100 & accuracy\geq 0.6 \end{cases}.$

خروجی🔗

پیش‌بینی‌های مدل خود بر روی دادگان آزمایش (‍‍test.csv) را در فایلی با نام output.csv قرار دهید.

این فایل باید شامل یک ستون prediction باشد. در سطر i ام از این ستون باید پیش‌بینی مدل شما روی داده‌ی با اندیس i باشد. بعد از آماده‌سازی فایل output.csv، آن را برای ما بارگذاری کنید.

نام ستون و پنج خط از نمونه خروجی فایل output.csv🔗

به‌منظور جلوگیری از هر گونه تقلب و شبهه‌های احتمالی که منجر به ضایع شدن حق شما شود، شما بایستی که فایل کد هر سوال را ( فایل .py) در قالب یک فایل زیپ در اینجا بارگذاری نمایید.

در صورتی که پس از پایان زمان مسابقه، این فایل توسط شما بارگذاری نشده باشد، شما از جدول مسابقات حذف خواهید شد.🔗

توجه داشته باشید که اگر از jupter notebook استفاده می کنید, بایستی که از قسمت file و زیرقسمت Download خروجی .py را دریافت و آن را ارسال کنید. ارسال فایل‌های jupyter مانند ‍‍.ipynb مورد قبول واقع نخواهند شد و فقط فایل .py پذیرفته می‌شود.

بنابراین به‌ازای هر سوال (که به آن پاسخ داده‌اید) ، یک فایل کد به نام آن سوال ایجاد و تمامی کدهای مربوط به آن سوال را در آن قرار دهید. در نهایت، همه‌ فایل‌ها را زیپ کرده و در این قسمت فقط یک فایل زیپ ارسال کنید.

یعنی پنج فایل q1.py و q2.py و q3.py و q4.pyو q5.py را زیپ کرده و فقط همان یک فایل زیپ را در این سوال آپلود کنید.

توجه: از ارسال داده‌ها بپرهیزید!🔗