در هر آشوب و جرمی که در شهر رخ می‌دهد، کارآگاه گجت به دنبال شناسایی عوامل آن می‌گردد. با توجه به این که در یک روز، اتفاقات زیادی در شهر رخ‌ می‌دهد، او نمی‌تواند از همه آن‌ها آگاه شود و طبق اهمیت‌ آن‌ها را اولویت‌بندی کند.

آقای گجت برای بهبود عملکرد خود در ماموریت‌ها، شما را به عنوان دانشمند‌ داده‌ به تیم خود اضافه کرده‌است تا سامانه جامع اخبار (سجا) را ایجاد کنید و برسید به‌ داد آن ناتوان. 😉

در اولین هفته‌ی کاری، شما اقدام به نوشتن برنامه‌ای کردید که تعدادی سایت‌ خبری را هر نیم‌ساعت یک‌بار رصد کرده و اقدام به ذخیره‌سازی اخبار آن‌ها می‌کند.

مجموعه داده

مجموعه داده را می‌توانید از این لینک دریافت کنید.

بعد از unzipکردن مجموعه داده، پوشه‌هایی را مشاهده می‌کنید که نامشان نشان‌دهنده یک تاریخ است. هرکدام از این پوشه‌ها، شامل پوشه‌‌هایی با نام منابع خبری‌ هستند که در آن تاریخ رصد شده‌اند و اخبار آن‌ها جمع‌آوری شده است. داخل هر کدام از پوشه‌های مربوط به منابع خبری، فایل‌های html جمع‌آوری شده از آن منبع خبری قرار گرفته‌اند.

data
├── 2023-08-05
│   ├──7sobh
│   │    ├── 0.html
│   │    └── 1.html
│   └── farsnews
│        ├── 0.html
│        └── 1.html
│   
└── 2023-08-04
    ├──varzesh3
    │    ├── 0.html
    │    └── 1.html
    └── snn
         ├── 0.html
         └── 1.html

هنگامی که یک فایل html را باز می‌کنید، با این ساختار روبه‌رو می‌شوید.

در داخل برچسب head، شما به آدرس اینترنتی خبر در سایت منبع دسترسی دارید. هم‌چنین در داخل برچسب article، با رجوع به برچسب h2 می‌توانید به تیتر خبر دسترسی پیدا‌ کنید. اگر خبری دارای عکس‌ باشد، عکس اصلی آن شناسایی شده و در داخل برچسب img قرار گرفته است. در ادامه، متن خبر را در قالب برچسب‌های‌ p آورده‌ایم.

اگر این خبر را از طریق یک مرورگر باز کنید، با تصویر زیر روبه‌رو می‌شوید:

صورت مسئله

در ابتدای کار، شما می‌خواهید با بررسی اولیه به اکتشاف در مجموعه داده بپردازید و به سوالات زیر پاسخ دهید (مثال خروجی هر سوال، زیر آن آمده‌ است).

1. چند‌ منبع خبری یکتا در مجموعه داده وجود دارند؟

10

2. کدام منبع‌ خبری، در کل مجموعه داده بیشترین تعداد فایل‌های html را دارد؟

qnews

3. تمام فایل‌های ‍html مربوط به varzesh3 را در نظر بگیرید. به ترتیب تعداد تکرار کلمات والیبال، کشتی و فوتبال را در تمام تگ‌های p‍ به دست آورید.

در خروجی زیر، مقدار 100 مربوط به والیبال، مقدار 200 مربوط به کشتی و مقدار 300 مربوط به فوتبال است.

100,200,300

4. در بین تمام خبر‌هایی که در تاریخ 2023-08-01 جمع‌آوری شده‌اند، بیشترین کلمه‌ای که در تگ h2 تکرار شده است را به دست آورید. (می‌توانید از آرایه stopwords قرار داده شده در فایل اولیه استفاده کنید)

قیمت

این مرحله در مجموع، شامل ۴ سوال (هر سوال، ۲۵ امتیاز) است. در صورتی که به تمامی سوالات پاسخ صحیح دهید، بایستی ۱۰۰ امتیاز از این مرحله کسب کنید.

خروجی

برای ارسال پاسخ ، جواب هر سوال را مشابه‌ مثال، در یک سطر از فایل text بنویسید. در نهایت یک فایل با فرمت .txt چهار خطی با نام output.txt برای ما بارگذاری کنید. در صورتی که جواب سوالی را نمی‌دانید در سطر مربوطه ۱- وارد کنید.

نمونه خروجی ۱

10
qnews
100,200,300
قیمت

نمونه خروجی ۲

10
-1
-1
قیمت