در هر آشوب و جرمی که در شهر رخ می‌دهد، [کارآگاه گجت](https://fa.wikipedia.org/wiki/%DA%A9%D8%A7%D8%B1%D8%A2%DA%AF%D8%A7%D9%87_%DA%AF%D8%AC%D8%AA) به دنبال شناسایی عوامل آن می‌گردد. با توجه به این که در یک روز، اتفاقات زیادی در شهر رخ می‌دهد، او نمی‌تواند از همه آنها آگاه شود و طبق اهمیت آنها را اولویت‌بندی کند.
آقای گجت برای بهبود عملکرد خود در ماموریت‌ها، **شما** را به عنوان دانشمند داده به تیم خود اضافه کرده‌است تا **س**امانه **ج**امع **ا**خبار (**سجا**) را ایجاد کنید و [برسید به داد آن ناتوان](https://www.goodreads.com/quotes/7037347). 😉
در اولین هفته‌ی کاری، شما اقدام به نوشتن برنامه‌ای کردید که تعدادی سایت خبری را هر نیم‌ساعت یک‌بار رصد کرده و اقدام به ذخیره‌سازی اخبار آنها می‌کند.
# مجموعه داده
مجموعه داده را می‌توانید از [این لینک](/problemset/assignments/4367/download_problem_initial_project/197306/) دریافت کنید.
بعد از `unzip`کردن مجموعه داده، پوشههایی را مشاهده می‌کنید که نامشان نشان‌دهنده یک تاریخ است. هرکدام از این پوشه‌ها، شامل پوشههایی با نام منابع خبری هستند که در آن تاریخ رصد شده‌اند و اخبار آنها جمع‌آوری شده است. داخل هر کدام از پوشه‌های مربوط به منابع خبری، فایل‌های `html` جمع‌آوری شده از آن منبع خبری قرار گرفته‌اند.
data
├── 2023-08-05
│ ├──7sobh
│ │ ├── 0.html
│ │ └── 1.html
│ └── farsnews
│ ├── 0.html
│ └── 1.html
│
└── 2023-08-04
├──varzesh3
│ ├── 0.html
│ └── 1.html
└── snn
├── 0.html
└── 1.html
هنگامی که یک فایل `html` را باز می‌کنید، با [این ساختار](https://bayanbox.ir/view/104949988318879471/html-format.png) روبه‌رو می‌شوید.
در داخل برچسب `head`، شما به آدرس اینترنتی خبر در سایت منبع دسترسی دارید. هم‌چنین در داخل برچسب `article`، با رجوع به برچسب `h2` می‌توانید به تیتر خبر دسترسی پیدا کنید. اگر خبری دارای عکس باشد، عکس اصلی آن شناسایی شده و در داخل برچسب `img` قرار گرفته است. در ادامه، متن خبر را در قالب برچسب‌های `p` آورده‌ایم.
اگر این خبر را از طریق یک مرورگر باز کنید، با تصویر زیر روبه‌رو می‌شوید:
# صورت مسئله
در ابتدای کار، شما می‌خواهید با بررسی اولیه به اکتشاف در مجموعه داده بپردازید و به سوالات زیر پاسخ دهید (مثال خروجی هر سوال، زیر آن آمده است).
1. چند منبع خبری یکتا در مجموعه داده وجود دارند؟
```
10
```
2. کدام منبع خبری، در کل مجموعه داده بیشترین تعداد فایل‌های `html` را دارد؟
```
qnews
```
3. تمام فایل‌های `html` مربوط به `varzesh3` را در نظر بگیرید. به ترتیب تعداد تکرار کلمات `والیبال`، `کشتی` و `فوتبال` را در تمام تگ‌های `p` به دست آورید.
<details class="green">
<summary>
**توجه**
</summary>
+ دقیقا خود این کلمات مد نظر هستند و برای مثال کلمه فوتبالش یا کشتی‌گیر نباید شمارش شود.
+ متن‌ها دارای علائم نگارشی هستند که باید به آنها توجه کنید.
</details>
در خروجی زیر، مقدار 100 مربوط به والیبال، مقدار 200 مربوط به کشتی و مقدار 300 مربوط به فوتبال است.
```
100,200,300
```
4. در بین تمام خبر‌هایی که در تاریخ `2023-08-01` جمع‌آوری شده‌اند، بیشترین کلمه‌ای که در تگ `h2` تکرار شده است را به دست آورید. (می‌توانید از آرایه `stopwords` قرار داده شده در فایل اولیه استفاده کنید)
```
قیمت
```
این مرحله در مجموع، شامل ۴ سوال (هر سوال، ۲۵ امتیاز) است. در صورتی که به تمامی سوالات پاسخ صحیح دهید، بایستی ۱۰۰ امتیاز از این مرحله کسب کنید.
# خروجی
برای ارسال پاسخ ، جواب هر سوال را مشابه مثال، در یک سطر از فایل `text` بنویسید. در نهایت یک فایل با فرمت `.txt` چهار خطی با نام **output.txt** برای ما بارگذاری کنید. **_در صورتی که جواب سوالی را نمی‌دانید در سطر مربوطه ۱- وارد کنید._**
<details class="red">
<summary>
**هشدار**
</summary>
فراموش نکنید که **قبل از پایان زمان مسابقه**، **باید** تمامی کد‌های این مسابقه را از قسمت **بارگذاری کُد** برای ما ارسال کنید. در غیر این‌صورت، شما از این مسابقه، امتیازی کسب نمی‌کنید.
توجه داشته باشید که اگر از `jupter notebook` استفاده می‌کنید بایستی همانند توضیحات قسمت **بارگذاری کُد**، خروجی `.py` را دریافت و برای ارسال در نظر بگیرید. ارسال فایل‌های `jupyter` همانند `.ipynb` مورد قبول نیستند.
</details>
## نمونه خروجی ۱
```
10
qnews
100,200,300
قیمت
```
<details class="green">
<summary>
**توضیحات**
</summary>
در خط *i*ام جواب سوال *i*ام آمده است.
</details>
## نمونه خروجی ۲
```
10
-1
-1
قیمت
```
<details class="green">
<summary>
**توضیحات**
</summary>
چون پاسخ سوال دوم و سوم را نمی‌دانستید، به جای آن عدد -۱ نوشته‌اید!
</details>