مقدمه

سلام

قالب کوئرا کالج

سیستم امتیازدهی و دریافت گواهی

آماده‌سازی محیط توسعه

معرفی پایتون تعاملی

معرفی نوتبوک ژوپیتر

محیط VS Code

گوگل کولب (Google Colab)

دستگرمی

مقدمه‌ای بر سیستم‌های پیشنهاددهنده

اهداف فصل

آشنایی با سیستم‌های پیشنهاددهنده

نمونه‌های واقعی از سیستم‌های پیشنهاددهنده

دسته‌بندی سیستم‌های پیشنهاددهنده

سیستم‌های پیشنهاددهنده در مقابل بار اطلاعاتی

چالش‌های طراحی سیستم‌های پیشنهاددهنده

داده‌های صریح و داده‌های ضمنی

اخلاق و مسئولیت‌پذیری در سیستم‌های پیشنهاددهنده

کوییز

مروری بر مفاهیم پایه

نامپای

جبر خطی

پانداز

قدم بزرگتر با پانداز

کار با فایل

مشخ شیخ

آمار ۱

آمار ۲

کوییز ۱

پیش‌پردازش داده‌ها

پیش‌پردازش در عمل

سنجش عملکرد

کوییز ۲

کتاب‌تکانی

سیستم‌های پیشنهاد دهنده مبتنی بر محتوا

آشنایی با سیستم‌های پیشنهاددهنده محتوا-محور

استخراج ویژگی‌ها از داده‌های متنی

متاداده‌ها و استخراج اطلاعات

تبدیل متن به بردار: قلب سیستم‌های پیشنهاددهنده

به دنبال شباهت‌ها، ریاضیات ساده و نتایج بزرگ

ساخت یک پیشنهاددهنده سلیقه‌ای

پیاده‌سازی یک سیستم‌ پیشنهاددهنده : صفر تا اجرا (بخش اول)

پیاده‌سازی یک سیستم‌ پیشنهاددهنده : صفر تا اجرا (بخش دوم)

شاید این موزیک رو هم دوست داشتی

پروژه ۱

پردازش زبان فارسی

به دنبال خبر

پالایش گروهی مبتنی بر کاربر

معرفی سیستم‌های پالایش گروهی

پالایش گروهی مبتنی بر کاربر و آیتم!

UBCF در عمل: چگونه جنس داده‌ها، مسئله ما را تغییر می‌دهد؟

مفهوم شباهت کاربران و روش‌های اندازه‌گیری شباهت

از دل کاربران مشابه: هنر پیشنهاد محصول در پالایش جمعی

از دل کاربران مشابه: هنر پیشنهاد محصول در پالایش جمعی با داده‌های ضمنی

چالش‌های پالایش جمعی مبتنی بر کاربر

پروژه ۲

قفسه هوشمند

همیار شغلی کوئرا

پالایش گروهی مبتنی بر محصول

معرفی پالایش گروهی مبتنی بر محصول (IBCF)

اندازه‌گیری شباهت آیتم‌ها

فرآیند پیش‌بینی امتیاز و تولید لیست پیشنهادها در IBCF

الگوریتم Slope One

نگاهی به آن‌سوی سکه؛ چالش‌های پالایش جمعی مبتنی بر محصول(IBCF)

بر سر دوراهی؛ UBCF یا IBCF، کدام یک برای شما مناسب‌تر است؟

پیوند دو نگاه؛ ترکیب هوشمندانه UBCF و IBCF

پروژه ۳

همیار شغلی کوئرا (اسپین آف مبتنی بر آیتم)

سیستم پیشنهادگر هوشمند فیلم

مروری بر تجزیه ماتریسی

مفهوم ماتریس Sparse

کار با scipy.sparse

مقدمه‌ای بر تجزیه ماتریس

ماتریس تعامل

ماتریس تعامل در عمل

تعامل ادبی

ماتریس‌های بزرگ و چالش‌های آن

کشف سریع علایق کاربر با Funk-SVD

پیشنهاد سرعتی

آشنایی با ALS

پیشنهاد قدرتی

ارزیابی و بهبود

سیستم‌های پیشنهاد‌دهنده ترکیبی

چرا ترکیب مدل‌ها؟

روش‌های ترکیبی ساده (سوئیچینگ)

روش‌های ترکیبی ساده (وزنی)

فراتر از ترکیب ساده: نیاز به سیستم‌های ترتیبی (مطالعه بیشتر)

بهبود ماتریس تعاملات با اطلاعات محتوا

پیاده‌سازی عملی: صفر تا اجرا (بخش اول)

پیاده‌سازی عملی: صفر تا اجرا (بخش دوم)

پیاده‌سازی عملی: صفر تا اجرا (بخش سوم)

سنجش عملکرد در سیستم‌های پیشنهاددهنده ترکیبی

ناجی فیلم لاور

چالش‌های عملیاتی طراحی سیستم‌های پیشنهاددهنده ترکیبی

پروژه ۴

کهکشان فرصت‌ها

کاربرد یادگیری ماشین در سیستم‌های پیشنهاددهنده (Classic ML)

رگرسیون خطی

مشکل موشا

لجستیک رگرسیون

وفاداری‌سنج

مهندسی ویژگی و پیش‌پردازش داده

درخت‌های تصمیم و روش‌های مبتنی بر درخت

درخت‌های تصمیم و روش‌های مبتنی بر درخت ۲

میزبان

مقایسه و تحلیل نتایج

یادگیری نظارت‌نشده

پروژه ۵

شکموک

کاربرد یادگیری ماشین در سیستم‌های پیشنهاددهنده (Learn to Rank)

Learn to Rank چیست؟

داده ها در LTR

انواع رویکردهای یادگیری برای رتبه‌بندی

فراتر از «درستی»؛ سنجش «کیفیت»

LTR در عمل

الگوریتم LambdMART

پروژه ۶

لیست طلایی

تکمیل لیست طلایی

یادگیری‌عمیق و سیستم‌های پیشنهاددهنده (مطالعه بیشتر)

چرا یادگیری عمیق؟

شبکه عصبی چند لایه و سیستم‌های پیشنهاددهنده

روش های مبتنی بر خودرمزگذار‌ها

روش های مبتنی بر شبکه‌های عصبی کانولوشنی

شبکه‌های عصبی بازگشتی و سیستم‌های پیشنهاددهنده

روش‌های مبتنی بر مدل‌های Neural Autoregressive

شبکه‌های مولد تخاصمی و سیستم‌های پیشنهاددهنده

مکانیزم توجه، ترنسفورمر‌ها  و استفاده از آن‌ها در سیستم‌های پیشنهاددهنده

استفاده از یادگیری تقویتی عمیق در سیستم‌‌های پیشنهاددهنده

معایب استفاده از روش های مبتنی بر یادگیری عمیق

کوییز ۳

روش‌های دیگر (مطالعه بیشتر)

انواع نگاه به سیستم‌های پیشنهاددهنده ۱

انوع نگاه به سیستم‌های پیشنهاددهنده ۲

گراف‌ها در سیستم‌های پیشنهاددهنده ۱

گراف‌ها در سیستم‌های پیشنهاددهنده ۲

گراف‌ها در سیستم‌های پیشنهاددهنده ۳

گراف‌ها در سیستم‌های پیشنهاددهنده ۴

سیستم‌های پیشنهاددهنده مولد

سیستم‌های پیشنهاددهنده و Federated Learning

**گوگل‌کولب (Google Colab)** یا به اختصار *کولب* پلتفرمی برای کار با فایل‌های نت‌بوک است که از محبوبیت زیادی میان جامعه‌ی هوش مصنوعی برخوردار است. در واقع می‌توان آن را یک نمونه‌‎ی موفق از پیاده‌سازی ژوپیتر (محیطی برای اجرای نوت‌بوک‌ها) در بستر وب دانست. برای ورود به این پلتفرم می‌توانید از [این لینک](https://colab.research.google.com/) استفاده کنید. در این درسنامه به مرور بعضی امکانات و ويژگی‌های کولب می‌پردازیم. به بیان سازندگانش، کولب در اولین مواجهه جایی‌ست که به شما اجازه می‌دهد با کمترین نیازمندی برای آماده‌سازی محیط، در مرورگرتان کد پایتون اجرا کنید؛ به *GPU* (پردازشگر‌های خاص منظور جهت انجام سریع‌تر محاسبات شبکه‌های عصبی و یادگیری ماشین) دسترسی داشته باشید و بتوانید به‌آسانی کارتان را با دیگران به اشتراک بگذارید.

| ![محیط گوگل کولب](https://quera.org/qbox/download/TbO7Eofm8O/colab.png) |
| :---: |
| همان‌طور که می‌بینید محیط کولب شباهت بسیاری به ژوپیتر دارد و این شباهت تنها به‌ظاهر خلاصه نمی‌شود. |

در کولب می‌توانید مانند ژوپیتر کد‌های قابل اجرا به همراه متن و عکس و کد *HTML* و *LaTeX* را در یک نت‌بوک کنار هم داشته باشید. علاوه بر امکانات مشابه ژوپیتر، هنگامی‌که در کولب یک نت‌بوک می‌سازید بلافاصله در فضای ذخیره‌سازی ابری حساب کاربری گوگل شما (گوگل درایو) ذخیره خواهد شد، بنابراین می‌توانید به‌سادگی آن را با دوستان و همکاران خود به اشتراک گذاشته و از کامنت‌های آن‌ها بر کارتان بهره ببرید. همچنین مانند دیگر مدارک گوگل می‌توانید سطح دسترسی (ویرایش، کامنت‌گذاری و مشاهده‌) برای مخاطبین مختلف تعیین کنید. در این محیط علاوه بر آن‌که می‌توانید مستقیماً نت‌بوک جدید یا سلول کد جدید بسازید و در آن کد بزنید، می‌توانید آن را از رایانه شخصی خود یا منابع اینترنتی مانند گیت و... بارگذاری کنید. در [اینجا](https://colab.research.google.com/notebooks/basic_features_overview.ipynb) می‌توانید بیشتر با محیط گوگل‌کولب آشنا شوید. توجه کنید که برای استفاده از کولب، به یک اکانت گوگل نیاز دارید. آموزش ساخت اکانت گوگل را از [اینجا](https://support.google.com/accounts/answer/27441?hl=en) ببینید.

گوگل منابع نسبتاً قدرتمندی در اختیار کاربران قرار می‌دهد و برای اجرای عملیات سنگین می‌توان از آن استفاده کرد. *CPU،* هارد، رم، *GPU* و *TPU* از منابعی است که در کولب می‌توان از آنها استفاده کرد. برای استفاده از *GPU* یا *TPU* باید از تنظیمات کولب، آنها را فعال کنید (*TPU* یا *Tensor Processing Unit* سخت‌افزاری است شبیه به *GPU* است که گوگل در زیرساخت‌های خود از آن استفاده می‌کند و بیشتر توسط کتابخانه‌ی *TensorFlow* برای امور یادگیری ماشین مورد استفاده قرار می‌گیرد).

به‌طور پیش‌فرض کتابخانه‌های محبوب بسیاری روی کولب نصب هستند و در صورت نیاز می‌توان کتابخانه‌های مورد نیاز دیگر را با دستور `!pip install` روی کولب نصب کرد. گاهی لازم است تا آزمایش‌ها و عملیات یادگیری و محاسبات روی داده‌های بسیار حجیم انجام شود، اما دانلود و آپلود این داده‌ها با توجه به وضعیت اینترنت می‌تواند زمان‌بر یا ناممکن باشد. با کولب می‌توان این داده‌ها را مستقیماً از بستر اینترنت به کولب وارد کرد.

امکانات و مزایایی که ذکر شد مربوط به نسخه‌ی رایگان گوگل‌کولب بود. این امکانات تمام آن چیزی نیست که گوگل می‌تواند در اختیار کاربران قرار دهد. در نسخه‌ی پولی کولب منابع قدرتمندتری با محدوده فعالیت بیشتری در اختیار شما قرار می‌دهد. از معایب کولب می‌توان به این مورد اشاره کرد که هر بار فایلی در کولب (در کنار نت‌بوک) آپلود یا ساخته می‌شود، پس از مدتی ممکن است توسط کولب پاک شود یا نیاز باشد دسترسی به درایو برای خواندن آن فایل تمدید شود. حواس‌تان باشد که حافظه‌ی کولب، حافظه‌ای موقت است. در کولب از محیط مجازی ثابت هم خبری نیست و اگر پروژه‌ی شما نیازمندی خاصی دارد هر بار باید کتابخانه‌ها با نسخه‌ی مورد نظر را نصب کرد.

### گوگل درایو

گوگل درایو یک فضای ذخیره‌سازی ابری رایگان است که توسط گوگل ارائه می‌شود و به کاربران امکان می‌دهد فایل‌های خود را در فضای ابری ذخیره و مدیریت کنند. هنگام استفاده از گوگل کولب، اتصال به گوگل درایو این امکان را می‌دهد که به‌طور مستقیم به فایل‌ها و پوشه‌های ذخیره‌شده دسترسی داشته باشید، داده‌ها و نتایج را در آن ذخیره کنید و پروژه‌های سنگین را بدون نیاز به آپلود یا دانلود مکرر مدیریت کنید. به این ترتیب، همکاری با دیگران و ذخیره‌ی مطمئن داده‌ها برای پروژه‌های تحلیل و یادگیری ماشین ساده‌تر می‌شود.

#### اتصال گوگل درایو به گوگل کولب

می‌توان برای اتصال گوگل کولب و گوگل درایو و دسترسی به فایل‌های ذخیره شده در آن، از دستورات زیر استفاده کرد:

برای دسترسی به فایل‌های موجود در گوگل درایو و ذخیره کردن فایل‌ها در آن، از کد زیر استفاده کنید:
```python
from google.colab import drive
drive.mount('/content/drive')
```




این کد درایو شما را به کولب متصل کرده و اجازه می‌دهد به پوشه‌ها و فایل‌های موجود در گوگل درایو دسترسی پیدا کنید. با اجرای این کد، یک لینک ظاهر می‌شود که از طریق آن باید اجازه دسترسی به اکانت گوگل خود را به کولب بدهید.
یا می‌توانید همانند تصویر زیر بر روی گزینه نشان داده شده کلیک کرده و درایو خودتان را به کولب متصل کنید:

![colab](https://quera.org/qbox/download/zsMhZ5d5Lo/Screenshot%202024-11-01%20214931.png)

<details class="blue">
 
<summary>
**آشنایی با دستورات پرکاربرد گوگل کولب**
</summary>

در گوگل کولب، برخی از دستورات پرکاربرد به صورت _System Aliases_ تعریف شده‌اند که اجرای دستورات سیستم را آسان‌تر می‌کنند. این دستورات به صورت پیش‌فرض در محیط گوگل کولب قابل دسترسی هستند:

1.  **`!ls`**: برای نمایش لیست فایل‌ها و پوشه‌های موجود در دایرکتوری فعلی استفاده می‌شود.
```python
!ls
```




2.  **`!pwd`**: مسیر دایرکتوری فعلی را نشان می‌دهد.
```python
!pwd
```




3.  **`cd`**: برای تغییر دایرکتوری استفاده می‌شود.
```python
cd
```



4.  **`!mkdir`**: برای ایجاد یک پوشه جدید.
```python
!mkdir
```



5.  **`!rm`**: برای حذف فایل‌ها یا پوشه‌ها. برای حذف یک پوشه به همراه محتویات آن از `-r` استفاده کنید.
```python
!rm filename.txt
!rm -r folder_name
```



6.  **`!pip install`**: برای نصب کتابخانه‌های پایتون که در محیط کولب به صورت پیش‌فرض موجود نیستند.
```python
!pip install library_name
```




این دستورات به کاربران اجازه می‌دهند با استفاده از کدهای ساده، مدیریت فایل‌ها و نصب پکیج‌ها در محیط گوگل کولب را به راحتی انجام دهند.
</details>

با اتصال گوگل درایو به کولب، مدیریت فایل‌ها و داده‌ها برای پروژه‌های بزرگ‌تر ساده‌تر می‌شود و می‌توان از قابلیت ذخیره‌سازی ابری گوگل نیز بهره‌مند شد. با استفاده از گوگل درایو فایل‌های مربوط به دوره و تمرینات را در فضای ابری خود مدیریت کنید و در گوگل کولب نیز به راحتی به آن‌ها دسترسی داشته باشید.

### استفاده از کولب در این دوره
برای اجرای نت‌بوک‌های تمرین‌ها و پروژه‌ها، یا نت‌بوک‌های آموزشی،‌ کارهای زیر را انجام می‌دهیم:

1. ساخت اکانت گوگل (اگر از قبل ندارید)
2. ورود به سایت کولب در [این آدرس](https://colab.research.google.com)
3. آپلود فابل نت‌بوک
4. نصب فایل `requirements.txt` در ابتدای فایل نت‌بوک
5. اجرای عملیات دلخواه
6.  در صورت نیاز دانلود فایل نتیجه از کولب (و برای سوالات و پروژه‌ها آپلود آن برای داوری در کوئرا)

سیستم‌های پیشنهاد دهنده