مقدمه

سلام

قالب کوئرا کالج

سیستم امتیازدهی و دریافت گواهی

آماده‌سازی محیط توسعه

معرفی پایتون تعاملی

معرفی نوتبوک ژوپیتر

محیط VS Code

گوگل کولب (Google Colab)

دستگرمی

مقدمه‌ای بر سیستم‌های پیشنهاددهنده

اهداف فصل

آشنایی با سیستم‌های پیشنهاددهنده

نمونه‌های واقعی از سیستم‌های پیشنهاددهنده

دسته‌بندی سیستم‌های پیشنهاددهنده

سیستم‌های پیشنهاددهنده در مقابل بار اطلاعاتی

چالش‌های طراحی سیستم‌های پیشنهاددهنده

داده‌های صریح و داده‌های ضمنی

اخلاق و مسئولیت‌پذیری در سیستم‌های پیشنهاددهنده

کوییز

مروری بر مفاهیم پایه

نامپای

جبر خطی

پانداز

قدم بزرگتر با پانداز

کار با فایل

مشخ شیخ

آمار ۱

آمار ۲

کوییز ۱

پیش‌پردازش داده‌ها

پیش‌پردازش در عمل

سنجش عملکرد

کوییز ۲

کتاب‌تکانی

سیستم‌های پیشنهاد دهنده مبتنی بر محتوا

آشنایی با سیستم‌های پیشنهاددهنده محتوا-محور

استخراج ویژگی‌ها از داده‌های متنی

متاداده‌ها و استخراج اطلاعات

تبدیل متن به بردار: قلب سیستم‌های پیشنهاددهنده

به دنبال شباهت‌ها، ریاضیات ساده و نتایج بزرگ

ساخت یک پیشنهاددهنده سلیقه‌ای

پیاده‌سازی یک سیستم‌ پیشنهاددهنده : صفر تا اجرا (بخش اول)

پیاده‌سازی یک سیستم‌ پیشنهاددهنده : صفر تا اجرا (بخش دوم)

شاید این موزیک رو هم دوست داشتی

پروژه ۱

پردازش زبان فارسی

به دنبال خبر

پالایش گروهی مبتنی بر کاربر

معرفی سیستم‌های پالایش گروهی

پالایش گروهی مبتنی بر کاربر و آیتم!

UBCF در عمل: چگونه جنس داده‌ها، مسئله ما را تغییر می‌دهد؟

مفهوم شباهت کاربران و روش‌های اندازه‌گیری شباهت

از دل کاربران مشابه: هنر پیشنهاد محصول در پالایش جمعی

از دل کاربران مشابه: هنر پیشنهاد محصول در پالایش جمعی با داده‌های ضمنی

چالش‌های پالایش جمعی مبتنی بر کاربر

پروژه ۲

قفسه هوشمند

همیار شغلی کوئرا

پالایش گروهی مبتنی بر محصول

معرفی پالایش گروهی مبتنی بر محصول (IBCF)

اندازه‌گیری شباهت آیتم‌ها

فرآیند پیش‌بینی امتیاز و تولید لیست پیشنهادها در IBCF

الگوریتم Slope One

نگاهی به آن‌سوی سکه؛ چالش‌های پالایش جمعی مبتنی بر محصول(IBCF)

بر سر دوراهی؛ UBCF یا IBCF، کدام یک برای شما مناسب‌تر است؟

پیوند دو نگاه؛ ترکیب هوشمندانه UBCF و IBCF

پروژه ۳

همیار شغلی کوئرا (اسپین آف مبتنی بر آیتم)

سیستم پیشنهادگر هوشمند فیلم

مروری بر تجزیه ماتریسی

مفهوم ماتریس Sparse

کار با scipy.sparse

مقدمه‌ای بر تجزیه ماتریس

ماتریس تعامل

ماتریس تعامل در عمل

تعامل ادبی

ماتریس‌های بزرگ و چالش‌های آن

کشف سریع علایق کاربر با Funk-SVD

پیشنهاد سرعتی

آشنایی با ALS

پیشنهاد قدرتی

ارزیابی و بهبود

سیستم‌های پیشنهاد‌دهنده ترکیبی

چرا ترکیب مدل‌ها؟

روش‌های ترکیبی ساده (سوئیچینگ)

روش‌های ترکیبی ساده (وزنی)

فراتر از ترکیب ساده: نیاز به سیستم‌های ترتیبی (مطالعه بیشتر)

بهبود ماتریس تعاملات با اطلاعات محتوا

پیاده‌سازی عملی: صفر تا اجرا (بخش اول)

پیاده‌سازی عملی: صفر تا اجرا (بخش دوم)

پیاده‌سازی عملی: صفر تا اجرا (بخش سوم)

سنجش عملکرد در سیستم‌های پیشنهاددهنده ترکیبی

ناجی فیلم لاور

چالش‌های عملیاتی طراحی سیستم‌های پیشنهاددهنده ترکیبی

پروژه ۴

کهکشان فرصت‌ها

کاربرد یادگیری ماشین در سیستم‌های پیشنهاددهنده (Classic ML)

رگرسیون خطی

مشکل موشا

لجستیک رگرسیون

وفاداری‌سنج

مهندسی ویژگی و پیش‌پردازش داده

درخت‌های تصمیم و روش‌های مبتنی بر درخت

درخت‌های تصمیم و روش‌های مبتنی بر درخت ۲

میزبان

مقایسه و تحلیل نتایج

یادگیری نظارت‌نشده

پروژه ۵

شکموک

کاربرد یادگیری ماشین در سیستم‌های پیشنهاددهنده (Learn to Rank)

Learn to Rank چیست؟

داده ها در LTR

انواع رویکردهای یادگیری برای رتبه‌بندی

فراتر از «درستی»؛ سنجش «کیفیت»

LTR در عمل

الگوریتم LambdMART

پروژه ۶

لیست طلایی

تکمیل لیست طلایی

یادگیری‌عمیق و سیستم‌های پیشنهاددهنده (مطالعه بیشتر)

چرا یادگیری عمیق؟

شبکه عصبی چند لایه و سیستم‌های پیشنهاددهنده

روش های مبتنی بر خودرمزگذار‌ها

روش های مبتنی بر شبکه‌های عصبی کانولوشنی

شبکه‌های عصبی بازگشتی و سیستم‌های پیشنهاددهنده

روش‌های مبتنی بر مدل‌های Neural Autoregressive

شبکه‌های مولد تخاصمی و سیستم‌های پیشنهاددهنده

مکانیزم توجه، ترنسفورمر‌ها  و استفاده از آن‌ها در سیستم‌های پیشنهاددهنده

استفاده از یادگیری تقویتی عمیق در سیستم‌‌های پیشنهاددهنده

معایب استفاده از روش های مبتنی بر یادگیری عمیق

کوییز ۳

روش‌های دیگر (مطالعه بیشتر)

انواع نگاه به سیستم‌های پیشنهاددهنده ۱

انوع نگاه به سیستم‌های پیشنهاددهنده ۲

گراف‌ها در سیستم‌های پیشنهاددهنده ۱

گراف‌ها در سیستم‌های پیشنهاددهنده ۲

گراف‌ها در سیستم‌های پیشنهاددهنده ۳

گراف‌ها در سیستم‌های پیشنهاددهنده ۴

سیستم‌های پیشنهاددهنده مولد

سیستم‌های پیشنهاددهنده و Federated Learning

اگر تصمیم دارید تا بتوانید کدها را بر روی سیستم خود اجرا کنید این درسنامه راه‌اندازی محیط مورد نیاز به کمک شما می‌آید. با آن‌که راه‌اندازی محیط توسعه *(Development Environment)* می‌تواند با توجه به مهارت‌ها و سلیقه‌های هر فرد به‌شکل متفاوتی صورت گیرد اما ما قصد داریم یک راه آسان و اصولی را پیش پای شما بگذاریم. در این درسنامه ابتدا با نحوه‌ی نصب پایتون و `conda` آشنا خواهید شد، سپس یک محیط مجازی خواهید ساخت و پکیج‌های پیش‌نیاز این دوره را بر روی محیط ساخته‌شده نصب خواهید کرد. در درسنامه‌های بعد نیز با نحوه‌ی راه‌اندازی یک محیط کدنویسی مناسب و حرفه‌ای آشنا خواهید شد.

## ۱. نصب پایتون

| نسخه‌ی پیشنهادی ما برای این دوره، پایتون ۳.۱۳ است. |
| :---: |

 <details class="blue">

<summary>
**نصب پایتون در ویندوز**
</summary>

برای نصب پایتون می‌توانید به [سایت رسمی](https://www.python.org/downloads/) آن مراجعه کرده و روی نسخه‌ی موردنظر خود کلیک کنید.

![نسخه‌های مختلف](https://quera.org/qbox/download/8JIEjy0aSl/PythonVersions.png)

سپس با توجه به ۳۲ بیتی یا ۶۴ بیتی بودن سیستم خود، راه‌‌انداز مناسب را دانلود کنید.

![دانلود راه‌انداز](https://quera.org/qbox/download/AjXetu423c/PythonInstaller.png)

راه‌انداز دانلود شده را اجرا کنید و در هنگام نصب مطمئن شوید که گزینه‌ی `Add Python 3.X to PATH` را فعال کرده باشید. پیشنهاد می‌کنیم در این صفحه روی `Customize installation` کلیک کنید تا بتوانید مسیر نصب را خودتان انتخاب کنید.

![نصب پایتون 1](https://quera.org/qbox/download/hFm9M5GGJI/PythonSetup.png)

در صفحه‌ی ویژگی‌های انتخابی پیشنهاد می‌کنیم تمام موارد را انتخاب کنید و سپس به مرحله‌ی بعد بروید.

![نصب پایتون 2](https://quera.org/qbox/download/YKni8RKnNd/PythonSetup2.png)

در صفحه‌ی بعد پیشنهاد می‌کنیم مواردی غیر از آن‌هایی که نیاز به `Download` دارند را انتخاب کنید و پس از انتخاب یک مسیر نصب مناسب بر روی `Install` کلیک کنید.

![نصب پایتون 3](https://quera.org/qbox/download/DqAFR7A5Y4/PythonSetup3.png)

منتظر بمانید که نصب تمام شود و صفحه‌ای همچون تصویر زیر را مشاهده کنید. در این صفحه،‌ جهت اطمینان از این‌که در آینده مشکلی ایجاد نشود می‌توانید بر روی دکمه‌ی `Disable path length limit` هم کلیک کنید.

![پایان نصب پایتون](https://quera.org/qbox/download/zxpmZWyA8S/PythonSetup4.png)

برای اطمینان از این‌که پایتون شما با موفقیت نصب شده است، بر روی ویندوز خود *Command Prompt* را باز کرده و دستور زیر را وارد کنید.
```terminal
python --version
```



![اطمینان از نصب](https://quera.org/qbox/download/0GL5Cbdb6y/PythonVersion.png)

با اجرای این دستور باید نسخه‌ی پایتون نصب‌شده را مشاهده کنید. در غیر این‌صورت نصب پایتون با مشکلی مواجه شده است و باید به عیب‌یابی آن بپردازید.

</details>

 <details class="violet">

<summary>
**نصب پایتون در مک**
</summary>

برای نصب پایتون می‌توانید به [سایت رسمی](https://www.python.org/downloads/) آن مراجعه کرده و روی نسخه‌ی موردنظر خود کلیک کنید.

![نسخه‌های مختلف](https://quera.org/qbox/download/8JIEjy0aSl/PythonVersions.png)

راه‌انداز مناسب مک را پیدا کرده و دانلود کنید.

![انتخاب نسخه مناسب مک](https://quera.org/qbox/download/jnOf4x9f8A/PythonInstallerMac.png)

حال کافیست راه‌انداز را اجرا کرده و به‌راحتی نصب کنید. در طول نصب ممکن است نیاز به کلیک روی `Agree` جهت تایید لایسنس و وارد کردن نام کاربری و رمز عبور سیستم خود داشته باشید.

جهت اطمینان از این‌که پایتون با موفقیت نصب شده است می‌توانید ترمینال را باز کرده و دستور زیر را اجرا کنید تا نسخه‌ی نصب‌شده به نمایش در آید.

```terminal
python3 --version
```



**مطالعه‌ی بیشتر:** در صورتی‌که نیاز به راهنمایی تصویری دارید می‌توانید [این لینک](https://python.tutorials24x7.com/blog/how-to-install-python-3-9-on-mac) را مطالعه کنید.
</details>
 <details class="orange">

<summary>
**نصب پایتون در اوبونتو**
</summary>

این احتمال وجود دارد که از قبل پایتون در سیستم‌عامل شما نصب باشد. برای بررسی این مورد کافیست دستور زیر را در ترمینال اجرا کنید و بررسی کنید که آیا نسخه‌ای به نمایش در می‌آید یا خیر.
```terminal
python3 --version
```



برای نصب پایتون در اوبونتو راه‌های مختلفی وجود دارد اما راحت‌ترین راه استفاده از `apt` است. ابتدا دستورات زیر را در ترمینال اجرا کنید تا لیست پکیج‌ها آپدیت شود و پیش‌نیازها نصب شوند.

```terminal
sudo apt install software-properties-common
```



حال دستور زیر را اجرا کنید تا *PPA* مربوط به *deadsnakes* به لیست منابع سیستم شما اضافه شود.
```terminal
sudo add-apt-repository ppa:deadsnakes/ppa
```



اگر پیغام زیر را مشاهده کردید کافیست `Enter` بزنید.
```terminal
Press [ENTER] to continue or Ctrl-c to cancel adding it.
```



اکنون برای نصب پایتون کافیست از دستور زیر استفاده کنید. اگر قصد دارید نسخه‌ی دیگری را نصب کنید کافیست آن را به‌جای `3.9` وارد کنید.
```terminal
sudo apt install python3.9
```



برای آن‌که مطمئن شویم نصب پایتون با موفقیت انجام شده می‌توانیم با دستور زیر، نسخه‌ی آن را مشاهده کنیم.
```terminal
python3.9 --version
```



**مطالعه‌ی بیشتر:** اگر در نصب پایتون با این روش دچار مشکل شدید می‌توانید روش‌های دیگری که در [این لینک](https://python.tutorials24x7.com/blog/how-to-install-python-3-9-on-ubuntu-20-04-lts) و [این لینک](https://linuxize.com/post/how-to-install-python-3-8-on-ubuntu-18-04/) شرح داده شده را مطالعه و امتحان کنید.

</details>

## ۲. نصب Anaconda/Miniconda

با نصب [*Anaconda*](https://www.anaconda.com) می‌توانید به تعدادی ابزار کاربردی در حوزه‌ی هوش مصنوعی دسترسی داشته باشید. یکی از این ابزارها `Conda` نام دارد که یک سیستم مدیریت محیط [مجازی] بسیار مشهور به شمار می‌رود. این رابط زندگی شما را بسیار آسان‌تر خواهد کرد! با استفاده از آن قادر خواهید بود به‌آسانی چندین نسخه‌ی متفاوت از پایتون را بر روی سیستم خود مدیریت کنید، محیط‌های مجازی متعددی با نسخه‌ی پایتون موردنظر خود بسازید و پکیج‌های موردنیاز خود را نصب یا به‌روزرسانی کنید.

![کوندا](https://quera.org/qbox/download/psQbtBt1pp/conda_logo.png)

از آنجا که خود *Anaconda* شامل ابزارها و پکیج‌های پیش‌فرض زیادی است حجم بالایی دارد و برای این دوره پیشنهاد می‌کنیم از یک نسخه‌ی سبک‌تر به نام [*Miniconda*](https://docs.conda.io/en/latest/index.html) استفاده کنید. البته اگر همچنان قصد داشته باشید از *Anaconda* استفاده کنید، هیچ مشکلی ندارد و می‌توانید به‌آسانی آن را از [سایت رسمی‌اش](https://www.anaconda.com/download/) دانلود و نصب کنید.

برای نصب *Miniconda* کافیست به [صفحه‌ی رسمی](https://docs.conda.io/en/latest/miniconda.html) آن مراجعه کرده و راه‌انداز مناسب سیستم خود را دانلود و نصب کنید. پس از اتمام نصب، برای آن‌که مطمئن شوید `conda` به‌درستی روی سیستم شما نصب شده می‌‎توانید دستور زیر را اجرا کنید و بررسی کنید که آیا نسخه‌ی نصب‌شده را خروجی می‌دهد یا خیر.
```terminal
conda --version
```



## ۳. محیط مجازی
نصب پایتون و کتابخانه‌های آن بسیار آسان است اما مشکلاتی در کمین ماست! ممکن است بعضی کتابخانه‌ها فقط بر روی نسخه خاصی از پایتون نصب شوند. شاید کدی برای اجرا شدن نیازمند نسخه خاصی از یک کتابخانه باشد و از این هم بدتر، بسیاری از کتابخانه‌ها به هم وابسته‌اند و نسخه‌هایی خاص از آنها با هم سازگار است. اگر برای اجرای کدهای مختلف دائماً بخواهیم کتابخانه‌هایی را نصب یا حذف کنیم، سرگیجه خواهیم گرفت! راه‌حل مسائلی از این قبیل، استفاده از محیط مجازی است.

| محیط مجازی چیزی نیست بجز تعدادی کتابخانه و یک نسخه‌ی به‌خصوص از پایتون. |
|:---:|

معمولاً برای توسعه یا اجرای یک پروژه پایتون، یک محیط مجازی می‌سازند و تنها کتابخانه‌های لازم برای آن پروژه را در آن محیط مجازی نصب می‌کنند. با این کار، هر پروژه کتابخانه‌های خود را خواهد داشت و نیازی نیست نگران تداخل کتابخانه‌های پروژه‌های مختلف باشیم. در ادامه به شرح نحوه‌ی ساخت و مدیریت این محیط‌ها در `conda` می‌پردازیم.

 <details class="orange">

<summary>
**ساخت یک محیط**
</summary>

برای ساخت یک محیط جدید `conda` کافیست یک نام برای محیط خود انتخاب کرده و همراه با نسخه‌ی پایتون موردنظر به شکل زیر دستور مربوطه را در ترمینال یا خط فرمان سیستم خود اجرا کنید.

```terminal
conda create -n NAME python=VERSION
```



مثلاً برای نصب یک محیط با نام `quera` و پایتون `3.9` می‌توانید دستور زیر را اجرا کنید:
```terminal
conda create -n quera python=3.9
```



در طول ساخت محیط ممکن است سوالی از شما پرسیده شود تا نصب را تایید کنید. در این‌صورت کافیست کلید `y` صفحه کلید را فشار داده یا `Enter` بزنید.

</details>

 <details class="orange">

<summary>
**فعال‌سازی محیط**
</summary>

برای آن‌که وارد محیط خود شوید یا به‌اصطلاح آن را فعال کنید می‌توانید دستور زیر را اجرا کرده و تنها به‌جای `NAME` نام محیط خود را وارد کنید.
```terminal
conda activate NAME
```



</details>

<details class="orange">

<summary>
**غیرفعال‌‎سازی محیط**
</summary>

در صورتی‌که بخواهید از محیط فعلی خارج شوید یا به‌اصطلاح آن را غیرفعال کنید کافیست دستور زیر را اجرا کنید.
```terminal
conda deactivate
```



</details>

<details class="orange">

<summary>
**مشاهده‌ی لیست محیط‌ها**
</summary>

اگر بخواهید لیست تمام محیط‌های ساخته‌شده را مشاهده کنید کافیست دستور زیر را اجرا کنید.
```terminal
conda env list
```



</details>

<details class="orange">

<summary>
**نصب یک پکیج**
</summary>
برای نصب یک کتابخانه یا پکیج بر روی محیط فعلی می‌توانید از دستور زیر استفاده کنید (فراموش نکنید که ابتدا محیط موردنظر را فعال کرده باشید).
```terminal
conda install PACKAGENAME
```



البته از آن‌جا که ممکن است تمام پکیج‌ها در `conda` موجود نباشند می‌توانید همچنان از مدیریت‌کننده‌ی پکیج پیش‌فرض پایتون یعنی `pip` هم استفاده کنید.
```terminal
pip install PACKAGENAME
```



**نکته:** اگر قصد دارید یک نسخه‌ی خاص از پکیج را نصب کنید کافیست بعد از نام پکیج یک علامت مساوی (`=`) گذاشته و سپس شماره‌ی نسخه را بنویسید.

</details>

<details class="orange">

<summary>
**حذف یک پکیج**
</summary>
برای حذف یک کتابخانه یا پکیج از محیط فعلی می‌توانید از دستور زیر استفاده کنید.
```terminal
conda remove PACKAGENAME
```



در `pip` نیز می‌توانید از دستور زیر استفاده کنید.
```terminal
pip uninstall PACKAGENAME
```



</details>

<details class="orange">
<summary>
**به‌روزرسانی یک پکیج**
</summary>
برای به‌روزرسانی یک کتابخانه یا پکیج می‌توانید از دستور زیر استفاده کنید.
```terminal
conda update PACKAGENAME
```



در `pip` نیز می‌توانید از دستور زیر استفاده کنید.
```terminal
pip install --upgrade PACKAGENAME
```



</details>

<details class="orange">
<summary>
**مشاهده‌ی پکیج‌ها**
</summary>
برای بررسی پکیج‌های نصب‌شده در محیط می‌توانید از دستور زیر استفاده کنید.
```terminal
conda list
```



در `pip` نیز می‌توانید از دستور زیر استفاده کنید.
```terminal
pip list
```



</details>

## ۴. نصب پکیج‌های موردنیاز

به کمک توضیحات بخش قبل یک محیط مجازی ساخته، **آن را فعال کنید** و سپس پکیج‌های زیر را بر روی محیط خود نصب کنید. لازم به ذکر است که لازم نیست در همین ابتدای دوره تمامی پکیج‌ها را نصب کنید. می‌توانید پیش بروید و در هر زمان که به پکیجی نیاز داشتید به این درسنامه برگشته و پکیج مورد نظر را نصب نمایید.
```
numpy
pandas
matplotlib
seaborn
plotly
joblib
scipy
jupyter
jupyterlab
```



البته کتابخانه‌هایی که در طول دوره استفاده خواهیم کرد محدود به لیست بالا نیست اما می‌توانید آن‌ها در همان فصل مربوطه نصب کنید.


<details class="green">
<summary>
**نصب تمام پکیج‌ها با یک دستور**
</summary>

| فایل `requirements.txt` دوره را می‌توانید از [این لینک](/qbox/download/qBeblZ2cfG/requirements.zip) دانلود کنید (فایل را از حالت فشرده خارج کنید). |
| :---: |

اگر قصد دارید تمام پکیج‌ها را تنها با یک دستور نصب کنید کافیست لیست آن‌ها را در یک فایل متنی مثلاً به نام `requirements.txt` ذخیره کرده و سپس دستور زیر را اجرا کنید.

با استفاده از `pip` :
```terminal
pip install -r requirements.txt
```



با استفاده از `conda` :
```terminal
conda install --yes --file requirements.txt
```



</details>

 <details class="red">

<summary>
**رفع خطا**
</summary>
اگر در هنگام نصب کتابخانه‌ها با خطایی مواجه شدید که در متن آن به عبارت زیر اشاره شده بود:
```terminal
error: Microsoft Visual C++ 14.0 is required.
```



نیاز است تا *++Microsoft Visual C* را به‌روزرسانی کنید. برای این کار *Microsoft C++ Build Tools* را از [وبسایت رسمی](https://visualstudio.microsoft.com/visual-cpp-build-tools/) آن یا [لینک مستقیم](/qbox/download/mRMCIiBBHq/vs_BuildTools.zip) ما دریافت کرده و در هنگام نصب مطمئن شوید که گزینه‌ی *C++ build* tools فعال باشد. پس از آن مجدداً دستور نصب کتابخانه‌ها را اجرا کنید.
![image](/qbox/download/REL5E19Vjh/BuildTools.png)

بهتر است بعد از نصب پکیج بالا، یک‌بار `pip` محیط کار خود را نیز آپگرید کنید.

```terminal
python -m pip install --upgrade pip
```



</details>

</details>

 <details class="yellow">

<summary>
**چرا این نسخه‌ها؟**
</summary>
در مواردی که نسخه‌ی کتابخانه صراحتاً‌ مشخص شده است اگر از نسخه‌ی دیگری از آن کتابخانه استفاده کنید سیستم داوری کوئرا قادر به ارزیابی و نمره‌دهی پاسخ شما نخواهد بود زیرا که این سیستم براساس همان نسخه پیاده‌سازی شده است.
</details>

سیستم‌های پیشنهاد دهنده