مقدمه

سلام

قالب کوئرا کالج

سیستم امتیازدهی و دریافت گواهی

آماده‌سازی محیط توسعه

معرفی پایتون تعاملی

معرفی نوتبوک ژوپیتر

محیط VS Code

گوگل کولب (Google Colab)

دستگرمی

مقدمه‌ای بر سیستم‌های پیشنهاددهنده

اهداف فصل

آشنایی با سیستم‌های پیشنهاددهنده

نمونه‌های واقعی از سیستم‌های پیشنهاددهنده

دسته‌بندی سیستم‌های پیشنهاددهنده

سیستم‌های پیشنهاددهنده در مقابل بار اطلاعاتی

چالش‌های طراحی سیستم‌های پیشنهاددهنده

داده‌های صریح و داده‌های ضمنی

اخلاق و مسئولیت‌پذیری در سیستم‌های پیشنهاددهنده

کوییز

مروری بر مفاهیم پایه

نامپای

جبر خطی

پانداز

قدم بزرگتر با پانداز

کار با فایل

مشخ شیخ

آمار ۱

آمار ۲

کوییز ۱

پیش‌پردازش داده‌ها

پیش‌پردازش در عمل

سنجش عملکرد

کوییز ۲

کتاب‌تکانی

سیستم‌های پیشنهاد دهنده مبتنی بر محتوا

آشنایی با سیستم‌های پیشنهاددهنده محتوا-محور

استخراج ویژگی‌ها از داده‌های متنی

متاداده‌ها و استخراج اطلاعات

تبدیل متن به بردار: قلب سیستم‌های پیشنهاددهنده

به دنبال شباهت‌ها، ریاضیات ساده و نتایج بزرگ

ساخت یک پیشنهاددهنده سلیقه‌ای

پیاده‌سازی یک سیستم‌ پیشنهاددهنده : صفر تا اجرا (بخش اول)

پیاده‌سازی یک سیستم‌ پیشنهاددهنده : صفر تا اجرا (بخش دوم)

شاید این موزیک رو هم دوست داشتی

پروژه ۱

پردازش زبان فارسی

به دنبال خبر

پالایش گروهی مبتنی بر کاربر

معرفی سیستم‌های پالایش گروهی

پالایش گروهی مبتنی بر کاربر و آیتم!

UBCF در عمل: چگونه جنس داده‌ها، مسئله ما را تغییر می‌دهد؟

مفهوم شباهت کاربران و روش‌های اندازه‌گیری شباهت

از دل کاربران مشابه: هنر پیشنهاد محصول در پالایش جمعی

از دل کاربران مشابه: هنر پیشنهاد محصول در پالایش جمعی با داده‌های ضمنی

چالش‌های پالایش جمعی مبتنی بر کاربر

پروژه ۲

قفسه هوشمند

همیار شغلی کوئرا

پالایش گروهی مبتنی بر محصول

معرفی پالایش گروهی مبتنی بر محصول (IBCF)

اندازه‌گیری شباهت آیتم‌ها

فرآیند پیش‌بینی امتیاز و تولید لیست پیشنهادها در IBCF

الگوریتم Slope One

نگاهی به آن‌سوی سکه؛ چالش‌های پالایش جمعی مبتنی بر محصول(IBCF)

بر سر دوراهی؛ UBCF یا IBCF، کدام یک برای شما مناسب‌تر است؟

پیوند دو نگاه؛ ترکیب هوشمندانه UBCF و IBCF

پروژه ۳

همیار شغلی کوئرا (اسپین آف مبتنی بر آیتم)

سیستم پیشنهادگر هوشمند فیلم

مروری بر تجزیه ماتریسی

مفهوم ماتریس Sparse

کار با scipy.sparse

مقدمه‌ای بر تجزیه ماتریس

ماتریس تعامل

ماتریس تعامل در عمل

تعامل ادبی

ماتریس‌های بزرگ و چالش‌های آن

کشف سریع علایق کاربر با Funk-SVD

پیشنهاد سرعتی

آشنایی با ALS

پیشنهاد قدرتی

ارزیابی و بهبود

سیستم‌های پیشنهاد‌دهنده ترکیبی

چرا ترکیب مدل‌ها؟

روش‌های ترکیبی ساده (سوئیچینگ)

روش‌های ترکیبی ساده (وزنی)

فراتر از ترکیب ساده: نیاز به سیستم‌های ترتیبی (مطالعه بیشتر)

بهبود ماتریس تعاملات با اطلاعات محتوا

پیاده‌سازی عملی: صفر تا اجرا (بخش اول)

پیاده‌سازی عملی: صفر تا اجرا (بخش دوم)

پیاده‌سازی عملی: صفر تا اجرا (بخش سوم)

سنجش عملکرد در سیستم‌های پیشنهاددهنده ترکیبی

ناجی فیلم لاور

چالش‌های عملیاتی طراحی سیستم‌های پیشنهاددهنده ترکیبی

پروژه ۴

کهکشان فرصت‌ها

کاربرد یادگیری ماشین در سیستم‌های پیشنهاددهنده (Classic ML)

رگرسیون خطی

مشکل موشا

لجستیک رگرسیون

وفاداری‌سنج

مهندسی ویژگی و پیش‌پردازش داده

درخت‌های تصمیم و روش‌های مبتنی بر درخت

درخت‌های تصمیم و روش‌های مبتنی بر درخت ۲

میزبان

مقایسه و تحلیل نتایج

یادگیری نظارت‌نشده

پروژه ۵

شکموک

کاربرد یادگیری ماشین در سیستم‌های پیشنهاددهنده (Learn to Rank)

Learn to Rank چیست؟

داده ها در LTR

انواع رویکردهای یادگیری برای رتبه‌بندی

فراتر از «درستی»؛ سنجش «کیفیت»

LTR در عمل

الگوریتم LambdMART

پروژه ۶

لیست طلایی

تکمیل لیست طلایی

یادگیری‌عمیق و سیستم‌های پیشنهاددهنده (مطالعه بیشتر)

چرا یادگیری عمیق؟

شبکه عصبی چند لایه و سیستم‌های پیشنهاددهنده

روش های مبتنی بر خودرمزگذار‌ها

روش های مبتنی بر شبکه‌های عصبی کانولوشنی

شبکه‌های عصبی بازگشتی و سیستم‌های پیشنهاددهنده

روش‌های مبتنی بر مدل‌های Neural Autoregressive

شبکه‌های مولد تخاصمی و سیستم‌های پیشنهاددهنده

مکانیزم توجه، ترنسفورمر‌ها  و استفاده از آن‌ها در سیستم‌های پیشنهاددهنده

استفاده از یادگیری تقویتی عمیق در سیستم‌‌های پیشنهاددهنده

معایب استفاده از روش های مبتنی بر یادگیری عمیق

کوییز ۳

روش‌های دیگر (مطالعه بیشتر)

انواع نگاه به سیستم‌های پیشنهاددهنده ۱

انوع نگاه به سیستم‌های پیشنهاددهنده ۲

گراف‌ها در سیستم‌های پیشنهاددهنده ۱

گراف‌ها در سیستم‌های پیشنهاددهنده ۲

گراف‌ها در سیستم‌های پیشنهاددهنده ۳

گراف‌ها در سیستم‌های پیشنهاددهنده ۴

سیستم‌های پیشنهاددهنده مولد

سیستم‌های پیشنهاددهنده و Federated Learning

پایتون زبانی همه‌فن‌حریف و جذاب و یادگیری آن هم آسان است. ویژگی‌های منحصر به فرد پایتون آن را در سال‌های اخیر به یک گزینه‌ی درجه یک برای امور تحقیقاتی و محاسبات علمی تبدیل کرده است، حال آن‌که در شروع کار، چنین چیزی جزء اهداف اصلی طراحی زبان پایتون نبود. همه‌جای اینترنت پر است از منابع آموزشی مفید برای پایتون. احتمالاً سوالی در مورد کد‌های پایتون نتوان یافت که جواب آن در اینترنت موجود نباشد.

مفید بودن و راحتی استفاده از پایتون برای علم داده بیشتر به دلیل وجود کتابخانه‌های فعال و قدرتمندی است که توسط گروه‌های مختلف برای پایتون نوشته شده‌اند. نامپای (`numpy`) برای کار با داده‌های آرایه‌ای و چندبعدی هم‌شکل، پانداز (`pandas`) برای کار با داده‌های غیر‌هم‌شکل و برچسب‌دار، مَت‌پِلات‌لیب (`matplotlib`) برای مصورسازی داده‌ها و در نهایت آی‌پایتون (`IPython`) برای کدنویسی تعاملی و انجام آسان‌تر عملیات داده‌ای.

در این دوره کار با این کتابخانه‌ها را خواهیم آموخت. پیش از آن، کمی در مورد محیطی که در آن کد می‌نویسیم و الگوی کدنویسی دوره صحبت کنیم.

%align_right_start%

### شل پایتون (`Python Shell`)

%align_end%

برای استفاده از پایتون دو راه داریم. می‌توانیم همه‌ی کد‌ها را داخل یک یا چند فایل `.py` بنویسیم و فایل‌ها را اجرا کنیم، یا دستورات را یک به یک در شل پایتون نوشته و اجرا کنیم.

|تعریف شل| 
|:--:| 
| یک رابط خط فرمان (Command Line Interface) است که به جای واسط گرافیکی می‌توان از آن برای کنترل سیستم استفاده کرد. به زبان ساده‌تر، به جای کلیک راست و زدن گزینه‌ی ایجاد فولدر، در محیط شل بنویسیم که در فلان آدرس، یک فولدر با فلان نام بساز! |

برای استفاده از شل پایتون، در خط فرمان ویندوز می‌نویسیم `python` (در ترمینال لینوکس و مکینتاش باید عبارت `python3` را بنویسید.) 

| ![شل پایتون](https://quera.ir/qbox/view/F9G57bDFbZ/1.png) | 
|:--:| 
| محیط شل در ویندوز |

سوال مهمی مطرح می‌شود. چه زمانی از شل پایتون استفاده کنیم؟

### حلقه‌ی خواندن - ارزیابی - پرینت

فرض کنید می‌خواهیم برنامه‌ای بنویسیم که یک سری عملیات را بر روی داده‌ی ما انجام دهد و ما می‌دانیم خروجی به چه شکل خواهد بود. روش اول این است که کلیه‌ی دستورات لازم را در یک فایل `.py` بنویسیم و بعد از انجام یک‌ سری عملیات دیباگ، در نهایت کدی داشته باشیم که مطابق میل ما عمل کند.

روش دوم این است که در شل پایتون، داده را بخوانیم و با آزمون و خطا عملیات مختلف را روی داده انجام دهیم و هر بار خروجی را ببینیم.

روش اول الگوی **تغییر-کامپایل-اجرا-دیباگ (Edit-Compile-Run-Debug)** و روش دوم الگوی **حلقه‌ی خواندن-ارزیابی-پرینت (Read-Eval-Print Loop)** یا به اختصار **REPL** می‌باشد.

استفاده از الگوی *REPL* برای انجام امور تحلیل داده‌ای موجب آسان‌تر شدن کارها می‌شود. در این دوره ما از همین الگو استفاده خواهیم کرد.

| ![REPL](/qbox/download/hgKxntUluZ/5%20-%20Copy.png) | 
|:--:| 
| *REPL* الگوی |

پایتون، شل خود را در اختیارمان قرار داده تا از الگوی *REPL* استفاده کنیم اما شل پایتون برای این‌ کار بهترین گزینه نیست. اگر فرضاً بخواهیم لیست دستورات اجرا شده را ببینیم، یا خروجی دستورات قبل را یک‌جا داشته باشیم، به مشکل می‌خوریم. این کمبود‌ها باعث شد تا جرقه‌ی ساختن یک شل بهتر و کامل‌تر زده شود.

### پایتون تعاملی

شل جدید که `Ipython` نام داشت در سال ۲۰۰۱ توسط *Fernando Pérez* ساخته شد. `Ipython` مخفف *Interactive python* به معنی پایتون تعاملی می‌باشد. پایتون تعاملی می‌تواند جایگزین شل پایتون شود و امکانات مناسبی برای امور تحلیل داده دارد که شل پایتون فاقد آن است. برای استفاده از پایتون تعاملی، پس از نصب آن در خط فرمان ویندوز (یا ترمینال لینوکس و مکینتاش) می‌نویسیم `ipython`:

</details>

<details class="yellow">

<summary>
**نکته**
</summary>
آموزش نصب همه ابزار‌های لازم برای این دوره در درسنامه‌ی «[آماده‌سازی محیط کار](https://quera.org/college/22099/chapter/84815/lesson/294466)» آمده است.
</details>

| ![شل پایتون تعاملی](https://quera.ir/qbox/view/Ng49Mz7hpZ/2.png) | 
|:--:| 
| شل پایتون تعاملی |

اولین تفاوتی که به چشم می‌آید در ظاهر این دو شل است. در شل پایتون تعاملی ورودی با `in[]` و خروجی با `out[]` مشخص شده است و عدد داخل براکت ‍`[]` نشان می‌دهد که آن کد، چندمین کد اجرا شده می‌باشد. پایتون تعاملی امکانات بسیار مفید دیگری دارد که در درسنامه‌های پیش رو به آنها خواهیم پرداخت.

خلاصه‌ی حرف‌مان این شد که برای امور تحلیل داده‌ای، الگوی کدنویسی *REPL* روند رسیدن به جواب را تسریع می‌کند. برای استفاده از این الگو نیاز به محیط شل داریم و به دلیل کمبود‌های شل پایتون، به سراغ پایتون تعاملی می‌رویم که جایگزین شل پایتون می‌شود و امکانات بیشتری دارد.

گفتیم که شل پایتون تعاملی امکاناتی دارد که شل عادی پایتون ندارد و این امکانات در موقعیت‌های بسیاری، مخصوصاً امور تحلیل داده، به کار ما خواهد آمد. در این درسنامه، بعضی از این امکانات را با هم بررسی می‌کنیم.

## تکمیل با تَب (Tab Completion)
یکی از امکانات مفید پایتون تعاملی، پشتیبانی از تکمیل با تب می‌باشد که در بسیاری از *IDE*ها و محیط‌های برنامه‌نویسی به‌طور پیش‌فرض وجود دارد. هنگام نوشتن عبارات، با فشردن `Tab` جست‌و‌جو برای متغیرهایی که نام آن‌ها با عبارتِ نوشته‌‌شده مطابقت دارد، شروع می‌شود و با فشردن دوباره‌ی `Tab`، آن عبارت کامل می‌شود. به بیانی دیگر `Ipython` حدس می‌زند که شما دنبال چه هستید و لیستی از پیشنهادات خودش را ارائه می‌دهد. از این قابلیت می‌توان علاوه بر متغیرها، برای کامل کردن آدرس‌ها و پارامتر‌های توابع و `import` ها هم استفاده کرد. در شکل زیر مثال‌هایی از تکمیل با `Tab` در ترمینال و نت‌بوک آمده است. توجه کنید که این ویژگی در نت‌بوک قدرت بیشتری دارد و گزینه‌های بیشتری پیشنهاد می‌دهد.

![تکمیل با تب](https://quera.ir/qbox/view/9gzYbzsnTG/6.jpg)

## دستورات جادویی
پایتون تعاملی دارای دستورات و توابعی است که خود پایتون فاقد آن‌هاست. این دستورات، **دستورات جادویی** نامیده می‌شوند. این دستورات با کاراکتر `%` شروع می‌شوند و برای حل بسیاری از مشکلات و مسائل معمول در امور تحلیل‌داده طراحی شده‌اند. دستورات جادویی به دو دسته‌ی کلی *Line Magic* و *Cell Magic* تقسیم می‌شوند.

+ **دستورات Line:‌** این دسته از دستورات بر روی **یک خط از کد** اعمال می‌شوند و با `%` شروع می‌شوند.
+ **دستورات Cell:** این دسته بر روی **کل خطوط داخل یک سلول** اعمال می‌شوند و با `%%` شروع می‌شوند.

در این درسنامه و درسنامه‌های پیش‌رو با مهم‌ترین دستورات جادویی آشنا می‌شویم.

<details class="violet">
<summary>**مثال: خدایان کدنویسی**</summary>
محمد و سجاد ادعای کدنویسی بهینه دارند و می‌خواهند ببینند چه کسی حاصل دو به توان ۱۰۰ را سریع‌تر حساب می‌کند. آن‌ها برای اندازه‌گیری سرعت کدها به مشکل خورده‌اند زیرا روش قابل اعتمادی برای اندازه‌گیری سرعت ندارند و کد، گاهی آهسته و گاهی سریع اجرا می‌شود و نمی‌توانند بفهمند کد کدام یک سریع‌تر است. علی از راه می‌رسد و با معرفی دستور جادویی `timeit` به آن‌ها کمک می‌کند تا کد بهینه را پیدا کنند.
</details>

استفاده از این دستورات بسیار آسان است. کافی است در ابتدای سلول قرار گیرند. به مثال زیر توجه کنید:

```jupyter
{"cells": [{"cell_type": "code", "execution_count": 1, "source": ["%timeit 2**10"], "outputs": [{"output_type": "stream", "name": "stdout", "text": ["13.4 ns \u00b1 3.47 ns per loop (mean \u00b1 std. dev. of 7 runs, 100000000 loops each)\n"]}], "metadata": {}}], "metadata": {"kernelspec": {"language": "python"}}}
```


در سلول بالا کد نوشته‌ شده چند بار اجرا می‌شود و میانگین زمان اجرا در خروجی نمایش داده می‌شود.

حالا به دستور جادویی زیر توجه کنید که بر روی یک سلول عمل می‌کند:

```jupyter
{"cells": [{"cell_type": "code", "execution_count": 2, "source": ["%%writefile my_def.py\r\n", "\r\n", "def cube(x):\r\n", "    \"\"\"\r\n", "    return the cube of x.\r\n", "    \"\"\"\r\n", "    return x ** 3"], "outputs": [], "metadata": {}}], "metadata": {"kernelspec": {"language": "python"}}}
```


در کد بالا با استفاده از دستور `writefile`، فایل `my_def.py` در آدرسی که نت‌بوک در آن قرار دارد ساخته می‌شود و تابعی که برای محاسبه توان سوم یک عدد نوشته‌ایم، در آن قرار داده می‌شود.

## مستندات و توضیحات بیشتر در پایتون تعاملی
یکی از مهم‌ترین امکانات پایتون تعاملی، کمک به کاربر در رسیدن به مستندات و توضیحات متغیر‌ها و توابع است. با اینکه جست‌و‌جو در وب همچنان نقش مهمی در جواب دادن به سوالات دارد، اما می‌توان  اطلاعات بسیار مفیدی را از داخل خود پایتون تعاملی به دست آورد. بعضی از سوالاتی که پایتون تعاملی می‌تواند جواب دهد:
+ از این تابع چگونه استفاده می‌شود؟ چه پارامتر‌هایی را می‌توان تغییر داد و تاثیر هر کدام چگونه است؟
+ سورس‌کد این تابع یا متد به چه شکلی است؟
+ این متغیر از چه جنسی است و چه عناصری در آن ذخیره شده؟

با قرار دادن کاراکتر علامت سوال (`?`) در ابتدا یا انتهای یک شیء (*object*)، می‌توان اطلاعات کلی آن شیء را در خروجی مشاهده کرد و مستندات آن شیء (در صورت وجود) هم به نمایش در می‌آید. با استفاده از دو علامت سوال، اگر شیء تابع باشد، سورس‌کد آن هم به نمایش در‌ می‌آید. این ویژگی پایتون تعاملی **درون‌بینی (Introspection)** نام دارد.
به مثال زیر توجه کنید:

```jupyter
{"cells": [{"cell_type": "code", "execution_count": 3, "source": ["my_list = ['ali','ebrahim',3]\r\n", "?my_list"], "outputs": [{"output_type": "stream", "name": "stdout", "text": ["Type:        list\nString form: ['ali', 'ebrahim', 3]\nLength:      3\nDocstring:  \nBuilt-in mutable sequence.\n\nIf no argument is given, the constructor creates a new empty list.\nThe argument must be an iterable if specified."]}], "metadata": {}}], "metadata": {"kernelspec": {"language": "python"}}}
```


در مثال بالا ابتدا لیست ساده‌ای ساخته شده است. سپس با کمک ویژگی درون‌بینی، اطلاعات آن مانند جنس، طول و اطلاعات مفید دیگر به نمایش در‌ آمده است.

حال به مثال زیر توجه کنید:

```jupyter
{

    "cells": [

        {

            "cell_type": "code",

            "execution_count": 4,

            "source": [

                "??cube"

            ],

            "outputs": [

                {

                    "output_type": "stream",

                    "name": "stdout",

                    "text": ["Signature: cube(x)\nSource:   \ndef cube(x):\n    '''\n    return the cube of x.\n    '''\n    return x ** 3\nFile:      e:\/programming\/<ipython-input-13-32aa8c1f13cc>\nType:      function"

                    ]

                }

            ],

            "metadata": {}

        }

    ],

    "metadata": {

        "kernelspec": {

            "language": "python"

        }

    }

}
```


این‌بار این ویژگی را بر روی تابعی که در قسمت قبل نوشتیم اعمال می‌کنیم و مشاهده می‌کنید که به دلیل استفاده از دو علامت سوال، علاوه بر توضیحات تابع، سورس کد آن هم به نمایش در آمده است.

## یکپارچگی با کتابخانه‌های مصورسازی

یکی دیگر از دلایل محبوبیت `Ipython` در میان تحلیل‌گران داده، ادغام آسان آن با کتابخانه‌های مصور‌سازی داده از قبیل `matplotlib` می‌باشد (با این کتابخانه در فصل «مصورسازی داده» آشنا می‌شویم).

معمولاً در محیط‌های برنامه نویسی، برای رسم نمودار‌ها، پنجره‌ای باز می‌شود و نمودار در آن به نمایش در می‌آید. هنگام کار با تعداد بیشتری نمودار، ممکن است این روش شما را اذیت کند. در نت‌بوک ژوپیتر، نمودارها روی خود نت‌بوک نمایش داده می‌شوند و نیاز به چیز دیگری نیست. همچنین اگر کد شما نمودارهای زیادی تولید کند، در نت‌بوک ژوپیتر به راحتی می‌توانید همه‌ی آن‌ها را کنار هم و روی همان فایل نت‌بوک داشته باشید. با کمک دستورات جادویی `Ipython` که به همین منظور طراحی شده‌اند، می‌توان چندین نمودار را با هم در محیط `Ipython` رسم و مشاهده کرد.

علاوه بر مواردی که گفتیم، امکانات بسیار دیگری در `Ipython` قرار داده شده است که خارج از سطح این دوره هستند. با استفاده از `Ipython` و ژوپیتر کار با داده و عملیات تحلیل‌داده‌ای بسیار آسان‌تر می‌شود و برای محاسبات علمی و کدنویسی تعاملی یک انتخاب معقول می‌باشد.

سیستم‌های پیشنهاد دهنده