مقدمه

سلام!

قالب کوئرا کالج

سیستم امتیازدهی و دریافت گواهی

آماده‌سازی محیط توسعه

گوگل کولب (Google Colab)

محیط VS Code

مقدمه‌ای بر پردازش زبان طبیعی

پردازش زبان طبیعی چیست؟

هدف‌ و کاربرد‌های پردازش زبان طبیعی

مفاهیم پایه‌ای در زبان طبیعی

چالش‌های پردازش زبان طبیعی (اختیاری)

چالش‌های مدل‌های زبانی چندگانه

مروری بر تاریخچه پردازش زبان طبیعی

کار با رشته‌ها در پایتون

رشته در پایتون

عملیات رشته‌ها

رمز قوی

دست‌کاری رشته‌ها

مروری بر کار با فایل

کار با فایل‌های متنی

تجزیه و تحلیل

عبارات منظم (Regex)

عبارت منظم چیست؟

عبارات منظم در پایتون

متاکاراکترها

کمی‌سازها

گروه‌بندی

کوییز ۱

توابع پرکاربرد در ماژول re

کوییز ۲

کارآگاه منظم

پیش‌پردازش متن با NLTK

شروع به کار

توکن‌‌سازی

کلمات توقف

برچسب‌گذاری نقش کلمات

Stemming

Lemmatization

کوییز

تجسم داده‌های متنی

تمرین

بازنمایی آماری متن

معرفی کلی بازنمایی آماری متن

بازنمایی وان هات (One-Hot)

بازنمایی کیسه کلمات (BoW)

بازنمایی TF-IDF

مقایسه‌ی روش‌های بازنمایی

روش‌های بازنمایی در عمل

پروژه‌ ۱

آشنایی با تحلیل متون انگلیسی

پردازش متن حرفه‌ای‌تر

چرا spaCy

نصب spaCy و مدل‌های زبان آن

توکن‌‌سازی براساس کلمه در spaCy

توکن‌‌سازی براساس کاراکتر

توکن‌سازی بر اساس زیر کلمه

لوله کشی در spaCy

کوییز توکن‌سازی

کاوش در کتابخانه زندگی

مدل‌سازی

مدل‌سازی چیست؟

بیز ساده‌لوحانه

تکنیک‌های مرتبط با بیز ساده‌لوحانه

معیارهای ارزیابی

مقدمه‌ای بر مدل‌های زبانی (Language Models)

مدل آماری N-Gram

مولد زبانی برای تولید متن

پروژه ۲

تولید خودکار جملات

تعبیه‌ی متن

مقدمه‌ای بر تعبیه‌ی کلمات

مقایسه تعبیه‌ کلمات با روش‌های سنتی نمایش متن

تعبیه‌ی کلمات در پردازش زبان طبیعی

الگوریتم Word2Vec و روش‌های آن

تابع‌های شباهت در پردازش زبان طبیعی

معرفی کتابخانه‌ی Gensim

پیاده سازی Word2Vec در Gensim

ارزیابی مدل ساخته شده به کمک Gensim

تعبیه سازی یک سند

کاربرد‌های تعبیه‌سازی در عملیات‌های یادگیری ماشین

روژان و کلمه گمشده

پروژه ۳

کار با کتابخانه hazm

کاوشگر احساسات

به روش‌ها و ابزارهای مختلفی می‌توان یک محیط کدنویسی پایتون را راه‌اندازی کرد و این امر می‌تواند بسیار به سلیقه‌ی افراد بستگی داشته باشد. از کدنویسی در محیط *Jupyter Notebook* و *Jupyter Lab* گرفته تا استفاده از *IDE* هایی همچون *PyCharm*. با این حال، یک انتخاب رایج استفاده از ***Visual Studio Code*** یا به‌اختصار ***VS Code*** می‌باشد. با استفاده از این نرم‌افزار می‌توانید در سریع‌ترین زمان شروع به کدنویسی کنید و با استفاده از پیکربندی دلخواه خود و همچنین پلاگین‌های بسیار متنوعی که برای آن طراحی شده است یک محیط کدنویسی حرفه‌ای،‌ قدرتمند و البته سبک را برای کار خود ایجاد کنید. بنابراین در ادامه به شرح نحوه‌ی نصب و استفاده از این نرم‌افزار خواهیم پرداخت و شما را با نحوه‌ی اجرای کدها بر روی محیط ساخته‌شده در درسنامه‌ی پیشین آشنا خواهیم کرد.

![لوگو VS Code](https://quera.org/qbox/download/DHTtcP4kfU/vscode.png)

## ۱. نصب VS Code
ابتدا به [سایت رسمی *Visual Studio Code*](https://code.visualstudio.com/) مراجعه کرده و نسخه‌ی مناسب با سیستم‌عامل خود را دریافت و به‌آسانی نصب کنید.

 <details class="blue">

<summary>
**آشنایی با رابط کاربری VS Code**
</summary>

ظاهر *VS Code* چندان با سایر ویرایشگرهای کد متفاوت نیست و از یک رابط کاربری مرسوم بهره می‌برد. در سمت چپ تمام فایل‌ها و پوشه‌های پروژه‌ی کنونی نمایش داده می‌شود و در سمت راست ویرایشگر آن قرار گرفته که محتویات فایل‌هایی که باز کرده‌اید را نشان می‌دهد.

![رابط کاربری VS Code](https://quera.org/qbox/download/0A9LKx9Uqz/VSCode_UI.png)

رابط کاربری این برنامه را می‌توان به پنج قسمت اصلی تقسیم کرد:

+ **نوار فعالیت (َActivity Bar):** در چپ‌ترین قسمت پنجره قرار گرفته و دسترسی راحت‌تری به برخی از ابزارهای مهم فراهم می‌کند. یکی از مهم‌ترین ابزارهای این قسمت `Source Control` است و در صورتی‌که در حال استفاده از گیت (`Git`) باشید تعداد تغییرات شما بر روی دکمه‌ی مرتبط با آن نمایش داده می‌شود. از دکمه‌های مهم دیگر این قسمت `Extension` است که با استفاده از آن می‌توانید به کاوش میان اکستنشن‌های *VS Code* پرداخته و ابزارهای موردنیاز و علاقه‌ی خود را به این محیط اضافه کنید.
+ **نوار جانبی (Side Bar):** نماهای مختلفی در این بخش نمایش داده می‌شود که اصلی‌ترین آن هنگامی‌ست که در حال کار روی پروژه خود هستید و لیست فایل‌های پروژه‌ همچون یک `Explorer` در این قسمت فهرست می‌شود.
+ **ویرایشگر (Editor):** ناحیه‌ی اصلی ویرایش فایل‌های شماست و در آن می‌توانید ویرایشگرهای مختلفی (چندین فایل) را باز کرده و در کنار همدیگر به‌صورت افقی یا عمودی نمایش دهید.
+ **پنل (Panel):** یک فضای افزوده است و عموماً برای نمایش خروجی، اطلاعات دیباگ، خطاها و هشدارها و ترمینال استفاده می‌شود. این امکان را دارید تا محل قرارگیری پنل را به‌دلخواه تغییر داده و به سمت چپ یا راست صفحه نیز منتقل کنید.
+ **نوار وضعیت (Status Bar):** یک سری اطلاعات درباره‌ی پروژه‌ی کنونی شما و فایل‌های در حال ویرایش در این قسمت به نمایش در می‌آید.

در *VS Code* کلیدهای میانبر بسیاری تعریف شده که با استفاده از آن‌ها می‌توانید با سرعت بیشتری به قابلیت‌های مختلف این برنامه دسترسی پیدا کنید. یکی از مهم‌ترین کلیدهای میانبر آن `Ctrl+Shift+P` است که باعث نمایش بخش پالت دستور (`Command Palette`) می‌شود. در این قسمت می‌توانید به تمام قابلیت‌های *VS Code* دسترسی داشته باشید.

![پالت دستورها - Command Palette](https://quera.org/qbox/download/zdT2EUuvFx/CommandPalette.png)

علاوه بر این می‌توانید نسبت به اجرای یک سری دستور در همین قسمت اقدام کنید. کافیست علامت `?` را تایپ کنید تا لیستی از دستورهای قابل اجرا برای شما فهرست شود.

![فهرست دستورها](https://quera.org/qbox/download/js6spQ4NJW/quickopenhelp.png)

برای آشنایی کامل‌تر با رابط کاربری *VS Code* می‌توانید [مستندات اصلی](https://code.visualstudio.com/docs/getstarted/userinterface) آن را مطالعه کنید.

</details>

## ۲. نصب افزونه‌های مورد نیاز
در پنل سمت چپ روی دکمه‌ی `Extension` کلیک کنید. سپس عبارت `Python` را تایپ کرده و روی نخستین نتیجه‌ی یافت‌شده که سازنده‌ی آن مایکروسافت است کلیک کرده، سپس روی دکمه‌ی `Install` کلیک کنید تا افزونه دانلود و نصب شود.

![افزونه پایتون](https://quera.org/qbox/download/Z5hKcQbd3O/PythonExtension.jpg)

به طریق مشابه افزونه‌ی `Jupyter` (از مایکروسافت) را نیز نصب کنید.

## ۳. اجرای فایل پایتون
برای اجرای یک فایل پایتون (با پسوند `.py`) کافیست بر روی دکمه‌ی آن در بالا سمت راست صفحه (دکمه‌ی مثلثی همچون علامت `Play`) کلیک کنید.

![اجرای کد پایتون](https://quera.org/qbox/download/MQNhXruKM7/PythonRun.jpg)

در اولین بار اجرای یک فایل پایتون از شما بابت انتخاب یک مفسر (Interpreter) سوال می‌شود یا در بخش نوار وضعیت علامت زیر را مشاهده می‌کنید.

![انتخاب مفسر](https://quera.org/qbox/download/OEVkvaX1VV/no-interpreter-selected-statusbar.png)

کافیست روی این دکمه کلیک کنید تا لیست نسخه‌های پایتون نصب‌شده و محیط‌های مجازی سیستم شما نمایش داده شود. سپس می‌توانید محیطی که برای این دوره ساخته‌اید را انتخاب کنید.

![لیست مفسرها](https://quera.org/qbox/download/Jq0DdXFytx/interpreters-list.png) 

 <details class="red">

<summary>
**عدم وجود محیط موردنظر در لیست**
</summary>

اگر *VS Code* نتوانسته به‌صورت خودکار محیط شما را شناسایی کند، می‌توانید به‌صورت دستی آن را به لیست اضافه کنید. کافیست روی گزینه‌ی `Enter interpreter path...` کلیک کنید.

![اضافه کردن دستی مفسر](https://quera.org/qbox/download/qBayMjNwqL/enter-interpreter-path.png) 

 سپس یا مسیر کامل مفسر پایتون موردنظر خود را وارد کنید (چیزی مثل `.venv/Scripts/python.exe`) یا این‌که بر روی گزینه‌ی `Find...` کلیک کرده و فایل قابل اجرای (`exe`) پایتون و محیط موردنظر خود را انتخاب کنید.

![وارد کردن مسیر مفسر](https://quera.org/qbox/download/7k8zp43I5F/enter-or-find-interpreter.png) 

</details>

همواره می‌توانید اطلاعات مفسر انتخابی را در نوار وضعیت پایین صفحه مشاهده نمایید.

![اطلاعات مفسر انتخابی](https://quera.org/qbox/download/DRFsaz2IH7/selected-interpreter-status-bar.png) 

در صورتی‌که بخواهید مفسر انتخابی را تغییر دهید می‌توانید از میانبر `Ctrl+Shift+P` نیز استفاده کرده و سپس `Python: Select Interpreter` را تایپ و انتخاب کنید.

## ۳. اجرای فایل نت‌بوک
فایل‌های نت‌بوک با پسوند `.ipynb` شناخته و ذخیره می‌شوند. برای اجرای یک سلول از یک فایل نت‌بوک کافیست از دکمه‌های `Shift+Enter` (یا مشابه آن در مک) استفاده کنید.

برای انتخاب مفسر در یک نت‌بوک می‌توانید به‌راحتی بر روی نام مفسر کنونی در بالا سمت راست کلیک کنید تا لیست کامل نمایش داده شود و سپس گزینه‌ی موردنظر خود را انتخاب کنید.

![انتخاب مفسر در نت‌بوک](https://quera.org/qbox/download/uoUMTsVkjB/NotebookInterpreter.jpg) 

لازم به ذکر است در اولین اجرای یک نت‌بوک در *VS Code* ممکن است از شما سوالی در ارتباط با نصب `ipykernel` پرسیده شود. در این‌صورت نصب آن را تایید کنید.

## نصب فونت

در تهیه‌ی نت‌بوک‌های این دوره از فونت متن‌باز وزیر استفاده شده است. برای حفظ زیبایی نت‌بوک‌ها به شما پیشنهاد می‌کنیم این فونت را از [لینک اصلی](https://rastikerdar.github.io/vazirmatn) آن دانلود کرده و در سیستم خود نصب کنید. اگر از محیط گوگل کولب استفاده می‌کنید توجه داشته باشید که متاسفانه در حال حاضر نمی‌توان فونت متن‌ها را در این پلتفرم تغییر داد، البته در صورت علاقه می‌توانید فونت پیش‌فرض مرورگر خود را تغییر دهید تا در گوگل کولب هم فونت وزیر نمایش داده شود.

![فونت](https://quera.org/qbox/download/Wt4NhU0cXn/font.png)

آموزش NLP مقدماتی