مقدمه

درود!

قالب کوئرا کالج

سیستم امتیازدهی و دریافت گواهی

آماده‌سازی محیط توسعه

محیط VS Code

مقدمه‌ای بر مدل‌های زبانی

اهداف فصل

آشنایی با LLM

سفارشی‌سازی LLM

خود میزبانی یا رابط برنامه‌نویسی

مشخصات مدل‌ها

محاسبه‌ی هزینه

چرخه‌ی پروژه

پیکربندی ۱

پیکربندی ۲

کوییز

انواع اپلیکیشن‌ها

چت‌بات‌ها یا عامل‌های محاوره‌ای

دستیارها

چت با داده‌ها

مسائل پردازش زبان طبیعی

عامل‌های خودکار

مقدمه‌ای بر LangChain

آشنایی با LangChain

ساخت مدل ساده

توابع کمکی

قالب دستور در مدل‌های زبانی

مفهوم زنجیره

اجرای موازی زنجیره‌ها

تابع‌نویسی درون زنجیره

عبور بدون تغییر ورودی

ردیابی و دیباگ

دستورنویسی چند نمونه‌ای

دستورنویسی چند نمونه‌ای ساده

انتخاب نمونه براساس شباهت

انتخاب نمونه بر اساس طول دستور

معماری CoT

مقدمه‌ای برCoT

رویکردهای دستورنویسی CoT

کدنویسی در LangChain

پروژه‌ی ۱

الهه‌شناسی

حافظه‌ و نگهداری تاریخچه

مفهوم تاریخچه و مدیریت آن

تاریخچه‌ی گفت‌وگو

مدیریت خودکار تاریخچه

هرس پیام‌ها

حافظه‌‌ی خلاصه‌ساز

استفاده از ماژول‌های حافظه

حافظه‌‌ی موجودیت

حافظه‌ی گراف دانش

پردازش داده‌ها در LangChain

بارگیری اسناد

جداسازی سند

متادیتا

دانش خارجی و معماری RAG

معماری RAG

تعبیه‌ی متن چیست؟

تعبیه‌ی متن در LangChain

مخزن برداری

بازیابی با الگوریتم MMR

بازیابی با خود-کوئری

بازیابی با فشرده‌سازی بافتاری

پرسش‌وپاسخ با RAG

رتبه‌بندی مجدد

پردازش خروجی‌ها

خروجی لیست

خروجی JSON

خروجی Enum

خروجی در مدل‌های گفت‌وگو

تصحیح خروجی

عامل‌ها (Agents) و ابزارهای سفارشی

ابزارها در LangChain

ابزارهای سفارشی

عامل‌ چیست؟

مفهوم ReAct

پروژه‌ی نهایی

LibreChat

توسعه‌ی بیشتر

مدل‌های چندوجهی

طراحی رابط کاربری با استریم‌لیت

ساخت رابط کاربری چت‌بات

اجرای آفلاین مدل‌ها با Ollama

مطالعه‌ی بیشتر

گوگل کولب (Google Colab)

دریافت کلید API از Cohere

دریافت کلید API از Google

دریافت کلید API از OpenAI

دریافت کلید API از SerpAPI

دریافت کلید API از Wolfram

<details class="red">

<summary>
**توجه! 👀**
</summary>

قبل از هرچیز لازم است بدانید، با توجه به وضعیت زیبای اینترنت و همچنین تحریم‌ها ممکن است در دسترسی به *API* های مورد نیاز این دوره دچار مشکل شوید. 🙃 در این‌صورت به احتمال زیاد به‌کمک تحریم‌شکن‌هایی همچون [شکن](https://shecan.ir/) یا [۴۰۳](https://403.online/) و تغییر *DNS* مشکل شما رفع می‌شود. در غیر این‌صورت ناچار به استفاده از *VPN* خواهید بود.

</details>

قبل از آن‌که به‌سراغ محتوای دوره بروید، لازم است تا محیطی را برای کد زدن آماده کنید. برای دست‌یافتن به چنین محیطی می‌توانید از پلتفرم‌های آنلاین که این محیط را برای شما آماده می‌سازند همچون گوگل کولب استفاده کنید و یا این‌که نیازمندی‌های لازم را نصب کرده و محیط مناسب را روی کامپیوتر خود بسازید. اگر بیشتر هدف تمرینی دارید استفاده از پلتفرم آنلاین می‌تواند راه‌حل ساده و سریعی باشد و در این‌صورت می‌توانید از درسنامه‌ی گوگل کولب در فصل مطالعه‌ی بیشتر نیز بهره ببرید. اما برای پیش‌برد یک پروژه‌ی کامل‌تر و نگهداری پایدار فایل‌ها و کدهای آن به‌احتمال زیاد شما نیز طرفدار استفاده از یک محیط توسعه بر روی سیستم خود هستید. 

 با آن‌که راه‌اندازی محیط توسعه *(Development Environment)* می‌تواند با توجه به مهارت‌ها و سلیقه‌های هر فرد به‌شکل متفاوتی صورت گیرد اما ما قصد داریم یک راه آسان و اصولی را پیش پای شما بگذاریم. در این درسنامه ابتدا با نحوه‌ی نصب پایتون و `conda` آشنا خواهید شد، سپس یک محیط مجازی خواهید ساخت و پکیج‌های پیش‌نیاز این دوره را بر روی محیط ساخته‌شده نصب خواهید کرد. در درسنامه‌ی بعد نیز با نحوه‌ی راه‌اندازی یک محیط کدنویسی مناسب و حرفه‌ای آشنا خواهید شد.

## ۱. نصب پایتون

|  تمامی کدهای این دوره براساس **پایتون ۳.۱۱** نوشته شده است و پیشنهاد می‌کنیم شما نیز برای اجرای مجدد بدون مشکل کدهای دوره از همین نسخه استفاده کنید. |
| :---: |

 <details class="blue">

<summary>
**نصب پایتون در ویندوز**
</summary>

برای نصب پایتون می‌توانید به [سایت رسمی](https://www.python.org/downloads/) آن مراجعه کرده و روی نسخه‌ی موردنظر خود کلیک کنید.

![نسخه‌های مختلف](https://quera.org/qbox/download/8JIEjy0aSl/PythonVersions.png)

سپس با توجه به ۳۲ بیتی یا ۶۴ بیتی بودن سیستم خود، راه‌‌انداز مناسب را دانلود کنید.

![دانلود راه‌انداز](https://quera.org/qbox/download/AjXetu423c/PythonInstaller.png)

راه‌انداز دانلود شده را اجرا کنید و در هنگام نصب مطمئن شوید که گزینه‌ی `Add Python 3.X to PATH` را فعال کرده باشید. پیشنهاد می‌کنیم در این صفحه روی `Customize installation` کلیک کنید تا بتوانید مسیر نصب را خودتان انتخاب کنید.

![نصب پایتون 1](https://quera.org/qbox/download/hFm9M5GGJI/PythonSetup.png)

در صفحه‌ی ویژگی‌های انتخابی پیشنهاد می‌کنیم تمام موارد را انتخاب کنید و سپس به مرحله‌ی بعد بروید.

![نصب پایتون 2](https://quera.org/qbox/download/YKni8RKnNd/PythonSetup2.png)

در صفحه‌ی بعد پیشنهاد می‌کنیم مواردی غیر از آن‌هایی که نیاز به `Download` دارند را انتخاب کنید و پس از انتخاب یک مسیر نصب مناسب بر روی `Install` کلیک کنید.

![نصب پایتون 3](https://quera.org/qbox/download/DqAFR7A5Y4/PythonSetup3.png)

منتظر بمانید که نصب تمام شود و صفحه‌ای همچون تصویر زیر را مشاهده کنید. در این صفحه،‌ جهت اطمینان از این‌که در آینده مشکلی ایجاد نشود می‌توانید بر روی دکمه‌ی `Disable path length limit` هم کلیک کنید.

![پایان نصب پایتون](https://quera.org/qbox/download/zxpmZWyA8S/PythonSetup4.png)

برای اطمینان از این‌که پایتون شما با موفقیت نصب شده است، بر روی ویندوز خود *Command Prompt* را باز کرده و دستور زیر را وارد کنید.
```terminal
python --version
```
![اطمینان از نصب](https://quera.org/qbox/download/0GL5Cbdb6y/PythonVersion.png)

با اجرای این دستور باید نسخه‌ی پایتون نصب‌شده را مشاهده کنید. در غیر این‌صورت نصب پایتون با مشکلی مواجه شده است و باید به عیب‌یابی آن بپردازید.

</details>

 <details class="violet">

<summary>
**نصب پایتون در مک**
</summary>

برای نصب پایتون می‌توانید به [سایت رسمی](https://www.python.org/downloads/) آن مراجعه کرده و روی نسخه‌ی موردنظر خود کلیک کنید.

![نسخه‌های مختلف](https://quera.org/qbox/download/8JIEjy0aSl/PythonVersions.png)

راه‌انداز مناسب مک را پیدا کرده و دانلود کنید.

![انتخاب نسخه مناسب مک](https://quera.org/qbox/download/jnOf4x9f8A/PythonInstallerMac.png)

حال کافیست راه‌انداز را اجرا کرده و به‌راحتی نصب کنید. در طول نصب ممکن است نیاز به کلیک روی `Agree` جهت تایید لایسنس و وارد کردن نام کاربری و رمز عبور سیستم خود داشته باشید.

جهت اطمینان از این‌که پایتون با موفقیت نصب شده است می‌توانید ترمینال را باز کرده و دستور زیر را اجرا کنید تا نسخه‌ی نصب‌شده به نمایش در آید.

```terminal
python3 --version
```
**مطالعه‌ی بیشتر:** در صورتی‌که نیاز به راهنمایی تصویری دارید می‌توانید [این لینک](https://python.tutorials24x7.com/blog/how-to-install-python-3-9-on-mac) را مطالعه کنید.
</details>
 <details class="orange">

<summary>
**نصب پایتون در اوبونتو**
</summary>

این احتمال وجود دارد که از قبل پایتون در سیستم‌عامل شما نصب باشد. برای بررسی این مورد کافیست دستور زیر را در ترمینال اجرا کنید و بررسی کنید که آیا نسخه‌ای به نمایش در می‌آید یا خیر.
```terminal
python3 --version
```
برای نصب پایتون در اوبونتو راه‌های مختلفی وجود دارد اما راحت‌ترین راه استفاده از `apt` است. ابتدا دستورات زیر را در ترمینال اجرا کنید تا لیست پکیج‌ها آپدیت شود و پیش‌نیازها نصب شوند.

```terminal
sudo apt install software-properties-common
```
حال دستور زیر را اجرا کنید تا *PPA* مربوط به *deadsnakes* به لیست منابع سیستم شما اضافه شود.
```terminal
sudo add-apt-repository ppa:deadsnakes/ppa
```
اگر پیغام زیر را مشاهده کردید کافیست `Enter` بزنید.
```terminal
Press [ENTER] to continue or Ctrl-c to cancel adding it.
```
اکنون برای نصب پایتون کافیست از دستور زیر استفاده کنید. اگر قصد دارید نسخه‌ی دیگری را نصب کنید کافیست آن را به‌جای `3.11` وارد کنید.
```terminal
sudo apt install python3.11
```
برای آن‌که مطمئن شویم نصب پایتون با موفقیت انجام شده می‌توانیم با دستور زیر، نسخه‌ی آن را مشاهده کنیم.
```terminal
python3.11 --version
```
**مطالعه‌ی بیشتر:** اگر در نصب پایتون با این روش دچار مشکل شدید می‌توانید روش‌های دیگری که در [این لینک](https://python.tutorials24x7.com/blog/how-to-install-python-3-9-on-ubuntu-20-04-lts) و [این لینک](https://linuxize.com/post/how-to-install-python-3-8-on-ubuntu-18-04/) شرح داده شده را مطالعه و امتحان کنید.

</details>

## ۲. نصب Anaconda/Miniconda

با نصب [*Anaconda*](https://www.anaconda.com) می‌توانید به تعدادی ابزار کاربردی در حوزه‌ی هوش مصنوعی دسترسی داشته باشید. یکی از این ابزارها `Conda` نام دارد که یک سیستم مدیریت محیط [مجازی] بسیار مشهور به شمار می‌رود. این رابط زندگی شما را بسیار آسان‌تر خواهد کرد! با استفاده از آن قادر خواهید بود به‌آسانی چندین نسخه‌ی متفاوت از پایتون را بر روی سیستم خود مدیریت کنید، محیط‌های مجازی متعددی با نسخه‌ی پایتون موردنظر خود بسازید و پکیج‌های موردنیاز خود را نصب یا به‌روزرسانی کنید.

![کوندا](https://quera.org/qbox/download/WmB2tAlI99/conda_logo.png)

از آنجا که خود *Anaconda* شامل ابزارها و پکیج‌های پیش‌فرض زیادی است حجم بالایی دارد و برای این دوره پیشنهاد می‌کنیم از یک نسخه‌ی سبک‌تر به نام [*Miniconda*](https://docs.conda.io/en/latest/index.html) استفاده کنید. البته اگر همچنان قصد داشته باشید از *Anaconda* استفاده کنید، هیچ مشکلی ندارد و می‌توانید به‌آسانی آن را از [سایت رسمی‌اش](https://www.anaconda.com/download/) دانلود و نصب کنید.

برای نصب *Miniconda* کافیست به [صفحه‌ی رسمی](https://docs.conda.io/en/latest/miniconda.html) آن مراجعه کرده و راه‌انداز مناسب سیستم خود را دانلود و نصب کنید. پس از اتمام نصب، برای آن‌که مطمئن شوید `conda` به‌درستی روی سیستم شما نصب شده می‌‎توانید دستور زیر را اجرا کنید و بررسی کنید که آیا نسخه‌ی نصب‌شده را خروجی می‌دهد یا خیر.
```terminal
conda --version
```
## ۳. محیط مجازی
نصب پایتون و کتابخانه‌های آن بسیار آسان است اما مشکلاتی در کمین ماست! ممکن است بعضی کتابخانه‌ها فقط بر روی نسخه خاصی از پایتون نصب شوند. شاید کدی برای اجرا شدن نیازمند نسخه خاصی از یک کتابخانه باشد و از این هم بدتر، بسیاری از کتابخانه‌ها به هم وابسته‌اند و نسخه‌هایی خاص از آنها با هم سازگار است. اگر برای اجرای کدهای مختلف دائماً بخواهیم کتابخانه‌هایی را نصب یا حذف کنیم، سرگیجه خواهیم گرفت! راه‌حل مسائلی از این قبیل، استفاده از محیط مجازی است.

| محیط مجازی چیزی نیست بجز تعدادی کتابخانه و یک نسخه‌ی به‌خصوص از پایتون. |
|:---:|

معمولاً برای توسعه یا اجرای یک پروژه پایتون، یک محیط مجازی می‌سازند و تنها کتابخانه‌های لازم برای آن پروژه را در آن محیط مجازی نصب می‌کنند. با این کار، هر پروژه کتابخانه‌های خود را خواهد داشت و نیازی نیست نگران تداخل کتابخانه‌های پروژه‌های مختلف باشیم. در ادامه به شرح نحوه‌ی ساخت و مدیریت این محیط‌ها در `conda` می‌پردازیم.

 <details class="orange">

<summary>
**ساخت یک محیط**
</summary>

برای ساخت یک محیط جدید `conda` کافیست یک نام برای محیط خود انتخاب کرده و همراه با نسخه‌ی پایتون موردنظر به شکل زیر دستور مربوطه را در ترمینال یا خط فرمان سیستم خود اجرا کنید.

```terminal
conda create -n NAME python=VERSION
```
مثلاً برای نصب یک محیط با نام `quera` و پایتون `3.11` می‌توانید دستور زیر را اجرا کنید:
```terminal
conda create -n quera python=3.11
```
در طول ساخت محیط ممکن است سوالی از شما پرسیده شود تا نصب را تایید کنید. در این‌صورت کافیست کلید `y` صفحه کلید را فشار داده یا `Enter` بزنید.

</details>

 <details class="orange">

<summary>
**فعال‌سازی محیط**
</summary>

برای آن‌که وارد محیط خود شوید یا به‌اصطلاح آن را فعال کنید می‌توانید دستور زیر را اجرا کرده و تنها به‌جای `NAME` نام محیط خود را وارد کنید.
```terminal
conda activate NAME
```
</details>

<details class="orange">

<summary>
**غیرفعال‌‎سازی محیط**
</summary>

در صورتی‌که بخواهید از محیط فعلی خارج شوید یا به‌اصطلاح آن را غیرفعال کنید کافیست دستور زیر را اجرا کنید.
```terminal
conda deactivate
```
</details>

<details class="orange">

<summary>
**مشاهده‌ی لیست محیط‌ها**
</summary>

اگر بخواهید لیست تمام محیط‌های ساخته‌شده را مشاهده کنید کافیست دستور زیر را اجرا کنید.
```terminal
conda env list
```
</details>

<details class="orange">

<summary>
**نصب یک پکیج**
</summary>
برای نصب یک کتابخانه یا پکیج بر روی محیط فعلی می‌توانید از دستور زیر استفاده کنید (فراموش نکنید که ابتدا محیط موردنظر را فعال کرده باشید).
```terminal
conda install PACKAGENAME
```
البته از آن‌جا که ممکن است تمام پکیج‌ها در `conda` موجود نباشند می‌توانید همچنان از مدیریت‌کننده‌ی پکیج پیش‌فرض پایتون یعنی `pip` هم استفاده کنید.
```terminal
pip install PACKAGENAME
```
**نکته:** اگر قصد دارید یک نسخه‌ی خاص از پکیج را نصب کنید کافیست بعد از نام پکیج یک علامت مساوی (`=`) گذاشته و سپس شماره‌ی نسخه را بنویسید.

</details>

<details class="orange">

<summary>
**حذف یک پکیج**
</summary>
برای حذف یک کتابخانه یا پکیج از محیط فعلی می‌توانید از دستور زیر استفاده کنید.
```terminal
conda remove PACKAGENAME
```
در `pip` نیز می‌توانید از دستور زیر استفاده کنید.
```terminal
pip uninstall PACKAGENAME
```
</details>

<details class="orange">
<summary>
**به‌روزرسانی یک پکیج**
</summary>
برای به‌روزرسانی یک کتابخانه یا پکیج می‌توانید از دستور زیر استفاده کنید.
```terminal
conda update PACKAGENAME
```
در `pip` نیز می‌توانید از دستور زیر استفاده کنید.
```terminal
pip install --upgrade PACKAGENAME
```
</details>

<details class="orange">
<summary>
**مشاهده‌ی پکیج‌ها**
</summary>
برای بررسی پکیج‌های نصب‌شده در محیط می‌توانید از دستور زیر استفاده کنید.
```terminal
conda list
```
در `pip` نیز می‌توانید از دستور زیر استفاده کنید.
```terminal
pip list
```
</details>

## ۴. نصب پکیج‌های موردنیاز

به کمک توضیحات بخش قبل یک محیط مجازی ساخته، **آن را فعال کنید** و سپس پکیج‌های زیر را بر روی محیط خود نصب کنید. لازم به ذکر است که لازم نیست در همین ابتدای دوره تمامی پکیج‌ها را نصب کنید. می‌توانید پیش بروید و در هر زمان که به پکیجی نیاز داشتید به این درسنامه برگشته و پکیج مورد نظر را نصب نمایید.

<details class="red">
<summary>
**دلیل مشخص کردن نسخه‌ها**
</summary>

در لیست زیر نسخه‌ی مشخصی برای برخی از کتابخانه‌ها ذکر شده تا مطمئن شویم که در بازتولید نتایج کدهای این دوره با مشکلی مواجه نمی‌شوید. البته ممکن است با نصب آخرین نسخه‌های این کتابخانه‌ها نیز بتوانید بدون چالش خاصی پیش بروید اما در حال حاضر به این دلیل که هنوز نسخه‌ی پایداری از کتابخانه‌های مربوط به `LangChain` منتشر نشده ممکن است نسخه‌های به‌روز باگ‌های مختلفی داشته باشند.

</details>

```
langchain==0.2.14
langchain-community==0.2.12
langchain-cohere==0.2.2
langchain-text-splitters==0.2.2
langchain-chroma==0.1.2
langchain-unstructured==0.1.1
ipykernel
pypdfium2
wikipedia
unstructured
pandas
numpy
tqdm
beautifulsoup4
lxml
requests
tiktoken
```
<details class="green">
<summary>
**نصب تمام پکیج‌ها با یک دستور 😏**
</summary>

| فایل `requirements.txt` دوره را می‌توانید از [این لینک](https://quera.org/qbox/download/4PbhxwhCGQ/requirements.zip) دانلود کنید (فایل را از حالت فشرده خارج کنید). |
| :---: |

اگر قصد دارید تمام پکیج‌ها را تنها با یک دستور نصب کنید کافیست لیست آن‌ها را در یک فایل متنی مثلاً به نام `requirements.txt` ذخیره کرده و سپس دستور زیر را اجرا کنید.
```terminal
pip install -r requirements.txt
```
</details>

ساخت اپلیکیشن‌های LLM