استخدام کارشناس جمع‌آوری داده‌ها | Data Crawler

ما از تیم‌هایی تشکیل شدیم که با روش‌های چابک و فناوری‌های به‌روز محصولات مختلفی را در حوزه فضای مجازی توسعه می‌دیم. تیم جمع‌آوری داده‌ها، به عنوان ورودی و تأمین‌کننده داده‌های مورد نیاز محصولات، از اهمیت بسیار بالایی برخورداره و از اونجایی که داده‌ها در سطح فضای مجازی از حجم بسیار بالای برخوردارن، مقیاس کاری ما در سطح کلان داده‌ها قرار داره.

اگه آمادگی‌ش رو دارید، پس ما هم امید این رو داریم که باهم ماجراجویی رو شروع کنیم :)

مهارت‌های ضروری:

• توانمندی در زمینه خزش داده‌ها و جمع آوری اطلاعات از سطح وب (Data Crawling)
• حداقل سه سال تجربه‌ی کار حرفه‌ای در توسعه نرم افزار به زبان Python
• تسلط به مفاهیم و چالش‌های جمع آوری اطلاعات
• تجربه کار با ابزارهای مربوط به جمع آوری اطلاعات از جمله Scrapy، Selenium، Beautifulsoup, Requests
• تجربه کار با APIهای مربوط به شبکه‌های اجتماعی مانند توییتر و ...
• تسلط به طراحی و توسعه RESTful API
• تسلط بر مفاهیم شی‌گرایی و Design Patternها
• تسلط به Git

مهارت‌های امتیازی:

• آشنایی به دیتابیس‌های NoSQL مانند MongoDB، Elasticsearch
• آشنایی با Message Brokers مانند Apache Kafka, Redis, RabbitMQ
• آشنایی بر مفاهیم MultiProcessing, MultiThreading و Asyncio
• آشنایی با FastAPI
• آشنایی با Celery
• آشنایی با تست نویسی
• آشنایی Dockerize کردن سرویس و کار با Docker Compose
• آشنایی با Kubernetes
• توانایی بهینه‌سازی و debug

مهارت‌های عمومی:

• متعهد و مسئولیت‌پذیر
• توانایی تحلیل و حل مساله
• داشتن روحیه کار تیمی
• خلاق و دارای انگیزه
• آشنا با متدلوژی‌های چابک (به خصوص Scrum)