استخدام کارشناس مهندسی داده

ما به دنبال یک کارشناس پایگاه داده با تجربه و درک عمیق از سیستم‌های Data Lake، Data Warehouse و Database هستیم. در این نقش، شما مسئول طراحی، توسعه و بهینه‌سازی زیرساخت‌های داده در مقیاس بزرگ خواهید بود تا یکپارچگی بی‌نقص، دسترسی بالا و مقیاس پذیری تضمین شود. کاندیدای ایده‌آل باید در روش‌های مدیریت داده تخصص قوی داشته باشد و بتواند راه‌حل‌های پیشرفته‌ای را برای پشتیبانی از جریان‌های کاری تحلیلی پیچیده و نیازهای بلادرنگ (real-time) پیاده‌سازی کند. همچنین، شما با تیم‌های هوش مصنوعی همکاری نزدیک خواهید داشت تا مدل‌ها و راه‌حل‌های هوشمندی ایجاد کنید که از داده‌های ما به طور موثر بهره برداری کنند.

مسئولیت‌های کلیدی
• Data Pipeline Development: طراحی، توسعه و نگهداری پایپلاینهای ETL/ELT مقیاس‌پذیر برای استخراج، تبدیل و بارگذاری کارآمد داده‌ها در سیستم‌های متنوع. اطمینان از سازگاری، قابلیت اطمینان و قابلیت حسابرسی داده‌ها.
• Data Lake & Data Warehouse Management: رهبری در طراحی، بهینه سازی و نگهداری Data Lake‌ها و انبارهای داده برای سازمان دهی و بازیابی کارآمد داده‌ها، تسهیل تصمیم گیری مبتنی بر داده.
• Database Management : مدیریت و بهینه سازی پایگاه‌های داده رابطه‌ای و NoSQL برای تضمین عملکرد بالا، یکپارچگی داده و امنیت. استفاده از تکنیک هایی مانند Indexing، sharding و Replication.
• یکپارچه سازی و تجمیع داده: توسعه جریان‌های کاری برای یکپارچه سازی و تجمیع داده‌ها از منابع متعدد، ایجاد مجموعه داده‌های غنی شده مناسب برای تحلیل و گزارش دهی
• بهینه سازی عملکرد: نظارت و بهبود مستمر عملکرد Data Lake ، انبارهای داده و پایپلاینهای مرتبط برای مدیریت ورودی و تبدیل داده‌های بزرگ مقیاس.
• تضمین کیفیت داده: با پیاده سازی و اعمال استانداردهای کیفیت داده، شامل اعتبارسنجی خودکار، تشخیص ناهنجاری و فرآیندهای تطبیق، دقت و قابلیت اطمینان داده‌ها را تضمین نمایید.
• روحیه کار تیمی: با همکاری نزدیک با دانشمندان داده، تحلیل گران کسب وکار و مهندسان هوش مصنوعی، اطمینان حاصل کنید که زیرساخت داده از تحلیل‌ها، یادگیری ماشین و اهداف کسب وکار پشتیبانی می‌کند؛ این همکاری امکان توسعه بی نقص مدل‌های هوش مصنوعی را فراهم می‌آورد.
• پشتیبانی زیرساخت: با تیم DevOps همگام شوید تا استقرار زیرساخت‌های داده ابری را سازمان دهی کنید، از ابزارهای "زیرساخت به عنوان کد" بهره ببرید و مقیاس پذیری، تحمل خطا و بازیابی از فاجعه را تضمین نمایید

مهارت‌های ضروری:

• مهارت‌های ارتباطی: تسلط قوی در ارتباط نوشتاری و گفتاری انگلیسی برای بیان موثر مفاهیم فنی به ذینفعان فنی و غیرفنی.
  • تجربه: حداقل ۳ سال تجربه حرفه‌ای در مهندسی داده، با تخصص عملی در مدیریت دریاچه‌های داده پیچیده، انبارهای داده و پایگاه‌های داده توزیع شده.
  • Data Lakes: تجربه اثبات شده در طراحی و پیاده سازی معماری‌های Data Lakes با استفاده از ابزارهایی مانند Amazon S3، Azure Data Lake یا Google Cloud Storage.
  • Data Warehouses: تخصص در پلتفرم هایی مانند Amazon Redshift،Snowflake یا Google BigQuery، با تمرکز بر طراحی پیشرفته اسکیما و بهینه سازی کوئری.
  • مدیریت پایگاه داده: تسلط قوی به SQL، (با تجربه در مدیریت پایگاه‌های داده رابطه‌ای (مانند PostgreSQL و MySQL و سیستم‌های NoSQL مانند MongoDB و Cassandra.
  • توسعه ETL: مهارت در ابزارهای ETL مانند Apache Airflow، Talend یا Informatica برای خودکارسازی جریان‌های کاری داده.
  • برنامه نویسی: مهارت‌های قوی در Python و Golang، با تاکید بر نوشتن کد تمیز، ماژولار و مستند.
  • پردازش داده‌های بزرگ: دانش عمیق از فریم ورک‌های داده بزرگ مانند Apache Spark، Hadoop یا Kafka برای پردازش داده‌های توزیع شده و جریانی.
  • پلتفرم‌های ابری: تجربه عملی با پلتفرم‌های ابری مانند AWS، Google Cloud یا Azure، شامل استفاده از ابزارها و خدمات ابری.
  • جریان بلادرنگ: تجربه با پلتفرم‌های جریان داده بلادرنگ مانند Apache Kafka یا Amazon Kinesis برای نگهداری پایپلانهای بلادرنگ.

مهارت‌های امتیازی:

• Containerization & Orchestration: تجربه با Docker و Kubernetes برای کانتینرسازی و مدیریت بارهای کاری توزیع شده.
• تصویری سازی داده: آشنایی با ابزارهایی مانند Power BI یا Tableau برای پشتیبانی از بینش‌های کسب وکار و گزارش دهی.