Ведущий дата-инженер

Москва
Постоянная работа
Полная занятость

13 д. назад

VK Tech — российский разработчик корпоративного ПО для решения ежедневных задач бизнеса.Наш продукт, VK Data Platform, — универсальная платформа для end-to-end работы с большими объёмами данных и машинным обучением. В его основе лежат собственные разработки и лучшие практики работы с данными, проверенные на масштабных проектах с многомиллионной аудиторией.Мы создаём VK Data Platform как инструмент, который поможет решить инфраструктурные задачи:

Сократить совокупную стоимость хранения и обработки данных
Эффективно утилизировать аппаратное обеспечение
Повысить качество и достоверность данных
Централизовать инструменты управления инфраструктурой данных
Унифицировать технологический стек компании и упростить поддержку и обновление программного обеспечения
И направить усилия Data Office на поиск инсайтов и решение бизнес-задач

У нас многослойная команда: аналитики, DevOps, проектное управление и всё-всё от пресейла до поддержки.Задачи

Разрабатывать и сопровождать ETL-пайплайны и типовые интеграционные решений в data platform
Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработки DAG для автоматизации)
Реализовывать обработку потоковых данных
Разрабатывать решения с различными системами хранения и системами распределённых SQL-движков
Внедрять подходы и процессы управления данными
Участвовать в подготовке пилотов и внедрении VK DataPlatform

ТребованияОпыт в обработке данных:

Работа в NiFi/AirFlow
Проектирование пайплайнов обработки данных
Проектирование пайплайнов с проверкой качества данных
Опыт и понимание работы с Spark
Программирование на Java/Scala/Python
Работа с Kafka/RabbitMQ

Опыт в организации хранения данных:

PostgreSQL, ClickHouse — от трёх лет
S3/Hadoop
Построение дата-архитектуры (DWH,OLAP,ELT/ETL/Data Lake/LakeHouse)
Знание SQL
Работы с NoSQL базами данных
Опыт и понимание работы распределённых SQL-движков trino/dbt

Управление данными:

Понимание приципов Data Governance
Опыт работы с Data Catalog OpenMetadata/DataHub/Atlas

Будет плюсом

Знание DataOps-практик
Опыт работы с оркестрацией в Kubernetes, BI-инструментами, Data Mesh / Data Fabric
Понимание интеграции ML-моделей в ETL-процессы

Мы предлагаемГибкий график работыБонусы и скидки от партнеровОфис в центре городаДМСПрофессиональная командаФормат работыкомбинированныйдистанционныйУровеньseniorГрафик работыполныйVK TechПортфель VK Tech включает в себя облачную платформу, продуктивити-сервисы, дата-сервисы и бизнес-приложения для автоматизации HR, финансовых и операционных задач.Мы предлагаемГибкий график работыБонусы и скидки от партнеровОфис в центре городаДМСПрофессиональная команда

ВКонтакте

Откликнуться