Дата-инженер (Инженер Данных)

поддержка интеграций и витрин на базе хранилища данных Greenplum;
построение ETL-процессов;
создавать новые витрины в Greenplum;
уметь работать с разными типами источников (MS SQL Server, Oracle, PostgreSQL, MongoDB, API, Kafka);
разрабатывать схемы подключения новых источников в DWH по стандартному процессу;
создавать проверки качества данных;
документировать разработки;
общаться с аналитиками для уточнения требований и проработки технических решений;
принимать участие в разработке и реализации решений: написание / оптимизация / профилирование SQL/NoSQL запросов

что мы ожидаем:

знания концепций работы с git;
знания принципов работы БД, построения ХД;
опыт разработки ETL процессов (Желательно Flink, NiFi, Spark. Опционально Pentaho, Informatica, SSIS);
опыт работы с высоконагруженными распределенными системами хранения и обработки данных;
знание SQL (временные таблицы, оконные функции, cte и тд), опыт оптимизации запросов;
знания языков программирования (Желательно Python, Scala. Опционально другие);
опыт работы с очередями (Желательно Kafka. Опционально RabbitMQ);
опыт работы с оркестраторами (Желательно Airflow. Опционально Dagster, Prefect, Mage, Luigi);

Будет плюсом

опыт работы с Greenplum;
опыт работы с облачными ресурсами и использование Terraform для управления конфигурациями;
опыт работы с мониторингом Prometheus, ELK, Grafana;
создание собственных CI/CD процессов (Jenkins);
знание форматов хранения данных и табличных форматов (AVRO, Parquet, Iceberg);

работа у нас – это:

гибкая система премирования;
расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания;
работа в компании с развитой инженерной культурой;
внутренние профессиональные сообщества и мероприятия;
автономность работы, возможность менять правила, ошибаться и создавать новое;
возможности профессионального роста, программы развития для сотрудников;
корпоративное обучение и доступ к базе знаний;
гибридный/удаленный формат работы;
современный офис в 2 минутах ходьбы от МЦК ЗИЛ.