Data Engineer
Национальная Лотерея
- Москва
- Постоянная работа
- Полная занятость
- Разработка, поддержка и оптимизация ELT процессов загрузки данных из источников; (bash, python, airflow);
- Построение, поддержка и оптимизация обработки данных в Datalake и сырого слоя в базах данных; (s3, clickouse, greenplum, dbt);
- Отслеживание полноты, качества и описания данных из источников; (dbt, data catalog);
- Помощь в решении задач пользователей, bi-дата инженеров и дата-аналитиков;
- Консультации и обмен знаниями с bi-дата инженерами и дата-аналитиками об источниках данных;
- Участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании;
- Работа с бэклогом: постановка, исполнение и сдача задач руковолителю bi инженеров данных;
- Коммуникация с пользователями, bi-дата инженерами, дата-аналитиками и определение бизнес-ценности.
- Хорошее знание базовых концепций и принципов построения хранилищ данных;
- Опыт разработки, поддержки и оптимизация ELT процессов, опыт перехода от ETL к ELT;
- Знание экосистемы и опыт работы с Data стеком: Aiflow, PostgreSQL, Greenplum, ClickHouse, SQL, dbt, Jinja, S3, Iceberg, Kafka, Flink;
- Знание одного из языков программирования: Java / Scala / Python;
- Знание одного из диалектов SQL + ANSI;
- Знание сценарного языка bash + уверенный пользователь Linux;
- Опыт работы с DevOps-практиками и рабочим процессом используя технологии: git, gitlab, github, jenkins и т.п.;
- Опыт работы c Agile-практиками или в Agile-командах, включая работу с инструментами Jira и Confluence;
- Понимание принципов информационной безопасности.
- Оформление согласно ТК РФ;
- Возможен офисный, гибридный или удаленный формат работы;
- График работы 5/2, время работы 9-18/10-19;
- Реальная возможность карьерного роста - штат компании за последний год увеличился в два раза, в первую очередь мы рассматриваем кандидатов на повышение из внутреннего кадрового резерва;
- ДМС со стоматологией после испытательного срока;
- Современный стек технологий, масштабные интересные задачи;
- Корпоративная скидка для сотрудников на покупки через BestBenefits - сервису скидок и привилегий для приобретения различных товаров и услуг;
- Доступ к электронной корпоративной библиотеке;
- Возможность найти друзей по интересам - в офисе есть команда футбольного клуба, обучающий портал и много других интересных мероприятий.
Хабр Карьера