Data engineer

Липецк Москва
Постоянная работа
Полная занятость

2 мес. назад

О компании и командеНЛМК - крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США.
Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения.Наша команда состоит из ML и CV DS, MLOps и DE.
Мы занимаемся созданием моделей машинного обучения для реального производства.
Мы ищем ещё одного крутого инженера, желающего развиваться в направлении Data Engineering.Чем предстоит заниматься

Ведение актуальное документации по витринам, источникам данных;
Построение витрин в S3 хранилище, ClickHouse;
Интеграция с внешними сервисами (Web сервисы, БД, Kafka);
Написание ETL пайплайнов на PySpark;
Создание DAG-ов в Airflow;
Визуализация результатов на дашбордах (Superset, Redash);
Проведение код-ревью, рефакторинг Python кода;
Развитие Web сервиса на FastAPI;
Оптимизация PySpark кода;
Исследование источников данных: владельцы, методы расчета, помощь DS-ам в подготовке данных;
Внедрение DQC (Data Quality Checks).

Ожидания от кандидата

Опыт построения витрин данных;
Опыт настройки ETL процессов;
Практический опыт S3, Hadoop, ClickHouse, PostgreSQL;
Знание Superset, Redash;
Опыт работы с PySpark, Kafka, Airflow, DBT, flyway;
Знание языков SQL, Python, Java (опционально);
Опыт использования FastAPI (опционально);
Опыт работы с Docker, Kubernetes.

Условия работы

ДМС, санаторно-курортное лечение;
Корпоративная мобильная связь;
Консультации юриста, психолога, финансового советника, эксперта по ЗОЖ;
Дистанционные (телемедицинские) онлайн-консультации врачей;
Программы комплексного медицинского обследования Check up;
Частичная компенсация стоимости корпоративного питания;
Корпоративный спорт: возможности занятий спортом, спортивные соревнования, семейные спортивные праздники;
Детские новогодние подарки, детский отдых на льготных условиях;
Ежегодная индексация зарплаты;
Премия за достижение ключевых показателей;
Корпоративная пенсионная программа;
Уникальные технологические и инновационные проекты;
Открытая корпоративная культура для новых идей и предложений;
Высокие стандарты безопасности труда и культуры производства;
Современное технологичное оборудование;
Возможности для саморазвития и обучения - Корпоративный и Технологический университет, электронные библиотеки, участие в конференциях, содействие в повышении квалификации, программы

профессионального и карьерного развития, изучение иностранного языка, развитие наставничества; * Программы поощрения сотрудников.

Хабр Карьера

Откликнуться